ТМА: перенос данных из Exel

Примерное время чтения: 5 минут

Ежедневно общаясь с клиентами, мы сталкиваемся с проблемой ведения данных и подготовки отчетов с использованием Excel.


Каждый раз приходится объяснять основы баз данных и принципы работы с данными и то, как легко можно перейти от работы с Excel в нормальную базу данных со всеми вытекающими преимуществами.


Преимущества баз данных


- Многопользовательский доступ к работе с данными(занесение данных, обработки, расчеты и получение отчетов)

- Распределенные права доступа к данным. Легко можно настроить так, чтобы люди видели только то, что им позволено.

- Логирование всех действий пользователей. Всегда можно разобраться кто и когда вносил или изменял данные.

- Автоматическое архивирование базы данных. Данные полностью защищены от случайной потери. Можно восстановить любую сохраненную версию базы данных.

- Признаки данных определены типами полей и справочниками, что исключает вариативный ввод.



Одновременно исключается ряд проблем, которые рано или поздно начинают сильно влиять на рабочие процессы и результаты деятельности.


Проблемы, которые решаются переходом на БД


- Файлы вырастают до гигантских размеров и перестают нормально работать.

- Одни и те же данные разбросаны по разным файлам.

- Плохо систематизированное хранение файлов.

- Непонятная структура логики расчетов.

- Доступность информации различным сотрудникам и возможность скопировать файл и украсть информацию.

- Невозможно отслеживать кто и когда вносил или изменял данные.

- Невозможно проверить корректность итоговых значений после сложных вычислений.

- Невозможно детализировать.

Excel – это великолепный и очень мощный инструмент работы с цифрами, но он не является инструментом для учета и хранения данных.

При сложных настройках можно использовать Excel в связке с MS SQL. В этом случает Excel работает как «клиентское приложение» в «клиент-серверной» архитектуре, но на практике такие построения мы встречали крайне редко. Потому что очень сложно построить такую архитектуру.


Обычно мы предлагаем «оцифровать» данные, которые уже ведутся в Excel и предоставить пользователям простейшее приложение на базе TMAPlatofrm для работы с этими данными. Это быстро, просто и недорого.


Перевод данных из Excel в нормальный вид базы данных и настройка клиентского приложения на базе TMA обычно занимает считанные часы, соответственно стоимость такого решения минимальна.


Плюс заказчик получает возможность развивать систему, поскольку TMA является гибким конструктором бизнес-приложений, а все настройки и код таких приложений открыты. В любой момент времени, если потребуется добавить новые виды данных или новые информационные поля, либо создать новую форму отчета, на доработки также уходят считанные часы, и пользователи практически сразу получают улучшенное решение. В этом была основная идея создания такой платформы.

Разберем кейс на примере данных из открытых источников.

Недавно отрасль обращения с бытовыми отходами стали переводить на «цифру». Исполнительная власть получила законодательное требование «оцифровать» территориальную схему операций с отходами. Другими словами, перевести ее в электронный вид и выложить в общий доступ. Сотрудники комитета по благоустройству своими силами собрали данные об образователях отходов в файл Excel, а на сайт выложили сконвертированный в PDF формат файл.

По факту они столкнулись со всеми вышеперечисленными проблемами. Когда нас пригласили решить эти проблемы, мы предложили оцифровать данные с использованием TMA. Вся работа заняла 6 рабочих часов (12 000 рублей) и не требовала никаких специальных прикладных решений.


Исходный файл выглядел вот так, без фильтров открывался 10 минут на компьютере с процессором I7 и 32 ГБ оперативной памяти.

Что получилось в результате


Мы загрузили в базу данных оба файла. Плюс загрузили файлы отчетов из районных администраций, в которых были данные для привязки источника образования отходов к конкретной контейнерной площадке. И настроили клиентское приложение для работы с этими данными на базе TMA.


В итоге получилось такое решение.

В результате заказчик в лице комитета по благоустройству на следующий же день получил действительно оцифрованную информацию, где все признаки источников образования и контейнерных площадок были вынесены в справочники.


При работе с реестрами у пользователей появился очень широкие возможность сортировки и отбора, настройки представления, выгрузки в тот же Excel. Это все базовые опции TMA.

Впоследствии в приложение были загружены данные классификатора отходов, по всем адресам были проставлены идентификаторы федеральной адресной системы (ФИАС) и географическое положение.
Благодаря наличию данных о географическом положении без большого труда получилось сделать веб представление данных на географической карте, к примеру в яндекс сервисе.

Разница работы с данными в Excel и в полноценной базе данных

Excel – это плоская таблица со свободным порядком ячеек данных. Это как очень продвинутый калькулятор. Если мы работаем с данными, то мы работаем — в терминологии Excel — со списками.


В Excel можно создать таблицу данных в виде списка. В шапке таблицы каждое поле обозначает признак. Более того, можно на отдельных листах создать подобие справочников, и поля списка будут заполняться из выпадающих списков. На других отдельных листах можно создать отчеты, которые будут собирать данные списков в необходимое представление.


Совсем сложные процедуры и представления можно делать макросами. Но это все равно не будет полноценная база данных со всеми необходимыми для работы с данными свойствами.

Есть в пакете Office у майкрософта Access. Это полноценная база для небольших данных. Но для пользователей это приложение получилось сложновато, и мало кто им пользуется.

Для перехода с Excel в базу данных с использованием TMA не требуется специальной квалификации ваших сотрудников.

Достаточно того, что они знают предметную область и могут объяснить нашему специалисту, какие от куда данные берутся, как хранятся, какие признаки используются, какие отчеты нужны.


И через считанные часы у вас будет полноценное приложение, для работы с данными, которое в последствии вы сможете легко развивать.


На некоторых предприятиях наших клиентов первый переход с Excel на СУБД с использованием TMA был первым шагом к созданию полноценной системы автоматизации.


Что необходимо сделать, чтобы избавиться от проблем, связанных с ведением данных на Excel


Шаг 1

Мы изучаем существующие файлы Excel и общаемся с их создателями и пользователями.


Шаг 2

Средствами TMA мы создаем структуру СУБД в соответствии с существующими файлами и пожеланиями пользователей. Загружаем данные из Excel в созданную структуру. При необходимости наводим порядок в данных.


Шаг 3

Средствами TMA настраивается интерфейс, права доступа и отчеты.

Результат перехода с Excel на полноценную СУБД у всех может быть разный, но абсолютно точно вы получаете экономический эффект по времени сотрудников, качественный эффект по качеству информации и человеческому фактору и, что немаловажно, повышение качества информационной безопасности.







Понравилось? Подпишитесь, и мы будем присылать вам статьи

Мы отправляем дайджест раз в месяц. Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой обработки данных