Консолидация данных из множеств источников и приведение к единому стандарту с помощью Data Loading Tools

Объединение данных из множества источников, имеющих разные схемы данных, в новый целевой набор данных требует больших усилий, особенно при необходимости учитывать многочисленные подтипы и изменения в доменах.

Задачи преобразования схем данных возникают при необходимости приведения данных к единому стандарту, объединения разнородных наборов данных в один, при переходе к специализированной модели данных, например UPDM https://community.esri.com/docs/DOC-13587-updm-2019-edition или PODS Light https://www.pods.org/next-generation/pods-lite/, при миграции из геометрической сети в новую Utility Network и т.д.

Esri разработало специализированный набор инструментов Data Loading Tools, помогающий упростить процесс загрузки данных из множества источников в целевой набор данных и позволяющий выполнять преобразования схемы данных в процессе загрузки.

Набор инструментов Data Loading Tools включает в себя три инструмента:

  • Append with Transformation
  • Create Data Loading Workspace
  • Execute Data Load

Инструмент Append with Transformation подходит для простых случаев. С его помощью можно загрузить один класс объектов или таблицу в целевой набор данных и использовать выражения Python для преобразования. Такой подход рекомендуется для загрузки небольшого количества исходных объектов, не содержащих подтипы или домены.

В тех случаях, когда есть несколько наборов данных, которые нужно загрузить в новый набор данных, существуют инструменты Data Loading. Этот подход рекомендуется применять для миграции небольшого или умеренного количества исходных объектов, включающих подтипы или домены, однако нет необходимости в сопоставлении ассоциаций или контроллеров подсетей (в случае миграции в Utility Network).

Рабочий процесс Data Loading

Инструмент Data Loading Workspace создает паку содержащую серию файлов Microsoft Excel, используемых для сопоставления данных.

Рабочая область, созданная в результате работы инструмента Data Loading Workspace

Папка рабочего пространства содержит в себе файлы ресурсов и сопоставления. Файлы ресурсов создаются для облегчения сопоставления данных и включают книги Excel с доменами и примеры скриптов. Файлы сопоставления включают Справочник данных и Рабочие книги сопоставления данных, в которых будет выполняться большая часть работы по сопоставлению. Редактируя файлы Excel можно точно настроить сопоставление схемы данных исходных и целевых слоёв. Созданные файлы обеспечивают документирование процесса преобразования и всегда будут под руками при необходимости повторить или внести изменения в процесс загрузки.

Пример сопоставления полей с учётом доменов

После заполнения файлов Excel следующим шагом идёт загрузка данных из источника в целевую схему с помощью инструмента Data Loading.

В зависимости от качества или сложности данных рекомендуется работать с отдельными наборами данных и повторять процесс сопоставления и загрузки по мере необходимости.

Для работы с инструментами Data Loading Tools необходимы ArcGIS Pro 2.4 — 2.6 (Basic, Standard или Advanced) и Microsoft Excel 2016.

Инструкция по загрузке и подробная справка Data Loading Tools доступна на https://solutions.arcgis.com/shared/help/data-loading/

Отдельные инструкции по преобразованию и загрузке данных в модель данных Utility Network с использованием Data Loading Tools размещены на ресурсных страницах:

Кроме этого познакомиться с Data Loading Tools можно посмотрев серию обучающих видео https://community.esri.com/community/data-loading-tools/blog/2020/05/12/the-data-loading-tools-video-series

В заключении хочется рассказать о инструментах Migration Tools. Этот усовершенствованный инструментарий рекомендуется для миграции больших объемов исходных данных и\или сложных наборов данных геометрической сетей в Utility Network. Инструменты Migration Tools в том числе позволяют сопоставлять ассоциации, контроллеры подсетей, генерируют список ошибок и т.д.

Для использования Migration Tools необходим дополнительный модуль ArcGIS Data Interoperability или FME.

Схематическое представление одного из шаблонов FME Workbench из инструментов Migration Tools

Дополнительную информацию о Migration Tools можно узнать на https://bit.ly/30GYCJ0


Добавить комментарий