Меня интересуют плюсы и минусы различных пространственных инструментов ETL (извлечение, преобразование, загрузка). Если вы использовали предметы, перечисленные здесь (или добавили свои), я прошу вашего мнения и опыта. В частности, я хотел бы увидеть сравнение юзабилити:
- Safe Software FME (проприетарная)
- Расширение совместимости данных ArcGIS (проприетарное, подмножество функций FME)
- Пространственное расширение Talend (ранее Spatial Data Integrator) (с открытым исходным кодом)
- GeoKettle (с открытым исходным кодом)
- ogr2ogr (я не знаю, что это действительно ETL, но больше из набора инструментов для перевода файлов)
- Любой дополнительный лот в списке
Нет необходимости давать обзор ВСЕХ упомянутых программ. Если у вас есть опыт даже с одним из них, это будет очень полезно при принятии решения о том, в каком направлении идти.
Пример: я ищу, чтобы создать функцию преобразования схемы, которая позволит мне выбрать входной слой, создать перевод и вывести на новую, предварительно определенную схему. Оптимально, после создания сценария перевода, я хотел бы иметь интерактивную форму, где я могу «сопоставить» поля в моем входном слое с выходным слоем (т. Е. Выходной слой будет иметь поле под названием «Адрес», как оно называется во входном слое?)
Некоторые из них были упомянуты в разделе «Вопросы и ответы» в разделе Какие инструменты доступны для загрузки ГИС-данных в базу данных?
И вот пара связанных статей, которые я нашел.
источник
Большинство простых операций могут быть выполнены этими утилитами с открытым исходным кодом
Получите FWtools http://fwtools.maptools.org/ и попробуйте.
источник
Около года назад я провел сравнение различных инструментов, которые также содержат большинство параметров, упомянутых в этой теме.
В качестве более прямого ответа я часто использую FME из-за его универсальности. Однако, когда я работаю со сложными структурами данных, такими как CityGML, INSPIRE GML или более крупные модели баз данных, я использую HALE , приложение с открытым исходным кодом, разработанное для ETL и, в частности, гармонизации.
В настоящее время (начиная с версии 2.9.0) он сравнивается с FME (SP1 2014) следующим образом:
Обратите внимание, что я был в команде HALE уже несколько лет.
источник
Если вы посмотрите на двойную ссылку blah238s, вы найдете больше информации. Я бы сказал, что Talend Open Studio и Pentaho GeoKettle - самые выдающиеся решения с открытым исходным кодом, которые можно выбрать. Насколько я понял, из этих двух Talend больше, чем просто ETL и GeoKettle, немного проще в использовании.
Мой муниципалитет собирается дать GeoKettle возможность написать диалект GML, составленный шведской ассоциацией местных властей и регионов (SALAR), и нам нужен этот формат для доставки геоданных для различных коммерческих интересов.
Я считаю, что GeoKettle поддерживает OGR / GDAL начиная с версии 2.0.
источник
FME, вероятно, лучший продукт для использования в этом пространстве. После этого это GDAL / OGR. Еще одним продуктом с открытым исходным кодом в этой области является geokettle - http://www.spatialytics.org/projects/geokettle/, хотя я никогда не использовал его в гневе (достаточно повезло, что я упомянул оба других продукта).
Если ни один из этих общих параметров не работает, вы, вероятно, захотите использовать конкретный инструмент преобразования.
источник
Неукоснительно использовал Geokettle для небольшого проекта с высокой степенью обучения, если только вы не привыкли к пользовательскому интерфейсу Eclipse ... Действительно мощным, поскольку он скомпилирован с GDAL1.10, поддерживает все типы гео ... Что мне понравилось, так это его поддержка сохраненных данных и данных через сервисы ... Я использовал его, чтобы воссоздать и синхронизировать наборы данных сервера ArcGIS на локальном экземпляре postgis через ESRI json в GeoJSON ... Рабочий процесс может встроить условия и проверку, настроив его для запроса # объекта и на основе этого компилировать предварительно определенный CSV чтобы выполнить итерацию почтового запроса для 500 объектов одновременно, в зависимости от первого запроса удалось объединить все запросы в один файл geojson, запустить ogr2ogr, чтобы загрузить в postgis даже сценарий postgis для запуска вакуума и индексирования с ним ... вентилятор
Вы можете запустить его и отобразить рабочий процесс в графическом интерфейсе рабочего стола, а также использовать инструменты сервера Pentahos, чтобы настроить его на Hadoop и запустить его как скрипт или задание cron.
источник
QGIS (по крайней мере, начиная с текущей версии 2.6) теперь также имеет встроенный построитель моделей. С помощью этого набора инструментов вы можете получить доступ к сотням алгоритмов (GDAL, GRASS, SAGA, vectortools и т. Д.). Вы также можете добавить свой собственный скрипт.
Я должен признать, что я не использовал это широко, но если бы я искал модельера, я бы посчитал это достойным изучения.
источник
[ПРЕДУПРЕЖДЕНИЕ: бесплатная реклама продукта, с которым я связан]
Мы работаем над инструментом для создания ETL. По своему вкусу он похож на FME, но предназначен для более простых задач и требует меньшего опыта в использовании. Некоторые подробности можно найти по адресу https://www.geoactive.it, просто ищите информацию о Data Dragon. Это приложение использует GDAL / OGR в бэкэнде, и мы добавляем любые дополнения в GDAL / OGR.
Коммерческое использование требует его приобретения, но у нас есть академические лицензии, доступные бесплатно, поэтому, если вы хотите использовать его для изучения, отправьте мне сообщение, и я предоставлю вам более подробную информацию.
Это на ранней стадии релиза, так что все еще есть небольшие ошибки, поэтому, пожалуйста, будьте осторожны с нами.
источник