Spatial ETL（抽出、変換、ロード）のオプションをお探しですか？

さまざまな空間ETL（抽出、変換、読み込み）ツールの長所と短所に興味があります。ここにリストされたアイテムを使用した（または独自のアイテムを追加した）場合、私はあなたの意見や経験を求めます。特に、以下のユーザビリティの比較を見たいです。

• 安全なソフトウェアFME（専有）
• ArcGIS Data Interoperability Extension（独自仕様のFME機能のサブセット）
• Talend Spatial拡張機能（以前のSpatial Data Integrator）（オープンソース）
• GeoKettle（オープンソース）
• ogr2ogr（それが本当にETLであることはわかりませんが、ファイル変換ツールセットの詳細）
• リストされている追加のロット

上記のすべてのソフトウェアのレビューを行う必要はありません。あなたが1つでも経験しているなら、それはどの方向に進むべきかを決定するのに非常に有益です。

例：入力レイヤーの選択、翻訳の作成、新しい定義済みスキーマへの出力を可能にするスキーマ変換関数を作成しようとしています。最適なのは、翻訳スクリプトを作成した後、入力レイヤーのフィールドを出力レイヤーに「マッピング」できるインタラクティブなフォームを作成することです（つまり、出力レイヤーには「アドレス」というフィールドがあります。入力層で？）

データベースにgisデータをアップロードするために利用できるツールの Q＆Aで言及されたものがありますか？

そして、私が見つけた関連記事がいくつかあります。

• http://fuzzytolerance.info/code/open-source-etl-tools/
• http://geobiwiki.spagoworld.org/xwiki/bin/view/Main/Talend+GeoKettle
• http://slashgeo.org/2011/07/25/Open-Source-ETL-Tools-GeoKettle-20-and-Spatial-Data-Integrator-420-Released

この質問はコミュニティWikiおよびwikiロックに変換されました。これは、回答のリストを求める質問の一例であり、閉鎖から保護するのに十分人気があるように見えるためです。これは特別なケースとして扱われるべきであり、これや他のStack Exchangeサイトで推奨されている質問の種類と見なすべきではありませんが、より多くのコンテンツを投稿したい場合は、この回答を編集して自由に投稿してください。

私はプロの文脈で私が見​​たものについてのみ話します。私の学生は、有名なソース（TeleAtlas）からGISに大量の空間データを受信、検証、統合するタスクを担当しました。彼女は、FMEを使用していくつかのワークフローを使用し、機能の選択、トポロジの検証、重複の削除など、非常に複雑な検証と変換をその場で形式からその場で実行しました。

私は、学生がこのような別のFMEワークフローを説明したビバ保護観察レポート（申し訳ありませんが、「soutenance de rapport de stage」のGoogle翻訳）の審査員でしたが、今回は統合のために全国レベルに送信される地域データセットを検証します国家リスクデータベースへ。主な違いは、この最後の例では、データセットが非常に多様なファイル形式、ラスターとベクター、スケール、スタイルであったことです。

最後に、Talend Open Studioに基づいたオープンソースETLであるSpatial Data Integratorをテストしました。機能は多数ありましたが、FMEの機能よりは少なかったのですが、主な違いはドキュメントとワークフロー作成の使いやすさにあったと思います。多くの場合、ワークフローコンポーネントのJavaコードソースを変更せざるを得ませんでした。しかし、それはSDIの以前のバージョンであり、ここで説明する欠点は、オープンソースプロジェクトの最初の段階では多少一般的であり、同じレベルのプロプライエタリで洗練されたソフトウェアと無料のオープンソースの若い競合他社と比較することはできません。

数GBの空間データを扱う最近のプロジェクトでは、FMEでデータの読み込み/再投影を開始しました。うまくいきましたが、学習曲線があります。

プロジェクトの終わりまでに、Pythonスクリプトを使用して再学習プロセスを自動化していました。FMEはスクリプト化できますが、Pythonの基本をお持ちの場合は、さらに複雑になりますか？Pythonは完全な柔軟性を備えており、インポートスクリプトが作成されるたびにPythonスキルが向上しています。

データ変換で作業するとき、次のPythonパッケージが非常に貴重であることがわかりました。

• PyProj
• GeoPy
• 格好良い
• Excelスプレッドシートからデータをインポートするためのxlrd
• データベースに接続するためのpyobdc
• SQLステートメントを実行し、データベースを操作するSQLAlchemy

開発者/プログラミングのバックグラウンドをお持ちの場合は、Pythonを使用することをお勧めします。GUI（ドキュメント用の素敵なイメージを生成することも可能）を使用する場合は、FMEをお勧めします。

私はオープンソースが大好きですが、私が知る限り、FMEはオープンソースETLに簡単に勝ちます。実際、メンテナンスとサポートも非常に安価です（少なくとも、私たちが持っている他のほとんどの企業ソリューションと比較して）。

フォーマット間の変換を探している場合、OGRがそれを行うことがあります（変換のためにGDALにパイプを少し入れて）。もちろん、それはコマンドラインです。

「可能性のある重複」コメントにリストされているものを超えた視覚モデリングのために、彼らはQGIS / SEXTANTEモデルビルダーに取り組んでいます。概念実証ビデオ：https : //www.youtube.com/watch?v=LTUu-I2ouqU

（いいえ、私はSafeのために働いていません、私は比較的幸せな顧客です）。

シンプルな操作のほとんどは、これらのオープンソースユーティリティで実行できます。

• ベクトルのogr2ogr
• ラスターのgdal_translateおよびgdalwarp

FWtools http://fwtools.maptools.org/を入手して、試してみてください。

約1年前に、このスレッドで説明したオプションのほとんどが含まれているさまざまなツールを比較しました。

より直接的な答えとして、私はその多機能性のためにFMEをよく使用します。ただし、CityGML、INSPIRE GML、またはより大きなデータベースモデルなどの複雑なデータ構造を扱う場合は、ETLおよび特に調和のために開発されたオープンソースアプリであるHALEを使用します。

現在（バージョン2.9.0以降）、次のようにFME（2014 SP1）と比較しています。

• HALEの形式（HALE：20、FME 200）およびトランスフォーマー（HALE：30 +、FME：400以上）の数は少ないですが、すべてのXML / GMLダイアレクトを非常に良好にサポートしています
• HALEは、マップおよびテーブルビューで対話形式で変換結果をプレビューし、出力を直接検証します
• HALEは通常、各属性のローカルコンテキストが維持されるため、はるかに高速です。たとえば、FeatureMergersを大幅に節約できます。
• HALEはオープンソースであり、2010年から実稼働で使用されています
• HALEは宣言型マッピングUIを使用します。これにより、手続き型アプローチと比較して必要なユーザー入力の数が少なくなります

私はかなり長い間、HALEチームに所属していることに注意してください。

blah238sの重複リンクを見ると、より多くの情報が見つかります。Talend Open StudioとPentaho GeoKettleは、最も有名なオープンソースソリューションです。これらの2つのTalendターゲットのうち、ETLとGeoKettleだけではなく、私が読んだ限りでは使いやすさも少し向上しています。

私の自治体は、GeoKettleにスウェーデン地方自治体協会（SALAR）がまとめたGMLの方言を書く機会を与えようとしています。このフォーマットは、さまざまな商業目的地にジオデータを配信するために必要です。

GeoKettleはバージョン2.0以降のOGR / GDALをサポートしていると思います。

FMEは、おそらくこの分野で使用するのに最適な製品です。その後はGDAL / OGRです。この分野のもう1つのオープンソース製品はgeokettle- http://www.spatialytics.org/projects/geokettle/です。ただし、怒りで使用したことはありません（幸運なことに、他の両方の製品が言及されています）。

これらの汎用オプションのいずれも機能しない場合は、おそらく特定の変換ツールを使用する必要があります。

Eclipse UIに慣れていない限り、小さなプロジェクトの高い学習曲線にGeokettleを宗教的に使用していました... GDAL1.10に対してコンパイルされたすべてのジオタイプをサポートしているため本当に強力です... ...これを使用して、ESRI jsonを介してローカルpostgisインスタンスでArcGISサーバーデータセットを再作成し、GeoJSONに同期します...ワークフローは、オブジェクトIDの数を照会し、それに基づいて定義済みのcsvをコンパイルする条件と検証を組み込みます最初のクエリに応じて一度に500の機能のポストリクエストを反復処理して、すべてのリクエストを1つのgeojsonファイルに統合し、ogr2ogrを実行してpostgisにロードし、スクリプト化されたpostgisでもバキュームを実行してインデックスを作成できました...ファン

デスクトップGUIで実行し、ワークフローをマッピングし、pentahosサーバーツールを使用してHadoopでセットアップし、スクリプトまたはcronジョブとして実行できます。

QGIS（少なくとも現在のバージョン2.6以降）には、統合されたモデルビルダーもあります。このツールボックスを使用して、アルゴリズム（GDAL、GRASS、SAGA、vectortoolsなど）の背後にアクセスできます。独自のスクリプトを追加することもできます。

私はそれを広範囲に使用していないことを認めなければなりませんが、モデルビルダーを探していた場合、調査に値すると考えます。

[警告：私が関与している製品の無償プロモーション]

ETLを実行するためのツールに取り組んできました。フレーバーはFMEに似ていますが、より単純なタスク用に設計されており、使用する専門知識が少なくてすみます。いくつかの詳細はhttps://www.geoactive.itで見つけることができます。DataDragonに関する情報を探すだけです。このアプリケーションはバックエンドでGDAL / OGRを使用しており、追加したものはすべてGDAL / OGRにプッシュしています。

商用利用には購入する必要がありますが、アカデミックライセンスは無料で利用できますので、勉強に使用したい場合は、メッセージをお送りください。詳細をお知らせします。

これは初期のリリース段階にあるため、まだいくつかのマイナーなバグがありますので、ご安心ください。