10Gb csvファイルの管理/変換に使用するソフトウェア(1億行以上)[終了]


0

だから私は1億件以上のレコードを持つこのuge csvファイルを持っており、私は取り組みたいと思っています。編集したくありません

必要なのは、何らかの種類のExcel /基本的なデータベース変換(グループ化、一部の文字の抽出、結合された情報に基づく新しい列の追加など)を使用することです。

これを行う最良の方法は何ですか?データベースにインポートしますか?(Oracleなど、Accessがそのような大きなファイルを管理できないことは確かです)他のツールは使用できますか?職場では、このようなデータ変換を行うAmadea(http://www.isoft.fr/html/prod_amadea_en.htm)というソフトウェアを使用していました。同じ方法でこれを行う他の(無料の)ツールは知りません。

ありがとう!


TALEND-パワフルなオープンソースETLをご覧ください。talend.com
FreudianSlip

ファイルを複数のファイルに分割することを検討しましたか?MSSQLやMySQLなどの完全なデータベースソリューションにインポートする場合でも、データを複数のファイルに分割する必要があります。完全なデータベースソリューションでさえ、10GBのデータを解析しようとすると問題が発生します。 superuser.com/questions/98583/break-up-a-large-csv-file?rq=1
ラムハウンド

計算後にのみ分割する方法を知っているので、分割は良いアイデアではありません
-Choumarin

私はTalendに行きます、私が探していることをするようです。しかし、学習曲線は少し急なようです
...-Choumarin

回答:


2

間違いなくデータベースを使用します。MySQLのような無料のものがたくさんあります。または、一度に1台のコンピューターだけで動作させたい場合は、Sqliteが非常に優れています。

特に入力データセットに非ASCIIまたは大きな数値がある場合、インポートが最初に正しく機能したことを確認してください。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.