データを保存するためのシンプルで信頼性が高く、オープンで相互運用可能なプレーンテキスト形式

前の質問で、CSVファイルを編集するためのツールについて尋ねました。

Gavinは 、Duncan MurdochによるR Helpのコメントにリンクしており 、Data Interchange FormatはCSVよりもデータを保存する信頼性の高い方法であると示唆しています。

一部のアプリケーションでは、専用のデータベース管理システムが必要です。ただし、小規模のデータ分析プロジェクトでは、より軽量なものがより適しているようです。

ファイル形式を評価するには、次の基準を考慮してください。

• reliabile：入力されたデータは、入力された内容に忠実でなければなりません。データは異なるソフトウェアで一貫して開く必要があります。
• simple：ファイル形式が理解しやすく、理想的には単純なテキストエディタで読みやすい場合は便利です。フォーマットを読み書きするための簡単なプログラムを書くのは簡単なはずです。
• open：形式は開いている必要があります
• 相互運用可能：ファイル形式は多くのシステムでサポートされる必要があります

タブとコンマで区切られた値の形式は、信頼性の基準で失敗します。ファイル形式ではなく、プログラムのインポートとエクスポートを非難できると思いますが。read.table奇妙なキャラクターがデータフレームの読み込みを壊さないようにするために、オプションを少し調整する必要があることがよくあります 。

ご質問

• これらのニーズに最適なファイル形式はどれですか？
• データ交換形式はより良い代替手段ですか？それとも問題がありますか？
• 望ましい他の形式はありますか？
• TSVとCSVを不当に評価していますか？ファイル形式の信頼性を高めるようなファイルを操作するための簡単なヒントはありますか？

ここで基準衝突が起こっているのだろうか。

Excel、SQLなどのファイル形式に関する不満の1つは、データ型を適切に動作させるために事前に定義する必要があるということです。計算上関連するよりも関連する）。

対照的に、データをマックアップしない、またはデータをマックアップすることを許可する基準には、エラーチェックが必要です。システムが自動的にデータ型を自動的に把握しない限り（これは基本的にExcelが失敗する場所です）、ケーキを食べて食べる方法はありません。

IMO、2つのうち、2番目の基準がより重要です。データの整合性が侵害されると、分析が困難または不可能になります。失われた観測値または無効な値（適切にチェックされていない場合）は、すべてを台無しにする可能性があります。

DIFに関しては、実際の生のテキストは人間が読めるものではなく、人間がデータを入力することは困難（IMO）です。

IMO、区切られたファイルにかなりの揺れを与える必要があります。上記のコメントで述べたように、「データのマングリング」は、主に使用しているツールのサブセットのせいです。正常に動作するプログラムは、区切りファイルを破壊しないでください。マングリングの最大の原因は、十分に指定されていない区切り文字です。たとえば、データにカンマが含まれている可能性がある場合、CSVは不適切です。タブがある場合は、TSVは不適切です。多くの（すべてではない）プログラムでは、代替区切り文字を指定できます。たとえば、いくつかの難しいケースでチルダ（〜）を使用しました。

真剣に、私はR自体が適合するRDataファイルを作成することを検討します

• 信頼できる（チェック）
• シンプル（ドローと呼びます-形式はバイナリです）
• オープン（チェック：Rソースコードよりもオープンにならない）
• 相互運用可能（チェック：Rが動作するすべての場所で動作します）

私に十分近い。システムがオペレーティングシステムではなくアプリケーションを意味する場合、最後のポイントは失敗です。

ああ、ファイルはデフォルトで圧縮されているため、RDataは効率的です（以前はデフォルトでオフにされていたオプションでした）。

Dirk Eddelbuettelの回答に応じて、HDF5ファイル形式を使用することをお勧めします。RData形式ほど単純ではないか、「リッチ」と言うかもしれませんが、確かに相互運用性が高い（C、Java、Matlabなどで使用できます）。大きなHDF5ファイルを含むI / Oは非常に高速であることがわかりました。

適切なメタデータを含む固定テキスト形式があなたの基準を満たさない理由はよくわかりません。区切り文字ほど読むのは簡単ではありませんが、とにかく情報を使用するにはメタデータが必要です。プログラムを読み取るための構文を記述するタスクは、データセットの構造がどれだけ大きく複雑であるかによって異なります。SPSSとExcelには、これらのタスクを支援するGUIがあります。

私が遭遇したCSVファイルには2つのエラーしかありません：

1. 区切り文字のないフィールドが欠落している（したがって、そのレコード内の他のすべてのフィールドが誤って配置されているため、XMLでタグが欠落しているという問題もあります）
2. テキスト文字列内のコンマ

（他の問題が発生した場合は、例を挙げてください）

2つは、drnexusが示唆したより不規則な区切り文字で解決されます（パイプ（|）は以前に遭遇したものですが、チルダ（〜）は文字列フィールドに含まれない可能性が高いという点で同様に機能します）。問題は、使用しているソフトウェアでは簡単に解決できないものであり、両方とも、ファイルの読み取りに使用したソフトウェアではなく、最初にファイルを書き込む方法の問題です。

また、このスレッドについてのdrnexusと、これらのファイルの編集に関する他の最近のスレッドについての彼の応答についても同意したいと思います。使用しているソフトウェア（特にExcel）について不平を言っており、不正なソフトウェアに適合する形式でデータを保存するように求めているようです。たぶん、質問は、Excelでプレーンテキストファイルの自動フォーマットを停止する方法です。私に見えるあなたの信頼できる基準は、プレーンテキストファイルの読み取りに関するソフトウェアの問題です。データ管理にRを使用していませんが、SPSSで区切られたファイルを読むのに苦労したことはありません。

元のファイルが適切に書き込まれていない場合、どのソフトウェアがファイルを確実に読み取ると思われますか？また、特定のファイル形式では、最初に選択したファイルタイプに誤ってデータを書き込むことを防ぐことはできません。

プレーンテキスト形式の一般的な問題は、メタデータを保存できないことです。欠落データをどのように定義しますか？1 =強く同意しない、2 =同意しない、...プレーンテキスト形式の種類をどのように定義しますか？プレーンテキスト形式では、別のドキュメントを使用してこれらのメタデータを定義する必要があります。また、XMLで行うのは簡単ではありません。

時々、この問題は非常に邪魔になることがあります。

私の解決策は、自己完結型でSPSSで編集しやすいSPSSデータ形式を使用することです。私はこれがあなたの質問に対する正しい答えではないことを知っていますが、私は非常に長い間同じ問題に苦労しており、これが私の現在の解決策です。