大きな(巨大、巨大、大きな)テキストファイルを開くためのテキストエディター[終了]


1023

つまり、100 MB以上の大きさです。このようなテキストファイルは、編集者の範囲を広げることができます。

大きなXMLファイルを確認する必要がありますが、エディターにバグがある場合は確認できません。

助言がありますか?


166
実際、100 MB以上または1 GB以上のテキストファイルは、思っているほど珍しくありません(つまり、ビジー状態のサーバーからのログファイル)。
Anders Sandvig、2008

15
卑劣さ:正確にはテキストではありません。テキストファイルの読み取りとバイナリファイルの読み取りの要件は多少異なると思います。ただし、base64またはuuencodeを介して渡すこともできます。
ジョーイ

2
これは、少なくとも同様の質問やそれが前... 18ヶ月を頼まれたとしても、リンクされなければなりませんstackoverflow.com/questions/102829/...
ONDEV

1
生成したいくつかの巨大なログファイルを読むために、この正確な質問への回答も探していました。
HorseloverFat 2012

1
@BlairHippo私も同じように感じます。誰かが「これを閉じて、代わりにWhateverExchangeに入れるべきだ」と言う可能性が高いため、質問するときはほとんど緊張します
Rodolfo

回答:


1387

無料の読み取り専用ビューア:

  • 大きなテキストファイルビューアー(Windows)–完全にカスタマイズ可能なテーマ(色、フォント、ワードラップ、タブサイズ)。水平および垂直分割ビューをサポートします。ファイルのフォローと正規表現検索もサポートします。非常に高速でシンプルで、実行可能ファイルのサイズが小さい。
  • klogg(Windows、macOS、Linux)– gloggの維持されたフォークであり、その主な機能は正規表現検索です。また、ファイルを監視したり、ユーザーが行にマークを付けたり、組み込みの深刻な最適化を行ったりすることもできます。しかし、UIの観点から見ると、見苦しくて不格好です。
  • LogExpert(Windows)–「のGUI代替tail」これは実際には大きなファイルビューアではなくログファイルアナライザであり、1つのテストでは、250 MBのファイルをロードするのに10秒と700 MBのRAMが必要でした。しかし、そのキラー機能は、カラムライザー(CSV、JSONLなどで、スプレッドシート形式で表示される解析ログ)と蛍光ペン(特定の単語を含む行を特定の色で表示する)です。ファイルのフォロー、タブ、マルチファイル、ブックマーク、検索、プラグイン、外部ツールもサポートしています。
  • リスター(Windows)–非常に小さく、ミニマリスト。1つの実行可能ファイルで、わずか500 KBですが、検索(正規表現を使用)、印刷、16進エディターモード、および設定を引き続きサポートします。
  • loxx(Windows)–ファイルのフォロー、ハイライト、行番号、巨大なファイル、正規表現、複数のファイルとビューなどをサポートします。無料版では、正規表現の処理、ファイルのフィルタリング、タイムスタンプの同期、変更されたファイルの保存はできません。

無料のエディター:

  • 通常のエディターまたはIDE。最新のエディターは、驚くほど大きなファイルを処理できます。特に、Vim(Windows、macOS、Linux)、Emacs(Windows、macOS、Linux)、Notepad ++(Windows)、Sublime Text(Windows、macOS、Linux)、およびVS Code(Windows、macOS、Linux)は、大規模な(〜 4 GB)ファイル(RAMがある場合)。
  • ラージファイルエディター(Windows)– TB +ファイルを開いて編集し、Unicodeをサポートし、メモリをほとんど使用せず、XML固有の機能を備え、バイナリモードを含みます。
  • GigaEdit(Windows)–検索、文字統計、フォントのカスタマイズをサポートします。しかし、バグがあります。大きなファイルでは、文字の上書きのみが可能で、挿入はできません。LFを行末記号としては考慮せず、CRLFのみを考慮します。そしてそれは遅いです。

組み込みプログラム(インストールは不要):

  • less(macOS、Linux)–従来のUnixコマンドラインページャーツール。実質的に任意のサイズのテキストファイルを表示できます。Windowsにもインストールできます。
  • メモ帳(Windows)–特にファイルの折り返しがオフになっている場合、ファイルが大きい場合はまともです。
  • 詳細(Windows)–これはMORE、UnixではなくWindowsを指しmoreます。一度に1画面ずつファイルを表示できるコンソールプログラム。

Webビューア:

  • readfileonline.com –別のHTML5大きなファイルビューア。検索をサポートします。

有償編集者:

  • 010エディター(Windows、macOS、Linux)–巨大な(50 GBもの)ファイルを開きます。
  • SlickEdit(Windows、macOS、Linux)–大きなファイルを開きます。
  • UltraEdit(Windows、macOS、Linux)– 6 GBを超えるファイルを開きますが、これを実用的にするには設定を変更する必要があります:メニュー»詳細»設定»ファイル処理»一時ファイル»一時ファイルなしでファイルを開く...
  • EmEditor(Windows)–非常に大きなテキストファイルを適切に処理します(公式には最大248 GBですが、1つのレポートによると900 GBにも上ります)。

60
VIM、またはEmacs ...毒を選択してください。どちらも、投げたファイルを処理します。私は個人的にはEmacsを好みますが、どちらもしゃっくりをしなくてもメモ帳に勝ります。
Mike Stone、

25
Emacsには、基盤となるアーキテクチャー(32ビットまたは64ビット)に応じて、最大バッファーサイズがあります。32ビットシステムでは、128 MBより大きいファイルで「最大バッファサイズを超えました」エラーが発生すると思います。
ラファウDowgird

82
私はちょうど561メガバイトのログファイルをメモ帳++を試してみましたが、それはあまりにも大きかったと述べた
barfoon

9
@ラファル面白い!64ビットでは1024ペタバイト程度です。その理由は、emacsがバッファーの位置(ポイントなど)を追跡する必要があるという事実に関係しています
baudtack

79
ただし、注意してください。vimは、問題のファイルに十分な改行がある場合にのみ機能します。CAを編集する必要がありました。改行なしの150 MBファイル。vimで処理できないため、geditを使用する必要がありました。
Benno、2010年

192

ヒントとコツ

もっと少なく

なぜあなたは使用しているエディタをちょうどするために見て(大)ファイルで?

* nixまたはCygwinでは、lessを使用します。(有名な格言があります。「少ないほど、多かれ少なかれ」–「少ない」は、以前のUnixコマンドの「もっと」に取って代わり、上にスクロールして戻ることができるためです。)「少ない」の下での検索とナビゲートは、 Vimですが、スワップファイルはなく、RAMはほとんど使用されていません。

GNU lessのWin32ポートがあります。上記の回答の「少ない」セクションを参照してください。

Perl

Perlは迅速なスクリプトに適してい..ます。その(範囲フリップフロップ)演算子は、選択する必要のあるクラッドを制限する優れた選択メカニズムを実現します。

例えば:

$ perl -n -e 'print if ( 1000000 .. 2000000)' humongo.txt | less

これにより、100万行から200万行までのすべてが抽出され、出力を手動でより少なくふるいにかけることができます。

もう一つの例:

$ perl -n -e 'print if ( /regex one/ .. /regex two/)' humongo.txt | less

これは、「正規表現1」が何かを見つけたときに印刷を開始し、「正規表現2」が興味深いブロックの終わりを見つけたときに停止します。複数のブロックが見つかる場合があります。出力をふるいにかける...

ログパーサー

これは、使用できるもう1つの便利なツールです。ウィキペディアの記事を引用するには

logparserは、IISログのテストを自動化するために、Microsoftの従業員であるGabriele Giuseppiniによって最初に作成された柔軟なコマンドラインユーティリティです。これは、Windowsオペレーティングシステムでの使用を目的としており、IIS 6.0リソースキットツールに含まれていました。logparserのデフォルトの動作は、「データ処理パイプライン」のように機能します。コマンドラインでSQL式を取得し、SQL式の一致を含む行を出力します。

MicrosoftはLogparserを、ログファイル、XMLファイル、CSVファイルなどのテキストベースのデータや、イベントログ、レジストリなどのWindowsオペレーティングシステムの主要なデータソースへのユニバーサルクエリアクセスを提供する強力で用途の広いツールとして説明しています。ファイルシステム、およびActive Directory。入力クエリの結果は、テキストベースの出力でカスタム形式にすることも、SQL、SYSLOG、チャートなどのより特殊なターゲットに永続化することもできます。

使用例:

C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line > 1000 and line < 2000"
C:\>logparser.exe -i:textline -o:tsv "select Index, Text from 'c:\path\to\file.log' where line like '%pattern%'"

サイズの相対性

100 MBは大きすぎません。3 GBは少し大きくなっています。私は、米国のファーストクラスの郵便の約2%を作成する印刷および郵便施設で働いていました。私が技術リーダーだったシステムの1つが、メールの約15 +%を占めていました。あちこちでデバッグする大きなファイルがいくつかありました。

もっと...

ここにツールや情報を追加してください。この答えは、理由のためのコミュニティwikiです!大量のデータを処理するためには、さらにアドバイスが必要です...


8
+1、私は最近、非常に巨大なxmlファイル(+1ギガバイト)を確認する必要がありました。私はWindowsを使用していて、vim、emacs、notepad ++、およびその他のいくつかのエディターの両方がファイルを完全に窒息させて、ファイルを開こうとしたときにシステムがほとんど使用できなくなりました。しばらくして、ファイルを-editor-で実際に開こうとするだけで-view-する必要があることがいかに不必要かを理解しました。cygwin(およびいくつかの賢いgrep / less / sed-magic)を使用して、興味のある部分を簡単に見つけ、手間をかけずにそれを読むことができました。
wasatz 2010

8
cygwinはそれほど必要ありません。Windows
ChristophK

2
このXMLエディターには、大きなファイルビューアーコンポーネントもあり、巨大なファイルにも構文の色分けを提供します。ファイルはメモリに完全にロードされないため、マルチGBドキュメントは問題になりません。さらに、このツールはこれらの大きなXMLドキュメントを検証することもできます...私の意見では、巨大なXMLデータを操作するための最良のアプローチの1つです。
lichtfusion 2013

9
OK、私は自分の問題を修正しました。less単語の折り返しは遅いです。less -Sワードラップなしの場合、大きな行でも高速です。また嬉しいです!
Andy Brown、

6
すばらしい答えです。Git for Windowsがインストールされている場合は、おそらくGit bashも含まれていることに注意してくださいless
トランジスタ1
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.