Windowsで大きなファイルを分割する方法は?


75

大きなテキストファイル(9Gb)を小さなファイルに分割して、開いて見通すことができるツールはありますか?

Windows(XP)に付属のコマンドラインから使用できるものはありますか?

またはそれを分割する最良の方法は何ですか?7zを使用して個別のボリュームを作成し、そのうちの1つを個別に解凍できますか?読めるようになりますか、それとも大きなファイルに再び解凍するために他のすべての部分が必要ですか?

更新

大きなファイルを0.5 GBのファイルに分割する48行のpythonスクリプトをすばやく作成しました。これは、vimでも簡単に開くことができます。ログの最後の部分に向かってデータを検索する必要があります(はい、それはログファイルです)。各レコードは複数の行に分割されるため、grepは実行しません。


grepに言及するように編集されているのを見ます。cygwinまたはunxutilsがインストールされていますか?あなたは使うことができたgrep -nheadし、tailファイルのチャンクを参照してください。例、をgrep -n "something" file.txt返します95625: something。その行とその下の9行を表示して、合計10行にしますhead -n 95635 file.txt | tail -n 10
ジョンT

あなたがあなたの問題を解決したことに気付きました。あなたがまだ周りにいるなら、他の人が利益を得るように解決策を投稿できますか?
ジャーニーマンオタク

これについては、Stack Overflow [1] [1]で詳細に説明されています。stackoverflow.com
questions

回答:


43

HJSplitと呼ばれるフリーウェアのWindowsファイルスプリッターがあります

こちらから入手できます。Webサイトは、あらゆるタイプとサイズのファイルを分割できると主張していますが、9GBは大きなファイルです。


1
出版社によると、それは「ギガバイト100以上の」ファイルの分割をサポートしています
YOSHメートル

8
このプログラムを使用して、大きなファイルを小さな断片に分割することができましたが、サイズ(kBまたはMB)のみでした。行を尊重しないため、ログファイルの分割にはあまり役立ちません。また、非常に遅いです。
NULL値を許可するかどうか

HJSplitは非常にい動作をします... 5Gb +ファイルでは動作しません。ファイルの最大の部分はまったく失われます。大きなpeasesを使用する場合Chunckのpeasesは999の後nofusesに対抗し、何か他のものfailes
user2602807

64ビットシステムでは、WindowsのGUIでのみ機能します。物事を自動化する場合、これは解決策ではありません
-576i

24

GNUコアUtilsのの(利用可能なパッケージここでは、Windows用)が分割ユーティリティが含まれています。それは私のためにうまくいきます:-)

--helpドキュメントは次のとおりです。

Usage: split [OPTION] [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit

SIZE may have a multiplier suffix: b for 512, k for 1K, m for 1 Meg.

たとえば、input.txtを100Mbのチャンクに分割し、行の最後でのみ分割するには、

split input.txt -C 100m

xaa、xab、xacなどの名前の出力ファイルが表示されます。


2
たとえば、git msysのダウンロードにはユーティリティも含まれています。
eis

Cmderは、このための素晴らしいです
アンバーフェルール

15

もう1つはGSplitです。サイトによると、非常に大きなファイルを分割できます(4Gbを超える< -4Gbの制限を超えたため、9Gbも実行できると思います)。

しかし、別のこと-あなたはそれをより小さな部分に分割して、それを開いて見ることができると言います。これは、おそらく非常に大きなログファイルのように聞こえます。

いずれにせよ、大きなテキストファイルを開くには、EmEditorをお勧めします。非常に大きなファイル(cca。250 Gbまで)を開くことができると主張しており、過去2 GBまでのファイルに使用していました。しかし、いずれにせよ、それは分割よりも優れたソリューションであると思います。


GSplitを試したところです。紛らわしいインターフェースを介しては動作しますが、改行でのみ分割する方法を提供しません-ASCIIデータファイルを分割するため、分割は行の途中で行われるためあまり便利ではありません。
Flyto

1
@Flyto メニューの「オカレンス番号の後に分割」を選択すると、実際には行ごとに分割することできPieces > Type and Sizeます。次に、行数と行区切り文字を16進数で選択します。デフォルトでは、Windows形式のCR + LF(0x0D0x0A)です。
NULL可能

@nullability感謝-私はそれを考えていなかっただろう。しかし、GNU「分割」ユーティリティを使用して、より簡単な解決策を見つけました-私の新しい答えを参照してください:-)
Flyto 14年

9

Large Text File Viewerをご覧ください。このようなものに最適です。ほとんどのアーカイバとスプリッタは、ファイルを個々のデータを個別に適切に読み取るために使用できない断片に分割します。ファイルを取得するには、それらをすべて抽出する必要があります。

代替テキスト

Large Text File Viewerは無料で移植可能です。


3
リンクが壊れているように見える、これは今のように動作しますsoftpedia.com/get/Office-tools/Other-Office-Tools/...
huseyint

元の(または編集された)リンクは現在機能しています。私はいつでもそのリンクをソフトペディアに引き継いでいます!また、ちょうどLTFViewerを試してみたところ、驚くべきことに818MBのファイルが開かれ、Notepad ++でさえ開くことができなかった。ない編集機能の方法で多くが、私はLTFViewerでログを見たのだと、echo. > myfile.txt818メガバイトのログファイルの問題解決:D
ドクトルJ

LTFViewerは本当に素晴らしい(使用しています)が、制限があります。私はそれで3GBのSQLファイルを開こうとしましたが、フリーズします。メイビーは十分な忍耐力や何かを持っていませんでした...
Mathlight

LTFViewerは非常にうまく機能しました。750MBの(比較的)小さいファイルで使用しましたが、5秒未満で開きました。
Mike_OBrien 14年

インターネットアーカイブからダウンロードできます:web.archive.org/web/20151019115332/http
quip

8

一つは使用することができます7 -郵便番号を 特定のサイズにテキストファイル(1.5 GBのログファイルのうち例えば、100 MBのセグメント)のセグメントを作成します。

主なオプションは次のとおりです-「圧縮」ではなく「保存」を使用-「ボリュームに分割」を使用

.001(.nnn)ファイル内のテキストを表示できるはずです。

ここに画像の説明を入力してください


添付の画像は完璧です!
エリック

5

7zip自体を使用してファイルを分割できます。(.zipまたは.7z形式で保存できます。)アーカイブを作成する場合、「Split volume、bytes」というオプションがあります。チャンクの大きさを選択するだけです。

はい、必要に応じて個別に解凍できます。

7zipでファイルを分割する


1

誰かがファイルをすばやく分割しようとしている場合、テキストファイルを分割するオンラインツールがあります。http://www.textfilesplitter.com

私には最適です。そして、私が探していた行を尊重してファイルを分割します。また、すべてHTML5クライアント側であるため、安全に使用できると書かれています。どのくらい大きくできるかはわかりませんが、マシンのラムに依存すると思います。


4
ブラウザで分割するために9 GBファイルをアップロードすることを本当に提案していますか?本当に??
スパゲッティ

@spaghettidba:彼は、HTML5を使用してクライアント側で動作すると言います。その場合は、アップロードする必要はありません。しかし、最初に答えを読んだとき、私はあなたと同じ反応をしました。
mwolfe02

0

それをどうするかを決める前にファイルの一部を見るという考えは、私にとって最良の選択肢です。

Large Text Viewerアプリは、Microsoft Storeを介してWindowsにインストールでき、ファイルをサイズごとに切り取るオプションを提供します。前に述べた(舞台裏で)同じエディターを使用することもありますが、既知のソースからインストールするオプションは、提供される代替リンクよりも優れています。それは私にとって素晴らしい仕事でした。

サイズで分割する場合の唯一の問題は、必ずしも適切な場所でファイルが破損するわけではないため、必要なコンテンツを正確にキャプチャするためにファイルを編集する必要がある場合があることです。


1
答えを編集してアプリの名前を含めてください。アプリの名前を検索して検索できるようになります。
スコット
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.