タグ付けされた質問 「large-files」

現在のところ、この質問は、Q＆A形式には適していません。私たちは回答が事実、参考文献、または専門知識によってサポートされることを期待しますが、この質問はおそらく議論、議論、投票、または拡張された議論を誘います。この質問を改善でき、再開できると思われる場合は、ヘルプセンターにアクセスしてください。 8年前休業。 この質問の答えはコミュニティの努力です。この投稿を改善するには、既存の回答を編集してください。現在、新しい回答や相互作用を受け入れていません。 つまり、100 MB以上の大きさです。このようなテキストファイルは、編集者の範囲を広げることができます。 大きなXMLファイルを確認する必要がありますが、エディターにバグがある場合は確認できません。 助言がありますか？

1023 windows  xml  editor  text-editor  large-files 

私のソースコード（Webアプリケーション）が依存している大きなバイナリファイルを処理する方法についての意見を探しています。現在、いくつかの代替案について検討しています。 バイナリファイルを手動でコピーします。 プロ：わからない。 反対：新しいサイトの設定や古いサイトの移行時にエラーが発生する可能性が高くなるので、私はこれに強く反対します。取るべき別のハードルを構築します。 すべてGitで管理します。 プロ：重要なファイルをコピーすることを「忘れる」可能性を排除 反対：リポジトリを膨らませ、コードベースを管理するための柔軟性を低下させ、チェックアウト、クローンなどはかなり時間がかかります。 個別のリポジトリ。 プロ：ソースコードのチェックアウト/クローンはこれまでになく高速で、イメージは独自のリポジトリに適切にアーカイブされます。 反対：プロジェクトにGitリポジトリが1つしかないという単純さを排除します。それは確かに私が考えていないいくつかの他のものを紹介します。 これに関するあなたの経験/考えは何ですか？ また：誰かが複数のGitリポジトリを使用して1つのプロジェクトでそれらを管理した経験はありますか？ ファイルは、それらのファイルを含むPDFを生成するプログラムの画像です。ファイルはそれほど頻繁には変更されませんが（年単位で）、プログラムに非常に関連しています。プログラムはファイルなしでは機能しません。

523 git  version-control  large-files  binaryfiles 

私は2日間の大部分をコードサンプルなどの「扱い」に費やし、非常に大きなJSONファイルをc＃の配列に読み取って、後で処理するために2d配列に分割できるようにしました。 私が抱えていた問題は、私がやろうとしていることをしている人の例を見つけることができなかったことです。これは、私がコードを少し編集していて、最高のものを期待していることを意味しました。 私はなんとか機能するものを手に入れることができました： Miss outヘッダーファイルを読み取り、配列に値のみを読み取ります。 配列の各行に特定の量の値を配置します。（それで、後でそれを2d配列に分割することができました） これは以下のコードで行われましたが、配列に数行入力するとプログラムがクラッシュします。これは、ファイルサイズに関係している可能性があります。 // If the file extension was a jave file the following // load method will be use else it will move on to the // next else if statement if (fileExtension == ".json") { int count = 0; int count2 = 0; int …

240 c#  json  parsing  large-files 

私は巨大なデータファイルを使用していますが、これらのファイルの行数を知るだけでよい場合があります。通常、ファイルを開いて、ファイルの最後に達するまで1行ずつ読み取ります。 それを行うためのよりスマートな方法があるかどうか私は思っていました

213 java  large-files  line-numbers 

一部のマシン間で大きなファイルを同期する必要があります。ファイルのサイズは最大6GBです。同期は数週間ごとに手動で行われます。ファイル名はいつでも変更できるため、考慮に入れることはできません。 私の計画は、宛先PCとソースPCでチェックサムを作成し、チェックサムが付いていないすべてのファイルを宛先にコピーすることです。私の最初の試みは次のようなものでした： using System.IO; using System.Security.Cryptography; private static string GetChecksum(string file) { using (FileStream stream = File.OpenRead(file)) { SHA256Managed sha = new SHA256Managed(); byte[] checksum = sha.ComputeHash(stream); return BitConverter.ToString(checksum).Replace("-", String.Empty); } } 問題はランタイムでした： -SHA256で1.6 GBファイル-> 20分-MD5で1.6 GBファイル-> 6.15分 チェックサムを取得するためのより良い-より速い-方法はありますか？

128 c#  .net  large-files  checksum 

VIMで巨大な（〜2GB）ファイルを開こうとしましたが、窒息しました。実際にファイルを編集する必要はありません。効率的にジャンプしてください。 VIMで非常に大きなファイルを操作するにはどうすればよいですか？

108 vim  large-files 

UNIXクラスを始めたばかりで、さまざまなBashコマンドを学習しています。私たちの割り当てには、その下に多数のフォルダがあるディレクトリでさまざまなコマンドを実行することも含まれます。 私はルートフォルダからすべての通常のファイルをリストして数える方法を知っています： find . -type l | wc -l しかし、私はディレクトリ全体で最大のファイルを見つけるためにそこからどこへ行くべきかを知りたいのです。duコマンドに関して何かを見たことがありますが、それはまだわかっていません。そのため、学んだことのレパートリーでは、なんとかしてls -tコマンドにコマンドを接続する必要があると思います。 そして、私の 'lingo'が正しくない場合、私はまだそれに慣れています！

102 file  bash  directory  find  large-files 

私は、アプリケーションのスクリプトエディターに読み込まれる大きなファイルを処理する方法を考え出すというすばらしいタスクを持っています（これは、クイックマクロ用の内部製品のVBAのようなものです）。ほとんどのファイルは約300〜400 KBで、読み込みに優れています。しかし、それらが100 MBを超えると、プロセスは困難になります（予想どおり）。 何が起こるかというと、ファイルが読み込まれ、RichTextBoxに押し込まれてナビゲートされます。この部分についてはあまり気にしないでください。 最初のコードを書いた開発者は、単にStreamReaderを使用して [Reader].ReadToEnd() 完了するまでにかなり時間がかかる場合があります。 私の仕事は、このコードのコードを分割し、それをチャンクでバッファーに読み取り、それをキャンセルするオプションを備えた進行状況バーを表示することです。 いくつかの仮定： ほとんどのファイルは30〜40 MBになります ファイルの内容はテキスト（バイナリではない）であり、一部はUnix形式、一部はDOSです。 コンテンツが取得されると、使用されているターミネーターがわかります。 いったん読み込まれると、richtextboxでのレンダリングにかかる​​時間を気にする必要はありません。これは、テキストの初期ロードにすぎません。 さて、質問のために： StreamReaderを使用してから、Lengthプロパティ（ProgressMax）を確認し、設定されたバッファーサイズに対してReadを発行して、バックグラウンドワーカー内のwhileループWHILSTを反復処理して、メインUIスレッドをブロックしないようにすることはできますか？次に、stringbuilderが完了したらメインスレッドに戻します。 内容はStringBuilderに送られます。長さが利用できる場合、ストリームのサイズでStringBuilderを初期化できますか？ これらは（あなたの専門家の意見では）良いアイデアですか？Streamsからのコンテンツの読み取りでは、最後の数バイトなどが常に失われるため、過去にいくつかの問題がありましたが、その場合は別の質問をします。

96 c#  .net  stream  streamreader  large-files 

閉まっている。この質問は、StackOverflowのガイドラインを満たしていません。現在、回答を受け付けていません。 この質問を改善したいですか？質問を更新して、 StackOverflowのトピックになります。 5年前に閉鎖されました。 ロックされています。この質問とその回答は、質問がトピックから外れているが歴史的に重要であるため、ロックされています。現在、新しい回答ややり取りは受け付けていません。 4ギガバイト以上のファイルをロードできるテキストエディタを探しています。テキストパッドが機能しません。私はそれのコピーを所有していて、そのサポートサイトに行ったことがありますが、それはしません。新しいハードウェアが必要かもしれませんが、それは別の質問です。エディターは無料である必要があります。または、費用がかかる場合は、30ドル以下である必要があります。Windowsの場合。

82 editor  text-editor  text-files  large-files