大きなファイルをC＃でバイト配列に読み込む最良の方法は？

大きなバイナリファイル（数メガバイト）をバイト配列に読み取るWebサーバーがあります。サーバーが同時に複数のファイルを読み取る可能性があるため（ページリクエストが異なる）、CPUに負担をかけすぎずにこれを行うための最も最適化された方法を探しています。以下のコードで十分ですか？

public byte[] FileToByteArray(string fileName)
{
    byte[] buff = null;
    FileStream fs = new FileStream(fileName, 
                                   FileMode.Open, 
                                   FileAccess.Read);
    BinaryReader br = new BinaryReader(fs);
    long numBytes = new FileInfo(fileName).Length;
    buff = br.ReadBytes((int) numBytes);
    return buff;
}

全体を単に次のものに置き換えます。

return File.ReadAllBytes(fileName);

ただし、メモリの消費が心配な場合は、ファイル全体を一度にメモリに読み込むことはできません。チャンクで行う必要があります。

ここでの答えは一般に「しない」であると私は主張するかもしれません。一度にすべてのデータが絶対に必要な場合を除いて、StreamベースのAPI（またはリーダー/イテレーターのバリアント）の使用を検討してください。システムの負荷を最小化し、スループットを最大化するために（質問で提案されているように）複数の並列操作がある場合、これは特に重要です。

たとえば、呼び出し元にデータをストリーミングしている場合：

Stream dest = ...
using(Stream source = File.OpenRead(path)) {
    byte[] buffer = new byte[2048];
    int bytesRead;
    while((bytesRead = source.Read(buffer, 0, buffer.Length)) > 0) {
        dest.Write(buffer, 0, bytesRead);
    }
}

私はこれを考えます：

byte[] file = System.IO.File.ReadAllBytes(fileName);

コードはこれに因数分解できます（File.ReadAllBytesの代わりに）：

public byte[] ReadAllBytes(string fileName)
{
    byte[] buffer = null;
    using (FileStream fs = new FileStream(fileName, FileMode.Open, FileAccess.Read))
    {
        buffer = new byte[fs.Length];
        fs.Read(buffer, 0, (int)fs.Length);
    }
    return buffer;
} 

Integer.MaxValue-Readメソッドによるファイルサイズの制限に注意してください。つまり、一度に2GBのチャンクしか読み取ることができません。

また、FileStreamの最後の引数はバッファサイズであることにも注意してください。

FileStreamとBufferedStreamについて読むこともお勧めします。

いつものように、最も高速なプロファイルを作成する単純なサンプルプログラムが最も有益です。

また、基盤となるハードウェアはパフォーマンスに大きな影響を与えます。大きなキャッシュを備えたサーバーベースのハードディスクドライブとオンボードメモリキャッシュを備えたRAIDカードを使用していますか？または、IDEポートに接続された標準ドライブを使用していますか？

操作の頻度、ファイルのサイズ、および表示するファイルの数に応じて、考慮すべき他のパフォーマンスの問題があります。覚えておくべきことの1つは、ガベージコレクターのなすがままに各バイト配列が解放されることです。そのデータをキャッシュしていないと、大量のガベージが作成され、パフォーマンスのほとんどがGCの％時間まで失われる可能性があります。。チャンクが85Kより大きい場合は、解放するためにすべての世代のコレクションを必要とするラージオブジェクトヒープ（LOH）に割り当てます（これは非常に負荷が高く、サーバーで実行中はすべての実行を停止します） ）。さらに、LOHに大量のオブジェクトがある場合、LOHが断片化する可能性があり（LOHが圧縮されない）、パフォーマンスが低下し、メモリ不足の例外が発生します。特定のポイントに達したらプロセスをリサイクルできますが、それがベストプラクティスであるかどうかはわかりません。

重要なことは、必ずしもすべてのバイトをメモリに読み込むのが最速である前に、アプリのライフサイクル全体を考慮する必要があります。そうしないと、短期的なパフォーマンスと全体的なパフォーマンスのトレードオフになる可能性があります。

私BinaryReaderは大丈夫だと思いますが、バッファの長さを取得するためのすべてのコード行の代わりに、これにリファクタリングできます：

public byte[] FileToByteArray(string fileName)
{
    byte[] fileData = null;

    using (FileStream fs = File.OpenRead(fileName)) 
    { 
        using (BinaryReader binaryReader = new BinaryReader(fs))
        {
            fileData = binaryReader.ReadBytes((int)fs.Length); 
        }
    }
    return fileData;
}

を使用するよりも優れているはずです。コメントの1つに600 MBを超えるファイルに関する問題があった.ReadAllBytes()ことを含むトップレスポンスのコメントを見た.ReadAllBytes()からBinaryReaderです。また、それをusingステートメントに入れると、FileStreamおよびBinaryReaderが確実に閉じられ、破棄されます。

「大きなファイル」が4GBの制限を超えることを意味する場合は、次の記述されたコードロジックが適切です。注意すべき重要な問題は、SEEKメソッドで使用されるLONGデータ型です。LONGは2 ^ 32データ境界を超えて指すことができるため。この例では、コードは最初に1GBのチャンクで大きなファイルを処理しています。1GBの大きなチャンク全体が処理された後、残りの（<1GB）バイトが処理されます。このコードを使用して、4GBサイズを超えるファイルのCRCを計算します。（この例では、crc32cの計算にhttps://crc32c.machinezoo.com/を使用しています）

private uint Crc32CAlgorithmBigCrc(string fileName)
{
    uint hash = 0;
    byte[] buffer = null;
    FileInfo fileInfo = new FileInfo(fileName);
    long fileLength = fileInfo.Length;
    int blockSize = 1024000000;
    decimal div = fileLength / blockSize;
    int blocks = (int)Math.Floor(div);
    int restBytes = (int)(fileLength - (blocks * blockSize));
    long offsetFile = 0;
    uint interHash = 0;
    Crc32CAlgorithm Crc32CAlgorithm = new Crc32CAlgorithm();
    bool firstBlock = true;
    using (FileStream fs = new FileStream(fileName, FileMode.Open, FileAccess.Read))
    {
        buffer = new byte[blockSize];
        using (BinaryReader br = new BinaryReader(fs))
        {
            while (blocks > 0)
            {
                blocks -= 1;
                fs.Seek(offsetFile, SeekOrigin.Begin);
                buffer = br.ReadBytes(blockSize);
                if (firstBlock)
                {
                    firstBlock = false;
                    interHash = Crc32CAlgorithm.Compute(buffer);
                    hash = interHash;
                }
                else
                {
                    hash = Crc32CAlgorithm.Append(interHash, buffer);
                }
                offsetFile += blockSize;
            }
            if (restBytes > 0)
            {
                Array.Resize(ref buffer, restBytes);
                fs.Seek(offsetFile, SeekOrigin.Begin);
                buffer = br.ReadBytes(restBytes);
                hash = Crc32CAlgorithm.Append(interHash, buffer);
            }
            buffer = null;
        }
    }
    //MessageBox.Show(hash.ToString());
    //MessageBox.Show(hash.ToString("X"));
    return hash;
}

パフォーマンスを向上させるには、C＃でBufferedStreamクラスを使用します。バッファは、データをキャッシュするために使用されるメモリ内のバイトのブロックであり、それによってオペレーティングシステムへの呼び出し回数を減らします。バッファにより、読み取りおよび書き込みパフォーマンスが向上します。

コード例と追加の説明については、以下を参照してください。http： //msdn.microsoft.com/en-us/library/system.io.bufferedstream.aspx

これを使って：

 bytesRead = responseStream.ReadAsync(buffer, 0, Length).Result;

概要：画像がaction =埋め込みリソースとして追加されている場合、GetExecutingAssemblyを使用してjpgリソースをストリームに取得し、ストリーム内のバイナリデータをバイト配列に読み取ります。

   public byte[] GetAImage()
    {
        byte[] bytes=null;
        var assembly = Assembly.GetExecutingAssembly();
        var resourceName = "MYWebApi.Images.X_my_image.jpg";

        using (Stream stream = assembly.GetManifestResourceStream(resourceName))
        {
            bytes = new byte[stream.Length];
            stream.Read(bytes, 0, (int)stream.Length);
        }
        return bytes;

    }

私がしようとして推薦するResponse.TransferFile()、その後の方法をResponse.Flush()してResponse.End()、あなたの大きなファイルを提供するため。

2 GBを超えるファイルを処理している場合、上記の方法が失敗することがわかります。

ストリームをMD5に渡してファイルをチャンクするだけで、はるかに簡単になります。

private byte[] computeFileHash(string filename)
{
    MD5 md5 = MD5.Create();
    using (FileStream fs = new FileStream(filename, FileMode.Open))
    {
        byte[] hash = md5.ComputeHash(fs);
        return hash;
    }
}