Entity Framework Coreは、メモリオーバーフローなしで大きなblobデータをトラバースします。ベストプラクティス

大量の画像データをトラバースするコードを書いて、送信用に圧縮されたすべてを含む大きなデルタブロックを準備しています。

このデータの例を以下に示します

[MessagePackObject]
public class Blob : VersionEntity
{
    [Key(2)]
    public Guid Id { get; set; }
    [Key(3)]
    public DateTime CreatedAt { get; set; }
    [Key(4)]
    public string Mediatype { get; set; }
    [Key(5)]
    public string Filename { get; set; }
    [Key(6)]
    public string Comment { get; set; }
    [Key(7)]
    public byte[] Data { get; set; }
    [Key(8)]
    public bool IsTemporarySmall { get; set; }
}

public class BlobDbContext : DbContext
{
    public DbSet<Blob> Blob { get; set; }

    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        modelBuilder.Entity<Blob>().HasKey(o => o.Id);
    }
}

これで作業するときは、すべてをファイルストリームに処理します。いつでもメモリにできるだけ少なくしたいです。

このようにするだけで十分ですか？

foreach(var b in context.Where(o => somefilters).AsNoTracking())
    MessagePackSerializer.Serialize(stream, b);

これでもメモリがすべてのblobレコードで満たされますか、それとも、列挙子で反復するときに1つずつ処理されますか？ToListを使用せず、列挙子のみを使用しているため、Entity Frameworkは外出先でそれを処理できるはずですが、それが何をするのかはわかりません。

これが適切に処理される方法に関するガイダンスを提供できるEntity Frameworkのエキスパート。

一般に、エンティティでLINQフィルターを作成する場合は、SQLステートメントをコード形式で記述するようなものです。IQueryableデータベースに対して実際に実行されていないを返します。または呼び出しIQueryableで繰り返し処理すると、sqlが実行され、すべての結果が返されてメモリに格納されます。foreachToList()

https://docs.microsoft.com/en-us/dotnet/framework/data/adonet/ef/language-reference/query-execution

EFは純粋なパフォーマンスに最適ではないかもしれませんが、メモリ使用量をあまり気にすることなくこれを処理する比較的簡単な方法があります。

以下を検討してください

var filteredIds = BlobDbContext.Blobs
                      .Where(b => b.SomeProperty == "SomeValue")
                      .Select(x => x.Id)
                      .ToList();

これで、要件に従ってBlobをフィルタリングし、これをデータベースに対して実行しましたが、メモリ内のId値のみを返しました。

その後

foreach (var id in filteredIds)
{
    var blob = BlobDbContext.Blobs.AsNoTracking().Single(x => x.Id == id);
    // Do your work here against a single in-memory blob
}

大きなblobは、処理が完了するとガベージコレクションに使用できるようになり、メモリ不足になることはありません。

当然、idリストのレコード数をセンスチェックすることも、最初のクエリにメタデータを追加して、アイデアを絞り込む場合の処理​​方法の決定に役立てることもできます。