リストをNサイズの小さなリストに分割する

リストを一連の小さなリストに分割しようとしています。

私の問題：リストを分割する機能で、リストを正しいサイズのリストに分割できません。それらをサイズ30のリストに分割する必要がありますが、代わりにサイズ114のリストに分割しますか？

関数でリストをX個のサイズ30以下のリストに分割するにはどうすればよいですか？

public static List<List<float[]>> splitList(List <float[]> locations, int nSize=30) 
{       
    List<List<float[]>> list = new List<List<float[]>>();

    for (int i=(int)(Math.Ceiling((decimal)(locations.Count/nSize))); i>=0; i--) {
        List <float[]> subLocat = new List <float[]>(locations); 

        if (subLocat.Count >= ((i*nSize)+nSize))
            subLocat.RemoveRange(i*nSize, nSize);
        else subLocat.RemoveRange(i*nSize, subLocat.Count-(i*nSize));

        Debug.Log ("Index: "+i.ToString()+", Size: "+subLocat.Count.ToString());
        list.Add (subLocat);
    }

    return list;
}

サイズ144のリストで関数を使用すると、出力は次のようになります。

インデックス：4、サイズ：120
インデックス：3、サイズ：114
インデックス：2、サイズ：114
インデックス：1、サイズ：114
インデックス：0、サイズ：114

public static List<List<float[]>> SplitList(List<float[]> locations, int nSize=30)  
{        
    var list = new List<List<float[]>>(); 

    for (int i = 0; i < locations.Count; i += nSize) 
    { 
        list.Add(locations.GetRange(i, Math.Min(nSize, locations.Count - i))); 
    } 

    return list; 
} 

一般的なバージョン：

public static IEnumerable<List<T>> SplitList<T>(List<T> locations, int nSize=30)  
{        
    for (int i = 0; i < locations.Count; i += nSize) 
    { 
        yield return locations.GetRange(i, Math.Min(nSize, locations.Count - i)); 
    }  
} 

この拡張メソッドを使用して、指定されたチャンクサイズでソースリストをサブリストにチャンク化することをお勧めします。

/// <summary>
/// Helper methods for the lists.
/// </summary>
public static class ListExtensions
{
    public static List<List<T>> ChunkBy<T>(this List<T> source, int chunkSize) 
    {
        return source
            .Select((x, i) => new { Index = i, Value = x })
            .GroupBy(x => x.Index / chunkSize)
            .Select(x => x.Select(v => v.Value).ToList())
            .ToList();
    }
}

たとえば、18アイテムのリストをチャンクごとに5アイテムずつチャンク化すると、4つのサブリストのリストに、次のアイテムが含まれます：5-5-5-3。

どのように：

while(locations.Any())
{    
    list.Add(locations.Take(nSize).ToList());
    locations= locations.Skip(nSize).ToList();
}

Serj-Tmソリューションは問題ありません。これもリストの拡張メソッドとしての一般的なバージョンです（静的クラスに入れます）：

public static List<List<T>> Split<T>(this List<T> items, int sliceSize = 30)
{
    List<List<T>> list = new List<List<T>>();
    for (int i = 0; i < items.Count; i += sliceSize)
        list.Add(items.GetRange(i, Math.Min(sliceSize, items.Count - i)));
    return list;
} 

受け入れられた回答（Serj-Tm）が最も堅牢であると思いますが、一般的なバージョンを提案したいと思います。

public static List<List<T>> splitList<T>(List<T> locations, int nSize = 30)
{
    var list = new List<List<T>>();

    for (int i = 0; i < locations.Count; i += nSize)
    {
        list.Add(locations.GetRange(i, Math.Min(nSize, locations.Count - i)));
    }

    return list;
}

ライブラリMoreLinqはメソッドが呼び出されました Batch

List<int> ids = new List<int>() { 1, 2, 3, 4, 5, 6, 7, 8, 9, 0 }; // 10 elements
int counter = 1;
foreach(var batch in ids.Batch(2))
{
    foreach(var eachId in batch)
    {
        Console.WriteLine("Batch: {0}, Id: {1}", counter, eachId);
    }
    counter++;
}

結果は

Batch: 1, Id: 1
Batch: 1, Id: 2
Batch: 2, Id: 3
Batch: 2, Id: 4
Batch: 3, Id: 5
Batch: 3, Id: 6
Batch: 4, Id: 7
Batch: 4, Id: 8
Batch: 5, Id: 9
Batch: 5, Id: 0

ids 2つの要素を持つ5つのチャンクに分割されます。

floatを含むすべての型をとるジェネリックメソッドがあり、ユニットテストされています。

    /// <summary>
    /// Breaks the list into groups with each group containing no more than the specified group size
    /// </summary>
    /// <typeparam name="T"></typeparam>
    /// <param name="values">The values.</param>
    /// <param name="groupSize">Size of the group.</param>
    /// <returns></returns>
    public static List<List<T>> SplitList<T>(IEnumerable<T> values, int groupSize, int? maxCount = null)
    {
        List<List<T>> result = new List<List<T>>();
        // Quick and special scenario
        if (values.Count() <= groupSize)
        {
            result.Add(values.ToList());
        }
        else
        {
            List<T> valueList = values.ToList();
            int startIndex = 0;
            int count = valueList.Count;
            int elementCount = 0;

            while (startIndex < count && (!maxCount.HasValue || (maxCount.HasValue && startIndex < maxCount)))
            {
                elementCount = (startIndex + groupSize > count) ? count - startIndex : groupSize;
                result.Add(valueList.GetRange(startIndex, elementCount));
                startIndex += elementCount;
            }
        }


        return result;
    }

上記の答えの多くはうまく機能しますが、それらはすべて、終わることのないシーケンス（または本当に長いシーケンス）でひどく失敗します。以下は、可能な限り最高の時間とメモリの複雑さを保証する完全にオンラインの実装です。列挙可能なソースを正確に1回だけ反復し、遅延評価にyield returnを使用します。コンシューマは、反復ごとにリストを破棄し、メモリフットプリントbatchSizeを要素数のあるリストのメモリフットプリントと等しくすることができます。

public static IEnumerable<List<T>> BatchBy<T>(this IEnumerable<T> enumerable, int batchSize)
{
    using (var enumerator = enumerable.GetEnumerator())
    {
        List<T> list = null;
        while (enumerator.MoveNext())
        {
            if (list == null)
            {
                list = new List<T> {enumerator.Current};
            }
            else if (list.Count < batchSize)
            {
                list.Add(enumerator.Current);
            }
            else
            {
                yield return list;
                list = new List<T> {enumerator.Current};
            }
        }

        if (list?.Count > 0)
        {
            yield return list;
        }
    }
}

編集：今、OPを実現すると、List<T>をより小さなList<T>に分割することを求められるので、無限の列挙型に関する私のコメントはOPには適用されませんが、ここで最終的に他の人を助けるかもしれません。これらのコメントは、IEnumerable<T>機能への入力として使用する他の投稿されたソリューションへの応答ですが、列挙可能なソースを複数回列挙します。

最後に非常に役立つmhandのコメントの後の追加

元の答え

ほとんどの解決策はうまくいくかもしれませんが、私は非常に効率的ではないと思います。最初のいくつかのチャンクの最初のいくつかのアイテムだけが必要であると仮定します。次に、シーケンス内のすべての（ジリオン）アイテムを反復処理する必要はありません。

以下は、最大で2回列挙されます。1回はテイク、もう1回はスキップです。使用するよりも多くの要素を列挙しません。

public static IEnumerable<IEnumerable<TSource>> ChunkBy<TSource>
    (this IEnumerable<TSource> source, int chunkSize)
{
    while (source.Any())                     // while there are elements left
    {   // still something to chunk:
        yield return source.Take(chunkSize); // return a chunk of chunkSize
        source = source.Skip(chunkSize);     // skip the returned chunk
    }
}

これは何回シーケンスを列挙しますか？

ソースをのチャンクに分割するとしますchunkSize。最初のN個のチャンクのみを列挙します。列挙されたすべてのチャンクから、最初のM要素のみを列挙します。

While(source.Any())
{
     ...
}

AnyはEnumeratorを取得し、1 MoveNext（）を実行して、Enumeratorを破棄した後に戻り値を返します。これはN回行われます

yield return source.Take(chunkSize);

参照ソースによると、これは次のようになります。

public static IEnumerable<TSource> Take<TSource>(this IEnumerable<TSource> source, int count)
{
    return TakeIterator<TSource>(source, count);
}

static IEnumerable<TSource> TakeIterator<TSource>(IEnumerable<TSource> source, int count)
{
    foreach (TSource element in source)
    {
        yield return element;
        if (--count == 0) break;
    }
}

フェッチされたチャンクの列挙を開始するまで、これはあまり効果がありません。複数のチャンクをフェッチしたが、最初のチャンクを列挙しないことにした場合、デバッガーに表示されるため、foreachは実行されません。

最初のチャンクの最初のM要素を取得することにした場合、yield returnは正確にM回実行されます。これの意味は：

• 列挙子を取得する
• MoveNext（）とCurrent M回呼び出します。
• 列挙子を破棄する

最初のチャンクが生成されて返された後、この最初のチャンクをスキップします。

source = source.Skip(chunkSize);

もう一度：参照ソースを見て、skipiterator

static IEnumerable<TSource> SkipIterator<TSource>(IEnumerable<TSource> source, int count)
{
    using (IEnumerator<TSource> e = source.GetEnumerator()) 
    {
        while (count > 0 && e.MoveNext()) count--;
        if (count <= 0) 
        {
            while (e.MoveNext()) yield return e.Current;
        }
    }
}

ご覧のとおり、チャンク内のすべての要素に対して1回ずつSkipIterator呼び出しますMoveNext()。それは呼びませんCurrent。

したがって、チャンクごとに、次のことが行われていることがわかります。

• Any（）：GetEnumerator; 1 MoveNext（）; 列挙子を破棄します。

• 取る（）：

  • チャンクの内容が列挙されていない場合は何もありません。

  • コンテンツが列挙されている場合：GetEnumerator（）、列挙されたアイテムごとに1つのMoveNextと1つのCurrent、Dispose列挙子。

  • Skip（）：列挙されたすべてのチャンク（チャンクのコンテンツではない）：GetEnumerator（）、MoveNext（）chunkSize回、Currentなし！列挙子を破棄する

列挙子で何が発生するかを見ると、MoveNext（）への呼び出しが多く、Current実際にアクセスすることに決めたTSource項目への呼び出しのみであることがわかります。

サイズchunkSizeのN個のチャンクを取得する場合は、MoveNext（）を呼び出します。

• Any（）のN回
• チャンクを列挙しない限り、まだテイクの時間はありません
• Skip（）のN倍のchunkSize

フェッチされたすべてのチャンクの最初のM要素のみを列挙することにした場合、列挙されたチャンクごとにMoveNextをM回呼び出す必要があります。

合計

MoveNext calls: N + N*M + N*chunkSize
Current calls: N*M; (only the items you really access)

したがって、すべてのチャンクのすべての要素を列挙することにした場合：

MoveNext: numberOfChunks + all elements + all elements = about twice the sequence
Current: every item is accessed exactly once

MoveNextが多くの作業であるかどうかは、ソースシーケンスのタイプによって異なります。リストと配列の場合、範囲外のチェックが行われる可能性がある、単純なインデックスの増分です。

ただし、IEnumerableがデータベースクエリの結果である場合は、データが実際にコンピューター上で実体化されていることを確認してください。そうでない場合、データは数回フェッチされます。DbContextとDapperは、アクセスする前にデータをローカルプロセスに適切に転送します。同じシーケンスを数回列挙すると、数回フェッチされません。Dapperはリストであるオブジェクトを返し、DbContextはデータがすでにフェッチされていることを記憶しています。

チャンクで項目の分割を開始する前にAsEnumerable（）またはToLists（）を呼び出すのが賢明かどうかは、リポジトリによって異なります

public static IEnumerable<IEnumerable<T>> SplitIntoSets<T>
    (this IEnumerable<T> source, int itemsPerSet) 
{
    var sourceList = source as List<T> ?? source.ToList();
    for (var index = 0; index < sourceList.Count; index += itemsPerSet)
    {
        yield return sourceList.Skip(index).Take(itemsPerSet);
    }
}

public static IEnumerable<IEnumerable<T>> Batch<T>(this IEnumerable<T> items, int maxItems)
{
    return items.Select((item, index) => new { item, index })
                .GroupBy(x => x.index / maxItems)
                .Select(g => g.Select(x => x.item));
}

これはどう？アイデアは、1つのループのみを使用することでした。そして、ご存じのとおり、コード全体でIList実装のみを使用していて、Listにキャストしたくない場合もあります。

private IEnumerable<IList<T>> SplitList<T>(IList<T> list, int totalChunks)
{
    IList<T> auxList = new List<T>();
    int totalItems = list.Count();

    if (totalChunks <= 0)
    {
        yield return auxList;
    }
    else 
    {
        for (int i = 0; i < totalItems; i++)
        {               
            auxList.Add(list[i]);           

            if ((i + 1) % totalChunks == 0)
            {
                yield return auxList;
                auxList = new List<T>();                
            }

            else if (i == totalItems - 1)
            {
                yield return auxList;
            }
        }
    }   
}

もう一つ

public static IList<IList<T>> SplitList<T>(this IList<T> list, int chunkSize)
{
    var chunks = new List<IList<T>>();
    List<T> chunk = null;
    for (var i = 0; i < list.Count; i++)
    {
        if (i % chunkSize == 0)
        {
            chunk = new List<T>(chunkSize);
            chunks.Add(chunk);
        }
        chunk.Add(list[i]);
    }
    return chunks;
}

public static List<List<T>> ChunkBy<T>(this List<T> source, int chunkSize)
    {           
        var result = new List<List<T>>();
        for (int i = 0; i < source.Count; i += chunkSize)
        {
            var rows = new List<T>();
            for (int j = i; j < i + chunkSize; j++)
            {
                if (j >= source.Count) break;
                rows.Add(source[j]);
            }
            result.Add(rows);
        }
        return result;
    }

List<int> list =new List<int>(){1,2,3,4,5,6,7,8,9,10,12};
Dictionary<int,List<int>> dic = new Dictionary <int,List<int>> ();
int batchcount = list.Count/2; //To List into two 2 parts if you want three give three
List<int> lst = new List<int>();
for (int i=0;i<list.Count; i++)
{
lstdocs.Add(list[i]);
if (i % batchCount == 0 && i!=0)
{
Dic.Add(threadId, lstdocs);
lst = new List<int>();**strong text**
threadId++;
}
}
Dic.Add(threadId, lstdocs);

私はこれと同じニーズに遭遇し、LinqのSkip （）メソッドとTake（）メソッドを組み合わせて使用​​しました。ここまでの反復回数を掛けた数を掛けると、スキップする項目の数が得られ、次のグループを取り出します。

        var categories = Properties.Settings.Default.MovementStatsCategories;
        var items = summariesWithinYear
            .Select(s =>  s.sku).Distinct().ToList();

        //need to run by chunks of 10,000
        var count = items.Count;
        var counter = 0;
        var numToTake = 10000;

        while (count > 0)
        {
            var itemsChunk = items.Skip(numToTake * counter).Take(numToTake).ToList();
            counter += 1;

            MovementHistoryUtilities.RecordMovementHistoryStatsBulk(itemsChunk, categories, nLogger);

            count -= numToTake;
        }

Dimitry Pavlov answereに基づいて削除し.ToList()ます。また、匿名クラスも避けてください。代わりに、ヒープメモリの割り当てを必要としない構造体を使用するのが好きです。（A ValueTupleも仕事をします。）

public static IEnumerable<IEnumerable<TSource>> ChunkBy<TSource>(this IEnumerable<TSource> source, int chunkSize)
{
    if (source is null)
    {
        throw new ArgumentNullException(nameof(source));
    }
    if (chunkSize <= 0)
    {
        throw new ArgumentOutOfRangeException(nameof(chunkSize), chunkSize, "The argument must be greater than zero.");
    }

    return source
        .Select((x, i) => new ChunkedValue<TSource>(x, i / chunkSize))
        .GroupBy(cv => cv.ChunkIndex)
        .Select(g => g.Select(cv => cv.Value));
} 

[StructLayout(LayoutKind.Auto)]
[DebuggerDisplay("{" + nameof(ChunkedValue<T>.ChunkIndex) + "}: {" + nameof(ChunkedValue<T>.Value) + "}")]
private struct ChunkedValue<T>
{
    public ChunkedValue(T value, int chunkIndex)
    {
        this.ChunkIndex = chunkIndex;
        this.Value = value;
    }

    public int ChunkIndex { get; }

    public T Value { get; }
}

これは次のように使用でき、コレクションを1回だけ反復し、重要なメモリを割り当てません。

int chunkSize = 30;
foreach (var chunk in collection.ChunkBy(chunkSize))
{
    foreach (var item in chunk)
    {
        // your code for item here.
    }
}

具体的なリストが実際に必要な場合は、次のようにします。

int chunkSize = 30;
var chunkList = new List<List<T>>();
foreach (var chunk in collection.ChunkBy(chunkSize))
{
    // create a list with the correct capacity to be able to contain one chunk
    // to avoid the resizing (additional memory allocation and memory copy) within the List<T>.
    var list = new List<T>(chunkSize);
    list.AddRange(chunk);
    chunkList.Add(list);
}