エポックからエポックに成長するpytorchの高IOデータセットから読み取る方法

私はTensorflowを使用していますが、通常はディープラーニングフレームワークによって異なるユーザー向けのドキュメントを作成しています。

ローカルファイルシステム（TB +）に適合しないデータセットを操作するとき、リモートデータストアからデータをサンプリングし、サンプルをローカルでTensorflow標準tfrecords形式に書き込みます。

トレーニングの最初のエポックの間、私は数個の値をサンプリングしただけなので、ローカルデータのエポックは非常に小さく、それでトレーニングします。上エポック2 Iは、データファイルは、次のエポックのためのローカルデータファイルの拡張セットに私のサンプリングサブプロセス（今より）と電車で製造されていたものを再検討します。エポックごとにプロセスを繰り返します。このようにして、サンプルのローカルキャッシュを構築し、ローカルストレージがいっぱいになると古いサンプルを削除できます。ローカルサンプルキャッシュは、モデルが最も分散を必要とする頃に（トレーニングの後半に向かって）大きくなります。

Python / Tensorflowでは、PythonのGILがデータ転送速度（300-600 MB /秒、データは未処理の科学的な非圧縮性）をサポートできないため、Pythonトレーニングループプロセスでデータをデシリアライズしないことが重要であり、したがってGPUパフォーマンスPython GILがトレーニングループを高速に処理できない場合に問題が発生します。

tfrecordsサブプロセスからサンプルをファイルに書き込む（Pythonマルチプロセッシング）と、テンソルフローのネイティブTFRecordsDatasetがPythonの外部で逆シリアル化を実行できるため、PythonのGILの問題を回避でき、高いIOデータレートでGPUを飽和させることができます。

Pytorchでこの問題にどう対処するか知りたいのですが。使用しているサンプリング戦略について書いていて、TensorflowとPyTorchの両方のユーザーに特定の推奨事項を提供したいのですが、PyTorchの前処理エコシステムについて十分に詳しく説明できません。

補足：これらのデータ転送速度をサポートする唯一の純粋なPythonベースのソリューションは、System V共有メモリとマルチプロセッシングを備えたPython 3.8で提供される可能性がありますが、まだ十分にサポートされていないため、まだ試していません（まもなく）。既存のマルチプロセッシングソリューションは、トレーニングループプロセスでの逆シリアル化を必要とするため、高IOレートでの逆シリアル化中にGILをロックするため、十分ではありません。

実際、を使用すると、サブプロセスのデータを簡単に逆シリアル化できますtorch.utils.data.DataLoader。num_workers引数を1以上の値に設定すると、独自のpythonインタープリターとGILを使用してサブプロセスを生成できます。

loader = torch.utils.data.DataLoader(your_dataset, num_workers=n, **kwargs)
for epoch in range(epochs):
    for batch_idx, data in enumerate(loader):
         # loader in the main process does not claim GIL at this point

A Dataloaderはtorch.utils.data.Datasetからデータを取得する必要があります。あなたのケースで適切なサブクラスを実装することは簡単な仕事ではないかもしれません。Datasetすべてのエポックのインスタンスを再作成する必要がある場合は、このようなことを行うことができます。

for epcoh in range(epochs):
    dset = get_new_dataset()
    loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)
    for batch_idx, data in enumerate(loader):
        # Do training

またはさらに良い

dset = get_new_dataset()
loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)

for epcoh in range(epochs):
    last_batch_idx =  (len(dset)-1) // loader.batch_size
    for batch_idx, data in enumerate(loader):
        # Prepare next loader in advance to avoid blocking
        if batch_idx == last_batch_idx:
            dset = get_new_dataset()
            loader = torch.utils.data.DataLoader(dset, num_workers=n, **kwargs)
        # Do training

注意点として、すなわち、ほとんどの場合、GILの影響を受けていることのCPUバウンドの操作ではなく、I / Oバウンドの操作がありますのでご注意くださいthreading任意の純粋なI / O重い操作のために行うとあなたも必要性がないだろうsubprocess。詳細については、この質問とこのウィキペディアの記事を参照してください。