タグ付けされた質問 「parallel」

DataFrame.isinパンダの機能を多用するモデリングおよびスコアリングプログラムを使用して、数千の特定のページごとに個々のユーザーのFacebookの「いいね」のレコードのリストを検索します。これは、1つのコアでのみ実行され、残りは数十個のコアで同時に実行されるため、モデリングやスコアリングの部分よりも、プログラムの最も時間のかかる部分です。 私は手動でデータフレームをチャンクに分割し、操作を並行して実行できることを知っていますが、それを自動的に行う簡単な方法はありますか？言い換えれば、簡単に委任された操作を実行していることを認識し、それを自動的に配布するパッケージがありますか？おそらくそれはあまりにも多くを求めていますが、私は過去にPythonですでに利用可能なものに十分驚いていましたので、尋ねる価値があると思います。 これがどのように達成されるかについてのその他の提案（魔法のユニコーンパッケージによってでなくても！）も歓迎します。主に、ソリューションのコーディングに同量の時間を費やすことなく、実行ごとに15〜20分間削る方法を見つけようとしています。

25 performance  python  pandas  parallel 

並列コンピューティングと分散コンピューティングの違いは何ですか？スケーラビリティと効率に関しては、マシンのクラスターで計算を処理するソリューションが非常に一般的であり、並列処理または分散処理と呼ばれることもあります。 ある意味では、並行して実行されているものがあるため、計算は常に並行しているように見えます。しかし、分散計算は単に複数のマシンの使用に関連しているのでしょうか、それともこれらの2種類の処理を区別するさらなる特異性はありますか？たとえば、計算が並列AND分散であると言うのは冗長ではないでしょうか？

15 definitions  parallel  distributed 

「中規模データ」プロジェクトと呼ばれることが多いものに取り組んで、4〜32コアのどこでも単一のシステムでコードを並列化できました（主にPythonでのモデリングと予測）。現在、EC2上のクラスターへのスケールアップを検討しており（おそらくStarCluster / IPythonを使用していますが、他の提案も受け入れています）、インスタンス上のクラスターとインスタンス上のコアに分散する作業を調整する方法に困惑しています。 インスタンス間および各インスタンスのコア間で並列化することは実際的ですか？もしそうなら、誰もがコアの少ないインスタンス対コアの多いインスタンスをいくつか実行することの長所と短所を簡単に説明できますか？インスタンスごとのコアに対するインスタンスの適切な比率を選択するための経験則はありますか？ 帯域幅とRAMは私のプロジェクトでは些細な問題ではありませんが、それらがボトルネックになっていて再調整するのは簡単です。繰り返しテストすることなく、コアの適切な組み合わせをインスタンスにベンチマークすることは非常に難しく、単一のテストをすべての状況に適用するにはプロジェクトがあまりにも多様です。事前に感謝します。これを適切にグーグルで検索できなかった場合は、他の場所で正しい答えを教えてください。

12 parallel  clusters  aws 

現在、ビッグデータに関する論文を執筆しており、データ分析にRを多用しています。ゲームの理由で、PCにGTX1070を使用しています。ですから、講師がやっていることのいくつかの処理をスピードアップすることができれば本当にクールだと思いましたが、これを行うのは簡単ではないようです。gpuR、CUDA、Rtools、およびその他のいくつかのビットとボブをインストールしました。たとえば、ゲノム発現データからgpuMatrixオブジェクトを作成できますが、両方ともgpuMatrixオブジェクトで機能する関数をまだ見つけていませんまた、パフォーマンスに目立った違いがあります。おそらくこれは、gpuRパッケージに固有の制限に関連しているだけです-他のいくつかのパッケージは、私が探しているようなもののように聞こえる関数を持っていることについて話しているようです これらのパッケージのほとんどすべてがLinux専用ですが、WindowsでRのGPUサポートを実装することは特に難しいですか？または、Windowsでこれを行うために使用できるパッケージが非常に少ないという他の理由がありますか？ある意味で私は興味があるだけですが、実際に機能させることも非常にクールです。Windowsで利用できるものがほとんどないことに驚き、通常はその逆です。

11 r  gpu  parallel 

KerasのLSTMを使用して（Theanoバックグラウンドを使用して）Seq2Seqモデルに取り組んでいます。数MBのデータでもトレーニングに数時間かかるため、プロセスを並列化したいと考えています。 GPUはCPUよりも並列化がはるかに優れていることは明らかです。現時点では、使用できるのはCPUだけです。16 CPUにアクセスできました（コアあたり2スレッドXソケットあたり4コアX 2ソケット） Theanoのマルチコアサポートのドキュメントから、1つのソケットの4つのコアすべてを使用することができました。したがって、基本的にCPUの使用率は400％で4CPUが使用され、残りの12 CPUは未使用のままです。どうすればそれらも活用できますか。Tensorflowが機能する場合は、Theano背景の代わりに使用することもできます。

10 tensorflow  keras  theano  parallel