パフォーマンスの問題を検索してイベントデータを視覚化する方法

高度に非同期の通信パターンでMPIアプリケーションを最適化しようとしています。各ランクには計算するもののリストがあり、入力または出力が異なるランクにある場合は、必要に応じてメッセージを送信します。さらに、各ランクはスレッド化されています（現在、1つの通信スレッドと5つのワーカー）。

コードのさまざまなパフォーマンスクリティカルな部分にタイマーを使用してコードをインストルメント化しました。これにより、各スレッドの（開始、終了、タイプ）トリプルのリストが表示されます。横軸を時間、縦軸をランクとスレッド、そして各スレッドが現在何をしているかを示す色で、わかりやすい方法でプロットすると、6スレッド/ランクの16ランクで次のような画像が得られます。

私の質問は、パフォーマンスの問題を突き止めるのに役立つこのデータを視覚化する他の方法は何ですか？誰かが非同期アプリケーションのプロファイリングに使用するお気に入りのタイプのプロットを持っていますか？

このデータセットは、データフロー構造を認識していないという点で制限されていますが、より複雑なものを収集する前に、できる限り多くの洞察を得たいと思います。

誰もが見回したい場合に備えて、非圧縮画像がここにあります（通常のルートでアップロードできませんでした）。残念ながら、Firefoxは有効であると私が信じているにもかかわらず、それを受け入れません。おそらくそれが単に大きすぎるためです。

私は共有メモリと分散メモリの両方で並列コードの作成とデバッグに多くの時間を費やしていますが、特定の問題を知らずに、私にとって最適なものだけを伝えることができます。

計算効率を検討する場合、どのルーチンにどのくらいの時間がかかるかを知ることは重要ですが、並列効率を心配している場合は、計算を実行していないときのコードの動作をもっと心配する必要があります。静かすぎると子供たちが何をしているのか気になるような…

ハイブリッド共有/分散メモリアプローチを使用しているので、コードは空欄で、MPI呼び出しまたはmutex /条件変数で待機していると思います。これらの呼び出しをタイマーでラップすることもできます。これにより、たとえばMPI_REDUCE、スレッドがスタックしている状態と常に同じか、常に同じである場合など、何が遅くなっているのかをよりよく把握できます。

私がよく使用するソフトウェアの1つはIntel Vtune Amplifier XEです。スレッドの同時実行を視覚化する優れたプロット機能/オプションがあります。プログラムはあなたのプロットと非常によく似たプロットを描画しますが、スレッドがミューテックスまたは条件変数で待機している場合、待機を開始した時点で、待機中のスレッドから、実際にミューテックスを解放したかシグナルを送信したスレッドに対角線を描画します解放または通知されたときに待機していた状態。これはかなり厄介なことですが、ボトルネックがすぐに現れます。

最後に、バルク統計も収集します。たとえば、各ミューテックス/シグナル/ MPIコールについて、平均および最大待機時間はどれくらいでしたか？収集された待機時間のヒストグラムは何ですか？プロットは全体像を示してくれますが、細かいところまで行くとかなり面倒になります。

最後に、過小評価してはいけない1つの質問：タイミングをどのように収集していますか？あなたのタイマーはあなたのコードに影響を与えないほど十分に邪魔にならないでしょうか？私は可能な限り、つまりRDTSCx86アーキテクチャでCPU命令カウントを使用しています。これは通常、コードに単一の命令を追加するだけです。

高レベルのリソース分析により、パフォーマンスの問題に関する別の見方ができる場合があります。メモリ帯域幅などの関連するボトルネックはありますか？すべてのワーカースレッドは同じ量の作業を行いますか？このデータは、LIKWIDツールスイートLIKWID Googleコードプロジェクトからlikwid-perfctrを使用して簡単に収集できます。多くの異なるホットスポットが存在するようなプロファイルの場合、それらを1つずつ取り組む必要がある場合があります。使用されているスレッド/プロセスの数に応じて、異なる問題が発生する場合もあります。

メッセージやイベントによって制御される高度に非同期のプロセスのネットワークで問題が発生した場合は、簡単ではないが効果的な方法を使用します。これには、プロセスのタイムスタンプ付きログを取得し、それらを共通のタイムラインにマージし、アクティビティがトリガーされたときに一部のメッセージの進行状況を追跡し、さらにメッセージをトリガーすることが含まれます。私が探しているのは、メッセージが受信されてから処理されるまでの遅延と、遅延の理由を理解することです。問題が見つかった場合は修正され、プロセスが繰り返されます。このように、あなたは本当に満足のいくパフォーマンスを得ることができます。

これが、測定、測定、測定するアプローチとどのように異なるかを確認することが重要です。測定することでおそらくあなたが知ることができる唯一のものは、どこを見ないかです。実際のパフォーマンスチューニングでは、時間の観点から詳細を注意深く見る必要があります。あなたが探しているのは、時間が費やされている場所ではなく、不必要に費やされている場所です。

幸運を。