3
計算を行列乗算として表現すると、なぜ高速になるのですか？
TensorFlowを使用した GoogleのMNistチュートリアルでは、1つのステップが行列にベクトルを掛けることに相当する計算が示されています。Googleは最初に、計算の実行に使用される各数値の乗算と加算が完全に書き出された図を示します。次に、代わりに行列乗算として表されている図を示します。このバージョンの計算はより高速であるか、少なくとも高速であると主張しています。 それを方程式として書くと、次のようになります。 この手順を「ベクトル化」して、行列乗算とベクトル加算に変換できます。これは計算効率に役立ちます。（それはまた、考えるのに便利な方法です。） このような方程式は通常、機械学習の実践者によって行列乗算形式で記述されていることを知っています。もちろん、コードの簡潔さや数学の理解の観点からそうすることの利点を理解できます。私が理解していないのは、長文形式から行列形式への変換が「計算効率に役立つ」というGoogleの主張です 計算を行列乗算として表現することにより、いつ、なぜ、どのようにソフトウェアのパフォーマンスを向上させることができますか？人間として、2番目の（マトリックスベースの）イメージでマトリックスの乗算を自分で計算する場合、最初の（スカラー）イメージに示されている個別の計算を順番に実行することでそれを行います。私にとって、それらは同じ計算シーケンスの2つの表記法にすぎません。なぜ私のコンピューターと違うのですか？なぜコンピューターはスカラー計算よりも速くマトリックス計算を実行できるのでしょうか？