データセットの確率分布によって生成されるトレーニングデータの意味

私はディープラーニングの本を読んでいて、次のパラ（109ページ、2番目のパラ）に出くわしました。

トレーニングデータとテストデータは、データ生成プロセスと呼ばれるデータセットの確率分布によって生成されます。通常、集合的にiid仮定と呼ばれる一連の仮定を作成します。これらの仮定は、各データセットの例が互いに独立していること、およびトレーニングセットとテストセットが同じように分布しており、互いに同じ確率分布から抽出されていることです。この仮定により、1つの例の確率分布を使用してデータ生成プロセスを説明できます。次に、同じ分布を使用して、すべてのトレインの例とすべてのテストの例を生成します。その共有された基礎となる分布をデータ生成分布と呼び、$p_{\text{data}}$。この確率論的フレームワークとiidの仮定により、トレーニングエラーとテストエラーの関係を数学的に研究できます。

誰かがこの段落の意味を説明してくれませんか？

122ページの最後の段落では、例も示しています

サンプルのセット $\{x(1), \dots, x(m) \}$ 平均を伴うベルヌーイ分布に従って独立して同一に分布している $\theta$。

これは何を意味するのでしょうか？

ここでは、さらに具体的な質問をいくつか示します。

1. データセットの確率分布：データセットとは何ですか？確率分布はどのように生成されますか？

2. 例は互いに独立しています。例が依存している場所の例を教えてもらえますか？

3. 互いに同じ確率分布から引き出されます。確率分布がガウスであると仮定します。「同じ確率分布」という用語は、すべての例が同じ平均と分散のガウス分布から抽出されることを意味しますか？

4. 「この仮定は私たちを可能にします」。これは何を意味するのでしょうか？

5. 最後に、122ページの最後の段落では、サンプルがベルヌーイ分布に従うことが示されています。これは直感的にどういう意味ですか？

1. データセットの確率分布：データセットとは何ですか？確率分布はどのように生成されますか？

入力データの根本的な分布を推定できれば、基本的にそれらがどのように選択されているかがわかり、適切な予測を行うことができます。（生成モデル）。通常、私たちは信じていること（帰納的バイアス）に従って基礎となる分布を仮定できます。たとえば、値がゼロに近い可能性が高いと考えられる場合は、平均でガウス分布をとることができます$0$トレーニングの際、分散などのパラメータを調整します。データセットは、たとえば、すべてのコイン投げのセットであり、想定される分布は二項分布になります。実際のデータポイントの対数尤度を最大化するとは、想定される分布にデータセットを適合させるパラメーターを取得することです。

2. 例は互いに独立しています。例が依存している場所の例を教えてもらえますか？

たとえば、コインをトスし、頭があれば別のトスをし、そうでなければしません。ここでは後続のトス間に依存関係があります

3. 互いに同じ確率分布から引き出されます。確率分布がガウスであると仮定します。「同じ確率分布」という用語は、すべての例が同じ平均と分散のガウス分布から抽出されることを意味しますか？

4. 「この仮定は私たちを可能にします」。これは何を意味するのでしょうか？

はい。それが（4）が言われる理由です。1つの例から確率分布を得たら、データ生成プロセスを説明するために他の例は必要ありません。

5. 最後に、122ページの最後の段落では、サンプルがベルヌーイ分布に従うことが示されています。これは直感的にどういう意味ですか？

つまり、各例はコイントスと考えることができます。実験が複数回のコイントスである場合、各コイントスは独立していて、ヘッドの確率は$\frac{1}{2}$。同様に、他の実験を選択した場合、各例の結果は、コイン投げまたはn次元のサイコロと考えることができます。

例を生成するということは、トレーニングのためにデータセットに表示されるものに最も近い分布を取得することを意味します。これは、分布を想定し、特定のデータセットの可能性を最大化し、最適なパラメーターを出力することで得られます。