タグ付けされた質問 「convergence」

Andrew Ng（残念ながらもう見つけられないビデオで）が、深層学習問題における局所的最小値の理解が、高次元の空間（ディープラーニング）クリティカルポイントは、ローカルミニマムではなくサドルポイントまたはプラトーになりやすい。 「すべてのローカルミニマムがグローバルミニマムである」という仮定を議論する論文（たとえば、これ）を見てきました。これらの仮定はすべてかなり技術的ですが、私が理解していることから、それらはニューラルネットワークに構造を課し、それをある程度線形にする傾向があります。 ディープラーニング（非線形アーキテクチャを含む）では、プラトーはローカルミニマムよりも可能性が高いという有効な主張ですか？もしそうなら、その背後に（おそらく数学的な）直感がありますか？ ディープラーニングとサドルポイントに特別なことはありますか？

18 machine-learning  deep-learning  optimization  convergence 

Word2Vec実装にiterパラメーターがありますgensim クラスgensim.models.word2vec.Word2Vec（sentences = None、size = 100、alpha = 0.025、window = 5、min_count = 5、max_vocab_size = None、sample = 0、seed = 1、workers = 1、min_alpha = 0.0001、sg = 1、hs = 1、negative = 0、cbow_mean = 0、hashfxn =、iter = 1、null_word = 0、trim_rule = None、sorted_vocab = 1） エポックの数を指定します。つまり、 iter =コーパス全体の反復数（エポック）。 それがコーパス全体でモデルを改善するのに役立つかどうか誰か知っていますか？ がiterデフォルトで1に設定されている理由はありますか？いいえを増やすことにはあまり効果はありません。エポックの？ いいえを設定する方法についての科学的/経験的評価はありますか？エポックの？ 分類/回帰タスクとは異なり、ベクトルは監視されていない方法で生成され、目的関数は単純に階層型ソフトマックスまたは負のサンプリングのいずれかであるため、グリッド検索方法は実際には機能しません。 いいえを短縮するための早期停止メカニズムはありますか？ベクトルが収束した時点のエポックの数 また、階層的なソフトマックスまたは負のサンプリング目標は収束できますか？

14 gensim  word2vec  convergence