「転移学習」と「ドメイン適応」の違いは何ですか?


19

「転移学習」と「ドメイン適応」の間に違いはありますか?

コンテキストについては知りませんが、私の理解では、いくつかのデータセット1があり、その上でトレーニングを行い、その後、最初から再トレーニングせずにモデルを適応させたい別のデータセット2があります。 「ドメイン適応」は、この問題の解決に役立ちます。

畳み込みニューラルネットワークの分野によると:

  • 「転移学習」とは、「微調整」を意味します[1]

  • この場合[2]は教師なしですが、「ドメイン適応」は常に教師なしにする必要がありますか?


3
パン等による転移学習に関する調査 al、2009年はいくつかの洞察を提供します。ドメイン適応は、転移学習の一種として分類されます。
ケダルプス

回答:


13

「転移学習」と「ドメイン適応」の違いは何であるかについて、研究者の間で意見の相違があるようです。

{0}から:

ドメイン適応の概念は、転移学習と密接に関連しています。転移学習は、さまざまなタスクまたはドメインが関係する機械学習の問題のクラスを指す一般用語です。文献では、転移学習の標準的な定義はまだありません。一部の論文では、ドメイン適応と交換可能です。

{1}から:

ここに画像の説明を入力してください


参照:


10

Hal Daumeの記事[1]から:

標準分類設定は、入力分布p(X)およびラベル分布p(Y | X)です。ドメイン適応:p(X)がトレーニングとテストの間で変わるとき。転移学習:p(Y | X)がトレーニングとテストの間で変化する場合。

つまり、DAでは入力分布は変化しますが、ラベルは同じままです。TLでは、入力分布は同じままですが、ラベルは変わります。

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.htmlミラー

Cross Validatedへようこそ!ツアーをご覧ください。回答は適切な引用が含まれていることが望ましいです。リンクの情報を使用して、質問への適切な回答をリンクとともに提供し、さらに読みやすくする場合、これははるかに改善された回答になります。
タヴロック

1
pY|バツpバツ

@cavemanに同意します。多くの転移学習シナリオの場合です。
pir

2

転移学習に関する文献を通して、用語の不一致がいくつかあります。転移学習やドメイン適応などのフレーズは、同様のプロセスを指すために使用されます。ドメイン適応とは、情報を転送する手段に1つ以上のソースドメインを適応させて、ターゲット学習者のパフォーマンスを向上させるプロセスです。ドメイン適応プロセスは、ソースの分布をターゲットの分布に近づけようとして、ソースドメインを変更しようとします。Domain Adaptation設定では、ソースドメインとターゲットドメインの限界分布は異なるp(X)です。Panの調査によれば、Transfer Learningはより広い用語であり、ソースドメインとターゲットドメインの条件付き分布p(Y | X)に違いがある場合も含めることができます。対照的に、

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

「パンの調査」の引用を追加することは可能でしょうか?この答えが将来の読者にとってより有用になると思います。
シルバーフィッシュ

パン、シンノ・ジャリン、チャン・ヤン。「転移学習に関する調査。」知識とデータエンジニアリングに関するIEEEトランザクション22、いいえ。10(2010):1345-1359。scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/...
クリストスKaratsalos


弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.