「転移学習」と「ドメイン適応」の間に違いはありますか?
コンテキストについては知りませんが、私の理解では、いくつかのデータセット1があり、その上でトレーニングを行い、その後、最初から再トレーニングせずにモデルを適応させたい別のデータセット2があります。 「ドメイン適応」は、この問題の解決に役立ちます。
畳み込みニューラルネットワークの分野によると:
「転移学習」と「ドメイン適応」の間に違いはありますか?
コンテキストについては知りませんが、私の理解では、いくつかのデータセット1があり、その上でトレーニングを行い、その後、最初から再トレーニングせずにモデルを適応させたい別のデータセット2があります。 「ドメイン適応」は、この問題の解決に役立ちます。
畳み込みニューラルネットワークの分野によると:
回答:
「転移学習」と「ドメイン適応」の違いは何であるかについて、研究者の間で意見の相違があるようです。
{0}から:
ドメイン適応の概念は、転移学習と密接に関連しています。転移学習は、さまざまなタスクまたはドメインが関係する機械学習の問題のクラスを指す一般用語です。文献では、転移学習の標準的な定義はまだありません。一部の論文では、ドメイン適応と交換可能です。
{1}から:
参照:
{0}リー、チー。「文学調査:自然言語処理のためのドメイン適応アルゴリズム。」ニューヨーク市立大学大学院コンピューター・センター科学研究科(2012):8-10。https://scholar.google.com/scholar?cluster=2828982016930721315&hl=en&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf (ミラー)
{1}パン、Sinno Jialin、およびQiang Yang。「転移学習に関する調査。」知識とデータエンジニアリングに関するIEEEトランザクション22、いいえ。10(2010):1345-1359。https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf (ミラー)(引用数2.6k)
Hal Daumeの記事[1]から:
標準分類設定は、入力分布p(X)およびラベル分布p(Y | X)です。ドメイン適応:p(X)がトレーニングとテストの間で変わるとき。転移学習:p(Y | X)がトレーニングとテストの間で変化する場合。
つまり、DAでは入力分布は変化しますが、ラベルは同じままです。TLでは、入力分布は同じままですが、ラベルは変わります。
転移学習に関する文献を通して、用語の不一致がいくつかあります。転移学習やドメイン適応などのフレーズは、同様のプロセスを指すために使用されます。ドメイン適応とは、情報を転送する手段に1つ以上のソースドメインを適応させて、ターゲット学習者のパフォーマンスを向上させるプロセスです。ドメイン適応プロセスは、ソースの分布をターゲットの分布に近づけようとして、ソースドメインを変更しようとします。Domain Adaptation設定では、ソースドメインとターゲットドメインの限界分布は異なるp(X)です。Panの調査によれば、Transfer Learningはより広い用語であり、ソースドメインとターゲットドメインの条件付き分布p(Y | X)に違いがある場合も含めることができます。対照的に、
「転移学習」はより一般的な用語であり、「ドメイン適応」は「転移学習」のシナリオだと思います。
[1]ドメイン適応に対する譲渡可能な注意。http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf
[1]によれば、ドメイン適応はNLPの転移学習です:「NLPドメインでの転移学習はドメイン適応と呼ばれることもあります。」
[1]パン、SJ、およびQ.ヤン。「転移学習に関する調査。」知識とデータ工学に関するIEEEトランザクション22、no。10(2010年10月):1345–59。https://doi.org/10.1109/TKDE.2009.191またはhttps://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf