「アブレーション」の本来の意味は、体組織の外科的除去です。「アブレーション研究」という用語は、1960年代と1970年代の実験的神経心理学の分野にその起源があり、動物の脳の一部が取り除かれ、動物の行動に及ぼす影響を研究しました。
機械学習、特に複雑なディープニューラルネットワークのコンテキストでは、「アブレーションスタディ」が採用され、ネットワークの動作をよりよく理解するために、ネットワークの特定の部分を削除する手順が説明されています。
2018年6月にKeras深層学習フレームワークの主著者であるFrancois Cholletがツイートして以来、この用語は注目を集めています。
アブレーション研究は深層学習の研究にとって重要です。これを十分に強調することはできません。システムの因果関係を理解することは、信頼できる知識（あらゆる研究の目標）を生成する最も簡単な方法です。そして、アブレーションは因果関係を調査するための非常に簡単な方法です。
複雑なディープラーニングの実験設定を行う場合、パフォーマンスを低下させることなく、いくつかのモジュールを削除（またはトレーニング済みの機能をランダムな機能に置き換える）できる可能性があります。研究プロセスのノイズを取り除く：アブレーション研究を行います。
システムを完全に理解できませんか？多くの可動部品？それが機能している理由があなたの仮説に本当に関連していることを確認したいですか？ものを削除してみてください。実験時間の少なくとも約10％を費やして、論文を反証する誠実な努力をしてください。
例として、Girshickと同僚（2014）は、3つの「モジュール」で構成されるオブジェクト検出システムについて説明しています。最初は、選択的検索アルゴリズム（Uijlingsと同僚2012）を使用してオブジェクトを検索する画像の領域を提案します。特徴抽出を実行する大規模な畳み込みニューラルネットワーク（5つの畳み込み層と2つの完全に接続された層）にフィードし、特徴抽出を実行して、分類のための一連のサポートベクターマシンにフィードします。システムをよりよく理解するために、著者はシステムのさまざまな部分が削除されたアブレーション研究を行いました-たとえば、CNNの完全に接続されたレイヤーの1つまたは両方を削除しても、パフォーマンスの損失は驚くほど少ないため、著者は結論付けることができました
CNNの表現力の多くは、はるかに大きい密に接続された層からではなく、その畳み込み層から得られます。
OPは、アブレーションスタディを実行する/方法/の詳細と包括的なリファレンスを求めます。これには「1つのサイズですべてに対応できる」という答えがあるとは思いません。アプリケーションとモデルのタイプによって、メトリックは異なる可能性があります。問題を単純に1つのディープニューラルネットワークに絞り込む場合、原則的にレイヤーを削除して、ネットワークのパフォーマンスがどのように変化するかを調査することは比較的簡単です。これを超えると、実際にはすべての状況が異なり、大規模で複雑な機械学習アプリケーションの世界では、これは各状況に固有のアプローチが必要になる可能性が高いことを意味します。
OPの例-線形回帰-の場合、線形回帰モデルから「削除」できるのは一部の予測子だけなので、アブレーション研究は意味がありません。「原則的」方式でこれを行うと、単に一般的に眉をひそめるされた逆段階的選択手順、である-を参照して、ここで、こことここに詳細については。Lassoなどの正則化手順は、線形回帰のはるかに優れたオプションです。
参照：
Girshick、R.、Donahue、J.、Darrell、T。およびMalik、J.、2014。正確なオブジェクト検出とセマンティックセグメンテーションのための豊富な機能階層。コンピュータビジョンとパターン認識に関するIEEE会議の議事録（pp。580-587）。
Uijlings、JR、Van De Sande、KE、Gevers、T。およびSmeulders、AW、2013。オブジェクト認識の選択的検索。コンピュータービジョンの国際ジャーナル、104（2）、pp.154-171。