機能エンジニアリングが機能する理由

最近、MLの問題に対するより良い解決策を見つける方法の1つが、機能の作成によることであることを学びました。たとえば、2つの機能を合計することにより、これを行うことができます。

たとえば、ある種のヒーローの「攻撃」と「防御」という2つの機能があります。次に「攻撃」と「防御」の合計である「合計」と呼ばれる追加機能を作成します。奇妙に見えるのは、厳しい「攻撃」と「防御」でさえ、「合計」とほぼ完全に相関しているということです。

その背後にある数学は何ですか？それとも、私が間違っていると推論していますか？

さらに、kNNなどの分類子にとって、「合計」は常に「攻撃」または「防御」よりも大きいということは問題ではありませんか？したがって、標準化した後でも、異なる範囲の値を含む機能がありますか？

あなたはタイトルに質問し、コンテンツは私には不一致のようです。線形モデルを使用している場合、攻撃と防御に加えて全体的な機能を追加すると事態が悪化します。

まず、機能エンジニアリングが一般的に機能する理由をお答えします。

写真は千の言葉に値します。この図は、機能エンジニアリングに関するいくつかの洞察とそれが機能する理由を示している可能性があります（画像ソース）。

• デカルト座標のデータはより複雑であり、2つのタイプを分類するためのルールの作成/モデルの構築は比較的困難です。

• 極座標のデータは非常に簡単です。2つのタイプを分類する単純なルールをに記述できます。$r$

これは、データの表現が重要であることを示しています。特定のスペースでは、他のスペースよりも特定のタスクを実行する方がはるかに簡単です。

ここで、あなたの例で述べた質問に答えます（攻撃と防御の合計）

実際、この攻撃と防御の例で述べた機能エンジニアリングは、線形モデルなどの多くのモデルではうまく機能せず、いくつかの問題を引き起こします。Multicollinearityを参照してください。一方、このような機能エンジニアリングは、決定木/ランダムフォレストなどの他のモデルで機能する場合があります。詳細については、@ Imranの回答を参照してください。

したがって、答えは、使用するモデルによっては、一部の機能エンジニアリングは一部のモデルで役立ちますが、他のモデルでは役立たないということです。

使用しているモデルのタイプは、既存の機能の特定の組み合わせを学習するのにあまり効率的ではない場合があります。

ad$0$$a+d<0$$1$$a+d\geq0$

決定木は個々の機能軸に沿ってのみ分割できるため、モデルは最終的に次のような線に合うように階段を構築しようとします。

ご覧のとおり、これは新しいデータに完全に一般化されません。決定境界の下にある真の決定線の上に円を置くことができます。

ただし、a+d機能として追加すると、決定木にとって問題は簡単になります。個人aとd機能を無視して、単一のa+d<0決定切り株で問題を解決できます。

$a+d$

要約すると、使用しているモデルのタイプに応じて特定の追加機能が役立ちます。機能を設計するときは、データとモデルの両方を慎重に検討する必要があります。

totaltotalattackdefenseattackdefensetotalattacktotaldefense$\frac{1}{7}$

さらに、kNNなどの分類子にとって、「合計」は常に「攻撃」または「防御」よりも大きいということは問題ではありませんか？したがって、標準化した後でも、異なる範囲の値を含む機能がありますか？

予測変数を標準化する場合は、すべての予測子を作成した後に実行する必要があります。

一般的な答えを出すために、ほとんどの場合、機能エンジニアリングはデータから意味のある機能を抽出することです。したがって、モデルにより多くの情報を与えれば、明らかに動作が向上するはずです。データが「name.surname@domain.country-code」という形式の電子メールアドレスで構成されているとします。モデルでそれらをそのまま使用した場合、各人は一意の電子メールで特徴付けられるため、これはあまりわかりません。1つの電子メールが別の人に属している可能性があることだけを教えてくれます。機能エンジニアリングを使用すると、このようなアドレスから、性別（名前）、家族の背景と民族（姓）、国籍（ドメイン）などに関する情報を抽出できます-かなりの情報が得られますよね？

「機能」合計で何を達成しようとしていますか？単にヒーローを比較するだけなら、攻撃して防御がより役立つかもしれません。ビルドのタイプ（攻撃指向と防御指向）が有用であるとわかった場合、おそらく攻撃 / 防御がより役立つでしょう。または、多分MyAttack - YourDefenseの方が便利です。

それは本当にあなたの目標に依存し、それはあなたがより良い答えを得ることができるように問題に追加の知識を注入することに要約されます。周りに人が投げるのを聞いたことがあるログや二乗、比率、機能を作成するためのあらゆる方法をが、「有用」は手元のタスクに依存し、持っているデータを意思決定のあるドメインに変換することですよりシンプル。