意思決定の切り株は線形モデルですか？

決定切り株は、分割が1つしかない決定木です。また、区分関数として書くこともできます。

たとえば、がベクトルであり、がの最初のコンポーネントであると仮定すると、回帰設定では、いくつかの決定スタンプが $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

しかし、それは線形モデルですか？ここでと書くことができます $f(x)=\beta^T x$ か？この質問は奇妙に聞こえるかもしれません。答えとコメントで述べたように、区分的関数をプロットする場合、それは線ではないからです。この質問をする理由については、次のセクションをご覧ください。

編集：

この質問をする理由は、ロジスティック回帰が（一般化された）線形モデルであり、決定境界が線であり、これも決定の切り株であるためです。この質問もあることに注意してください：ロジスティック回帰はなぜ線形モデルなのですか？。一方、意思決定の切り株が線形モデルであることは事実ではないようです。

私がこれを尋ねたもう一つの理由は、この質問のためです：ブースティングでは、ベース学習者が線形モデルである場合、最終モデルは単なる線形モデルですか？ここで、ベースモデルとして線形モデルを使用すると、線形回帰以外の何も得られません。しかし、ベースラーナーを決定の切り株として選択すると、非常に興味深いモデルが得られます。

これは、2つの特徴と1つの連続的な応答を使用した回帰での決定切り株ブースティングの1つの例です。

— ハイタオドゥ
ソース

なぜあなたはそれを線形だと考えますか？

— ティム

ここで決定境界と決定関数を区別するために重要な@ hxd1011

— shadowtalker

1から1000までのすべての次数がゼロに等しい1000次多項式と呼ぶことができます。ゼロ次（別名定数）モデルと呼ぶことができ、主要な機能をより簡潔に伝えることができます。古典的なツリーは区分的に一定です。切り株である自明なツリーは、一方のモデルが一定で、もう一方が異なる定数である空間内の単一の分割です。グローバルに一定ではありませんが、poly1ではありません。Rの「キュービスト」ライブラリは、定数モデルではなく、実際の線形（poly1）モデルに適合します。試してみてください。

— EngrStudent-モニカの復活

あなたが平面上に線を描画した場合（Y = 0と言う）、そして取る任意の関数、次いで、に実際の線（平行な輪郭線があります軸）、ただし、線形関数ではありません。

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— マシュードゥルーリー

これは奇妙な質問です。例から関数をプロットできますか（x <2の場合は3、x> 2の場合は5）。それを見てください-それは直線ですか？直線でない場合は、線形関数ではありません。

— アメーバは、モニカの復活を

回答:

いいえ、データを変換しない限り。

インジケーター関数を使用してを変換すると、線形モデルになります $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

次に、 $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

編集：これはコメントで言及されましたが、ここでも強調したいと思います。任意の二つに区画データを傍受して、単一の入力（データポイントがオンになっているパーティションのどちら「側」の指標）と、この形式の線形モデルに変換することができる機能。決定関数と決定境界の違いに注意することが重要です。

— シャドウトーカー
ソース

「変換」トリッキーですが、私は、ニューラルネットワーク（MLP）が非直線的であると思うが、変換後、それは線形..です

— ハイタオ・ドゥ

これは、あるパラメータの線形モデル。そして、それはあるダミーでアフィン線形。

x^{'}

$x'$

— マイケルM

@MichaelMパラメータでどのように線形ですか？私はあなたの選択を意味する「パラメータ」で前提と

x \leq 2

$x \leq 2$

— shadowtalker

@ hxd1011答えは「いいえ、データを変換しない限り」です

— -shadowtalker

答えを編集して、「いいえ、データを変換しない限り」（最後のコメントから）を含めることをお勧めします。現在、あなたの冒頭の言葉は「線形モデル」であり、人々は混乱する可能性があります。

— アメーバは、モニカの復活を

あなたの質問への回答：

決定切り株は線形モデルではありません。
モデルが線形でない場合でも、決定境界は線になることがあります。ロジスティック回帰はその一例です。
ブーストされたモデルは、基本学習者と同じ種類のモデルである必要はありません。考えてみると、ブースティングの例に加えて、リンクした質問は、決定の切り株が線形モデルではないことを証明しています。

— ヒラメ
ソース

この答えは、単に質問に答えるために必要なものよりも詳細です。私は本当の専門家からコメントを呼び起こしたいと思っています。

私はかつて法廷にいましたが、裁判官は（文脈上正当な理由で）犬の尾を脚と呼ぶなら、それは犬が5本の足を持っていることを意味しますか？それでは、線形モデルとは何ですか？

統計の文脈では、専門家から、線形モデルとは、という形式の関数から構成される統計モデルを意味し、重要な制約があると言われました。エラー用語は独立しており、通常分布しています。その定義では、エラー項に関する情報を与えていないため、モデルが線形であるかどうかはわかりません。誤差項制約を削除すると、指定した関数またはssdecontrolが指定する関数でトートロジー的に線形になります。しかし、素朴に、この質問の文脈では、それは不満足かもしれません。その意味では、どの関数も線形の基礎と見なすことができます。これは、関数の任意の空間を関数のベクトル空間に変換できるためです。 $f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$

あなたが鼻を求めている場合、それは数学的に、あなたの関数が線形であれば、答えはノーです。線形関数とは、そのグラフが直線である関数ですが、関数には明らかにそのプロパティがありません。最後にポーズをとる質問への回答では、、その後noになるように見つけることができます。 $\beta$ $f(x) = \beta^{T} x$

指定したクラスの関数は、（実）数値およびを満たします。あなたの機能を満足することを通知および、そう関数がフォームであった場合に必要とされるように。線形関数に対して提案するクラスは、通常線形関数と呼ばれるもののサブクラスです。 $f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— えー
ソース

線形性はエラー項とは関係ありません。それはパラメータの線形結合からなるという事実と関係があります。これは2D空間の直線を表します（より一般的には平面を表します）。

— シャドウトーカー

@ssdecontrol-確率Ph.D. （そしてコルモゴロフの学生）は、「線形モデル」という用語が統計学で使用される場合、エラー用語に関する記述を含むと私に主張しました。私は実際、この見解がどれほど一般的であるかに非常に興味があります。線形には多くの意味があります。たとえば、N空間に方程式がある場合、ゼロセットが超平面であれば線形であると言えます。もちろん、書くことができます。しかし、関数は線形であるすなわちです。

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

— -meh

それが彼が主張しているのであれば、それは彼の意見であり、ある種の難しい事実ではありません。私が知る限り、「線形モデル」の厳密な受け入れられた定義はなく、私の頭の中に定義する必要もありません。私にとって、誤差項が関係しているという事実は、モデルを「線形モデル」から「統計的線形モデル」に変えるだけです。私は彼女の用語について本質的に線形なものは見ていませんし、線形モデルについて本質的に統計的なものも見ていません。

— シャドウトーカー

エラー用語の存在を主張するIMOは、たとえば、工学または物理学者が決定論的物理プロセスの「線形モデル」とみなす可能性のあるものを無視します。

— シャドウトーカー