解釈可能なモデルが必要な場合、線形回帰以外の方法はありますか？

16

ランダムフォレストや勾配ブースティングなどの「MLモデル」は説明が難しい、または「解釈できない」と考えているため、予測に線形回帰以外のモデルを使用しない統計学者がいました。

線形回帰では、仮定のセットが検証されると（エラーの正規性、等分散性、多重共線性なし）、t検定は変数の有意性をテストする方法を提供します。ランダムフォレストまたは勾配ブースティングモデル。

したがって、私の質問は、独立変数のセットで従属変数をモデル化するかどうかです。解釈可能性のために、常に線形回帰を使用する必要がありますか？

— ビクター
ソース

6

まだ線形と考えるものに依存します。一般化線形モデルおよび一般化加法モデルは、推定される線形成分に基づいて機能しますが、さまざまな関係をモデル化できます。

— フランスロデンブルク

2

また、解釈可能という意味も異なります。機械学習モデルでは、さまざまな方法で「ブラックボックスを覗き込む」方法が提案されていますが、目標に適している場合とそうでない場合があります。

— user20160 9：12

5

推論統計とt検定が解釈可能性にどのような関係があるのか、私はよくわかりません。IMOは主に係数推定に関するものです。

— S. Kolassa-モニカの復職

3

@StephanKolassa "Interretability"は、関数formにも関係します。たとえば、回帰モデルのアルゴリズムの分数多項式曲線フィッティング（線形回帰、GLM、またはその他）によって生成された係数推定値は、良好な適合を取得しながら、ほぼ間違いなく直感に反します：生成された形状の配列を思い出してくださいという形式のモデル、したがって係数推定によって暗示されると関係を解釈しますか？

y_{i} = β_{0} + β_{1} x_{i}^{- 3 / 5} + β_{2} x_{i}^{1 / 3} + β_{3} x_{i}^{3} + ε_{i}

$y_{i}=\beta_{0} + \beta_{1}x_{i}^{-3/5} + \beta_{2}x_{i}^{1/3} + \beta_{3}x_{i}^{3} + \varepsilon_{i}$

y

$y$

x

$x$

— アレクシス

2

@UserXは、線形回帰です（つまり、パラメーターが線形です）。コントラストと：前者は線形回帰モデルですが、後者は線形回帰を使用して推定できません。

y_{i} = β_{0} + β_{1} x_{i} + β_{2} x_{i}^{2} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + \beta_{2}x_{i}^{2} + \varepsilon_{i}$

y_{i} = β_{0} + β_{1} x_{i} + x_{i}^{β_{2}} + ε_{i}

$y_{i} = \beta_{0} + \beta_{1}x_{i} + x_{i}^{\beta_{2}} +\varepsilon_{i}$

— アレクシス

28

あなたが人々がこれを言っているのを聞いたことを信じるのは難しいです。ハンマーを使用するだけです（ドリル穴を開けたり、電球を変更するために使用する）。これは、使用が簡単で予測可能な結果が得られるためです。

第二に、線形回帰は常に「解釈可能」ではありません。多くの多項式項、または多くの特徴を持つ線形回帰モデルがある場合、解釈するのは難しいでしょう。たとえば、MNIST †の784ピクセルのそれぞれの生の値を特徴として使用したとします。ピクセル237の重みが-2311.67であることがわかれば、モデルについて何かわかりますか？画像データの場合、畳み込みニューラルネットワークの活性化マップを見ると理解しやすくなります。

最後に、ロジスティック回帰、決定木、単純ベイズアルゴリズムなど、同様に解釈可能なモデルがあります。

†- コメントでIngolifsが気づいたように、またこのスレッドで説明したように、MNISTは非常に単純なデータセットであるため、最良の例ではないかもしれません。ほとんどの現実的な画像データセットでは、ロジスティック回帰は機能せず、重みを見るだけでは簡単な答えは得られません。リンクされたスレッドの重みを詳しく見ると、その解釈も簡単ではありません。たとえば、「5」または「9」を予測するための重みは明らかなパターンを示しません（下の画像を参照、他のスレッドからコピー）。

— ティム
ソース

2

この答えは、MNISTのロジスティック回帰がいかに明確に説明できるかを示す良い仕事だと思います。

— インゴリフ

1

@Ingolifsは同意しますが、これはアクティベーションマップです。ニューラルネットワークでも同じことができます。

— ティム

それが何と呼ばれるかに関係なく、それはロジスティック回帰があなたが本当にニューラルネットワークの活性化マップのために得ない方法でその決定をするために使用しているものの明確な説明を与えます。

— インゴリフ

1

@Ingolifs MNISTは非常に単純なため、おそらく最良の例ではありませんが、ポイントはニューラルネットワークに同じ方法を使用することです。

— ティム

11

デシジョンツリーも別の選択肢です。または、なげなわ回帰分析でスパースシステムを作成します。

「統計学習入門」の本のこの図を確認してください。 http://www.sr-sv.com/wp-content/uploads/2015/09/STAT01.png

— ハイタオドゥ
ソース

「ISL」ブックとは何ですか？

— ドンラン

1

@donlan amazon.com/...提案答えに感謝を修正しました。

— Haitao Du

問題ない！このスレッドを読んだ後、それをルックアップするつもりだった

— donlan

6

いいえ、それは不必要に制限的です。（Frans Rodenburgが言ったように）線形モデル、一般化線形モデル、一般化加法モデルだけでなく、回帰に使用される機械学習法など、幅広い解釈可能なモデルがあります。ランダムフォレスト、勾配ブーストマシン、ニューラルネットワークなどが含まれます。機械学習モデルから線形回帰の係数に似た係数を取得しないからといって、その動作が理解できないわけではありません。もう少し手間がかかります。

その理由を理解するために、この質問を読むことをお勧めします：ランダムフォレストからの知識の取得。それが示すのは、ほぼすべての機械学習モデルを解釈可能にする方法です。

— mkt-モニカの復職
ソース

6

私はティムとmktの答えに同意します-MLモデルは必ずしも解釈できないわけではありません。MLモデルを解釈可能にすることに専念している記述的mAchine Learning ExplanationsのDALEX Rパッケージを紹介します。

— babelproofreader
ソース

1

DALEXパッケージは確かに非常に興味深いものですが、Pythonにも同様のものが存在するかどうか知っていますか？

— ビクター

@Victor私はDALEXのPythonバージョンを知りませんが、たとえばrpy2.readthedocs.io/en/version_2.8.x/introduction.htmlを使用してPythonからRを呼び出すことができます。

— babelproofreader