問題は何ですか？

これが線形方程式問題の解法であることを知っています。

しかし、私の質問は、なぜ観測数が予測子数よりも少ないことが問題なのか、どうしてそのようなことが起こり得るのでしょうか。

データ収集は、彼らが少なくともこのことについて考えている範囲で、繊細な調査計画または実験計画から来ていませんか？

データ収集で45の変数を収集して調査を行う場合、なぜ彼は45未満の観測値を収集するのでしょうか。私は何かを見逃しましたか？モデル選択部分は応答の非改善変数も排除しましたが、収集された変数は常に排除されますか？ $45-(45-p)$

それでは、なぜそのような場合に非固有のソリューションに直面するのでしょうか。

これは多くのシナリオで発生する可能性があり、いくつかの例は次のとおりです。

1. 病院での医療データ分析。特定の癌を研究する医学研究者は、主に自分の病院でデータ収集を行うことができます。年齢、性別、腫瘍のサイズ、MRI、CTボリュームなど、特定の患者から可能な限り多くの変数を収集しようとすることは悪いことではないと思います。
2. バイオインフォマティクスにおけるマイクロプレートリーダーアレイの研究。多くの種はありませんが、できるだけ多くの効果をテストできるようにしたい場合がよくあります。
3. 画像による分析。多くの場合、1600万ピクセルの画像を収集して保存することは非常に困難です。
4. MRI再構成は、スパース回帰手法を必要とする同様の問題であることが多く、それらを改善することは、MRI画像研究の中心的な問題です。

解決策は、実際には、回帰に関する文献を見て、アプリケーションに最適なものを見つけることです。

1. ドメインの知識がある場合は、以前の分布に組み込んで、ベイジアン線形回帰でベイジアンアプローチを採用してください。

2. 疎なソリューションを見つけたい場合は、自動関連性決定の経験的ベイズアプローチが適しています。

3. 問題に関して、確率の概念をもつことが不適切であると考える場合（線形連立方程式を解くなど）、ムーアペンローズ疑似逆関数を検討することは価値があります。

4. 特徴選択の観点からアプローチし、適切な問題になるまでpの数を減らします。

これは非常に良い質問です。候補予測子の数が有効なサンプルサイズ超えており、回帰係数に制限を課していない場合（たとえば、収縮を使用していない、別名ペナルティ付き最尤推定または正則化など）、状況は絶望的です。私はそれを含むいくつかの理由でそれを言います$p$$n$

• 分析できる変数の非冗長線形結合の数について考える場合、この数はです。たとえば、を超える主成分を計算することはできません。$\leq \min(n, p)$$\min(n, p)$
• 及びNO 2プロットとき鉛直線上-coordinates、一方が達成できません、真の集団としても、任意のデータセットの 0.0です。$p = n$$y$$(x, y)$$R^{2}=1.0$$R^2$
• 恐ろしいステップワイズ回帰モデルなどの特徴選択アルゴリズムを使用する場合、「選択された」特徴のリストは、本質的にランダムな特徴セットになり、別のサンプルで複製することはできません。これは、候補の機能間に相関関係（共直線性など）がある場合に特に当てはまります。
• 2つの変数間の単一の相関係数を適切な精度で推定するために必要なの値は、約400 です。こちらを参照してください。$n$

一般に、45人の被験者の45個の変数を分析することを目的とした研究は十分に計画されておらず、それを救うために私が知っている唯一の方法は

• 1つまたは2つの予測子を事前に指定して、残りを分析して無視する
• リッジ回帰などのペナルティ付き推定を使用して、すべての変数を適合させますが、係数を一粒の塩で取ります（大幅な割引）
• RMSブックとコースノートで説明されているように、主成分、変数クラスタリング、疎主成分（私のお気に入り）などのデータ削減を使用します。これには、分離するのが難しい変数を組み合わせて、それらの別々の効果を推定しようとしないことが含まれます。以下のためあなただけの対戦のための2つの崩壊スコアによって得ることができ。データ削減（教師なし学習）は、他のほとんどの方法よりも解釈可能です。$n=45$$y$

技術的な詳細：次のような最高の組み合わせ変数の選択/処罰の方法のいずれかを使用する場合投げ縄や弾性ネットあなたがオーバーフィッティングの可能性を下げることができますが、最終的に選択した機能のリストは非常に不安定であることが失望され、他に複製されませんデータセット。