タグ付けされた質問 「likelihood」

確率変数が与えられた バツ パラメータ化された分布から生じる Fバツ;θ、尤度は、観測データの確率としての関数として定義されます θLθ=Pθ;バツ=バツ

1
信頼区間を構築する基本的なロジック
対象のパラメーターとその点推定量を持つモデルを考えます。簡単にするために、と仮定 します(多くの場合、これは漸近的に正当化できます)。可能な限り最短レベルの信頼区間である区間を作成する方法は2つあります。θθ\thetaθ^θ^\hat\thetaθ^∼N(θ,σ2/n)θ^∼N(θ,σ2/n)\hat\theta\sim N(\theta,\sigma^2/n)(1−α)(1−α)(1-\alpha) 任意の真値に対して、Iは最短間隔たい有する捕捉の確率。、与えられた分布で最も密度の高い領域を選択し、その領域の累積確率がます。領域内のすべての点推定に対して、対応する間隔推定がをカバーするように、間隔推定器を定義します。 分布はどの真の値でも同じであるためθθ\theta(θ^lower,θ^upper)(θ^lower,θ^upper)(\hat\theta_{lower},\hat\theta_{upper})(1−α)(1−α)(1-\alpha)θθ\thetaθ^θ^\hat\thetaθθ\thetaf(θ^;θ)f(θ^;θ)f(\hat\theta;\theta)(1−α)(1−α)(1-\alpha)θ^θ^\hat\thetaθθ\thetaθ^θ^\hat\thetaθθ\thetaは場所のシフトを除いて、間隔を構築するメカニズム(規則)は実際のとは無関係です。したがって、それは真のを確率でカバーします。θθ\thetaθθ\theta(1−α)(1−α)(1-\alpha) ポイントの推定を考慮して、どの真の値の下でが生成される可能性が高いかを検討しています。与えられた真の、のの分布を知っているので、最高の密度値を生成するを選択します。選択範囲を含めるだけに制限しますθ^θ^\hat\thetaθθ\thetaθ^θ^\hat\thetaθθ\thetaf(θ^;θ)f(θ^;θ)f(\hat\theta;\theta)θθ\theta値累積確率を持つ値に対して少なくとも極端な限り。つまり、θθ\theta≥α≥α\geq\alphaθθ\theta値れる対応する関連付けられ-value少なくともある。θθ\thetapppθ^θ^\hat\thetaαα\alpha 最初のアプローチは、その何でも本当の確保に直接焦点を当て、それが中に含まれているのインスタンスをサンプリングのシェア。最良の候補者のための第二のアプローチのルックス実現させるのおそらく、廃棄ながらの下そうです。2つの間の線(可能性とそうでない可能性)は、元の目標の観点からいくらか恣意的に描かれていますが、それはたまたま正しい線です。θθ\theta(1−α)(1−α)(1-\alpha)θθ\thetaθ^θ^\hat\thetaθθ\thetaθ^θ^\hat\theta 間隔を構成するための2つのルールは、この簡略化された例では同じ答えを与えます。信頼区間の構築の正しい動機、または正しい考え方について、(2つのうちのいずれかである場合)は どれですか? (おそらく、上記のの分布の仮定を削除すると、アプローチの1つが無効になり、一般に不適切であり、この例では偶然にしか正しい答えが得られないことがわかりますか?)θ^θ^\hat\theta

1
古典的な感覚と主観的な感覚の両方の確率を同時に考えることはできますか?
私は統計学の学生です。私は、確率の古典的かつ客観的な定義と、それらが頻出主義およびベイズの推論とどのように関連しているかを理解しようとしています。なぜ古典確率が頻出推論と対になるのか、ベイズ推論が主観確率と対になるのかは私には明らかではありません。一部のソースでは、Wellekによるこのペーパーから次のようなステートメントを読みました(申し訳ありませんが、ペイウォールの背後にないバージョンは見つかりませんでした)。 頻度主義の観点から見ると、母集団パラメーターは、意味のある確率ステートメントを作成できない観測不可能な定数です。 これが繰り返し試行としての確率の古典的な定義によるのか、それとも頻出主義推論の制約によるのかを理解しようとしています。 私の特定の質問は、読者が先にスキップすることを好む場合は最後にありますが、それが役立つ場合に備えて私の考えを共有したいと思いました。 確率変数考えます。である確率を科学的に経験的に測定したい場合、古典的な確率の定義では、実験を何度も繰り返して集計する必要があると思います。主観的な定義から、私はまず自分自身の信念または合理的なエージェントの信念に相談することが期待されていると思います。私がより多くのデータを収集すると、それらの信念は合理的に変更されます。XXXP(X=x)P(X=x)P(X=x) 今では、は観測できないように思われるので、私の古典的な経験的手順で値を計算する方法はありません。対照的に、私はように直接観察できないものを常に信じることができるため、ように観察できるものとように観察できないものとの関係を知っていると仮定すると、これによって信念を持つことができます私は合理的に時間をかけて変更することができました。H0|XH0|XH_0|XP(H0|X)P(H0|X)P(H_0|X)H0|XH0|XH_0|XXXXH0H0H_0P(H0|X)P(H0|X)P(H_0|X) 私は、にとって、は宇宙の固定プロパティであると主張することもできます。そのため、たとえ観察できたとしても、は固定であるという考えに行き詰まっているかもしれません。しかし、コインを投げるという典型的な実験について考えて、それを変更して、私には大量のクォーターがあり、フリップを記録するたびに常に新しいものを使用すると言ったとしたらどうでしょう。したがって、その場合、基になるパラメーターがコイン固有であると思われますが、直接観察することはできません。したがって、は意味がありますが、を直接観察して計算することはできません。H0H0H_0H0H0H_0pppP(p=0.5|X)P(p=0.5|X)P(p=0.5|X)ppp だから私のハイレベルの質問に戻ります。 ベイジアン推論手順を頻出者として解釈する意味のある方法はありますか? 確率が確率の古典的な定義に従って定義されているベイジアン推論を行う意味のある方法はありますか?

1
なぜいくつかの式はロジスティック回帰の尤度の前に係数を持っていますが、いくつかは持っていませんか?
私はロジスティック回帰の可能性を導き出しています。私は2つの異なるバージョンを見てきました。 f(y|β)=∏i=1Nniyi!(ni−yi)!πyii(1−πi)ni−yi(1)(1)f(y|β)=∏i=1Nniyi!(ni−yi)!πiyi(1−πi)ni−yi\begin{equation} f(y|\beta)={\displaystyle \prod_{i=1}^{N} \frac{n_i} {y_i!(n_i-y_i)!}} \pi_{i}^{y_i}(1-\pi_i)^{n_i - y_i} \tag 1 \end{equation} またはこれ L(β0,β1)=∏i=1Np(xi)yi(1−p(xi))1−yi(2)(2)L(β0,β1)=∏i=1Np(xi)yi(1−p(xi))1−yi\begin{equation} L(\beta_0,\beta_1)= \displaystyle \prod_{i=1}^{N}p(x_i)^{y_i}(1-p(x_i))^{1-y_i} \tag 2 \end{equation} 式1 に\ frac {n_i} {y_i!(n_i-y_i)!}があるのはなぜniyi!(ni−yi)!niyi!(ni−yi)!\frac{n_i} {y_i!(n_i-y_i)!}ですか? 出典: 最初:https : //czep.net/stat/mlelr.pdf(3ページequ。2) 2番目:http : //www.stat.cmu.edu/~cshalizi/uADA/12/lectures/ch12.pdf(5ページequ。12.6) 注:この質問は、実際には「尤度は比例関係の乗数定数までしか定義されない」とはどういう意味ですか?どのように行われたかを見た後、二項分布への答えをたどることができます。しかし、その投稿の質問がこの質問に対する答えであることを誰も知らなかっただろう。

2
線形回帰の可能性
単純な線形回帰の可能性を人々がどのように導き出すかを理解しようとしています。1つの特徴xと結果yだけがあるとしましょう。私はないではない通常の密度自体で式を疑う私も疑問1が原因独立にシンプルな要因に製品を因数分解できることをしないでください。人々がこの表現をどのように導き出したのか疑問です。入力およびほぼすべての場所について(部分的に正しくない)仮定の全体の動物園があり、実際に正しい仮定を使用する必要がある重要なステップ(通常の密度の積を導出する方法)は省略されています:-( 私は仮定のが自然だと思うことは以下の通りである。我々は、固定されたトレーニングセット与えられていると仮定します(xi,yi)i=1,2,...,n(xi,yi)i=1,2,...,n(x_i, y_i)_{i=1,2,...,n} 長さ固定トレーニングセット内のペアは、iid分散されたランダム変数からのもの(xi,yi)(xi,yi)(x_i, y_i)nnn(Xi,Yi)(Xi,Yi)(X_i, Y_i) Yi=β0Xi+ϵiYi=β0Xi+ϵiY_i = \beta_0 X_i + \epsilon_i ϵiϵi\epsilon_i各として分散一次元IIDランダム変数でN(0,σ)N(0,σ)\mathcal{N}(0, \sigma)とσσ\sigma(簡単にするために)知られている(多分1条件濃度約ものと仮定すべきであるfϵi|Xifϵi|Xif_{\epsilon_i|X_i}ここ?人々は実際にここで何を仮定するべきか不確かに思われる...) レッツとlet。目標は、条件付き密度です。明らかに、 Y=(Y1,...,Yn)Y=(Y1,...,Yn)Y = (Y_1, ..., Y_n)X=(X1,...,Xn)X=(X1,...,Xn)X = (X_1, ..., X_n)fY|X=f(Y,X)fXfY|X=f(Y,X)fXf_{Y|X} = \frac{f_{(Y,X)}}{f_X}fY|X=∏i=1nfYi|XifY|X=∏i=1nfYi|Xif_{Y|X} = \prod_{i=1}^n f_{Y_i|X_i} 質問: ここから先に進むには? 仮定がまたはに関する情報をどのように与えるかわかりませんそのため、この量を単純に計算できません。また、一部の人々は、および正規分布している(または正規分布している)とは、も正規分布していると考えているかもしれませんが、...f(Yi,Xi)f(Yi,Xi)f_{(Y_i, X_i)}fXifXif_{X_i}fYi|Xi=f(Yi,Xi)fXifYi|Xi=f(Yi,Xi)fXif_{Y_i|X_i} = \frac{f_{(Y_i, X_i)}}{f_{X_i}}Yi=β0Xi+ϵiYi=β0Xi+ϵiY_i = \beta_0 X_i + \epsilon_iϵiϵi\epsilon_iϵi|Xiϵi|Xi\epsilon_i|X_iYi|XYi|XY_i|X 正規分布のランダム変数に関するステートメントがありますが、次のようになりますが正規分布で、が固定行列の場合、は通常再分布されます。上記の場合、はであり、定数行列ではありません。XXXA,BA,BA, BAX+BAX+BAX+BBBBβ0Xiβ0Xi\beta_0 X_i 他の情報源は、は通常すぐに配布されると想定しているようです。これは奇妙な仮定のようです...実際のデータセットでそれをどのようにテストできるでしょうか?fYi|XifYi|Xif_{Y_i|X_i} よろしくお願いいたします。 FW

2
対数尤度は*常に*負の曲率を持つ場合ですか?どうして?
フィッシャー情報は、2つの同等の方法で定義されます:の勾配の分散として ℓ(x)ℓ(x)\ell(x)、および予想される曲率のマイナスとして ℓ(x)ℓ(x)\ell(x)。前者は常に正なので、これは対数尤度関数の曲率がどこでも負であることを意味します。私が見てきたことをすべての分布は負の曲率の対数尤度関数を持っているので、これは、私にはもっともらしく思えるが、これは、なぜ私は表示されませんしなければならない場合も。

3
線形回帰モデルの確率リグレッサと固定リグレッサの違いは何ですか?
確率的リグレッサがある場合、固定されているが未知の確率分布から、いわゆるランダムサンプルである束に対してランダムペアを描画します。理論的には、ランダムサンプルを使用すると、分布いくつかのパラメーターについて学習または推定できます。(y私、バツ⃗ 私)(yi、x→私)(y_i,\vec{x}_i)私私i(y、バツ⃗ )(y、バツ→)(y,\vec{x})(y、バツ⃗ )(y、バツ→)(y,\vec{x}) 理論的に言えば、固定回帰子がある場合、 条件付き分布に関する特定のパラメーター、つまり、各が確率変数ではない、または固定されているのみを推測できます。より具体的には、確率リグレッサでは分布全体の一部のパラメータを推定できますが、固定リグレッサでは条件付き分布特定のパラメータのみを推定できます。kkky|バツ私y|バツ私y\mid x_i私は= 1 、2 、... 、K私=1、2、…、ki=1,2,\dots,kバツ私バツ私x_i(y、バツ⃗ )(y、バツ→)(y,\vec{x})(y、バツ私→)∣バツ私(y、バツ私→)|バツ私(y,\vec{x_i})\mid x_i その結果、固定リグレッサをディストリビューション全体に一般化することはできません。たとえば、サンプルに固定リグレッサとしてしかない場合またはについては推論できませんが、確率リグレッサは推論できます。x=1,2,3,…,99バツ=1、2、3、…、99x=1,2,3,\dots,9910010010099.999.999.9 多くの教科書は数学的導出の違いについてのみ述べているが、理論的に一般化できる程度の違いについては議論しないので、これは実際にはかなりあいまいな質問です。私は統計学の教授に助けを求めましたが、彼は答えを知りません。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.