タグ付けされた質問 「philosophical」

統計または確率のPHILOSOPHYに関する質問:確率の解釈、頻出主義/ベイジアン統計などの根本的な問題など。このタグは、一般的な推測(別名「哲学的」)質問には使用しないでください。

16
正規性テストは「本質的に役に立たない」ですか?
元同僚はかつて次のように私に主張した: 通常、nullの下で、漸近的またはほぼ正常なランダム変数を生成するプロセスの結果に正規性テストを適用します (「漸近的」部分は大きくできない量に依存します)。安価なメモリ、ビッグデータ、高速プロセッサの時代では、正規性テストでは、大きなサンプル(非常に大きなものではないが)の正規分布のヌルを常に拒否する必要 があります。したがって、逆に、正規性テストは、おそらくより低いパワーとタイプIレートの制御が少ないと思われる小さなサンプルにのみ使用する必要があります。 これは有効な引数ですか?これはよく知られた議論ですか?正規性よりも「ファジーな」帰無仮説のよく知られたテストはありますか?


14
なぜロバスト(および耐性)統計が従来の手法に取って代わらないのですか?
データを使用してビジネス上の問題を解決する場合、従来の統計を裏付ける少なくとも1つの重要な仮定が無効であることが一般的です。ほとんどの場合、誰もこれらの仮定を確認する必要がないため、実際に知ることはありません。 たとえば、一般的なWebメトリックの多くが(正規分布と比較して)「ロングテール」であることは、今では十分に文書化されており、当然のことと考えています。別の例、オンラインコミュニティは、数千人のメンバーがいるコミュニティであっても、これらのコミュニティの多くへの貢献/参加の圧倒的最大のシェアは、「スーパー貢献者」のごくわずかなグループに起因することを十分に文書化しています。(たとえば、数か月前、SO APIがベータ版で利用可能になった直後に、StackOverflowメンバーはAPIを通じて収集したデータから簡単な分析を公開しました;彼の結論-SOメンバーの1%未満がほとんどを占めていますSOのアクティビティ (おそらく質問をして回答する)、残りの1〜2%が残り、圧倒的多数のメンバーが何もしません)。 この種の分布は、例外よりも規則の方が多い場合が多いが、しばしばべき乗密度関数でモデル化するのが最適です。これらのタイプの分布では、中心極限定理でさえ適用するのに問題があります。 このようにアナリストが関心を寄せる人口が豊富であり、古典的なモデルがこれらのデータに対して明らかに不十分に機能し、堅牢で耐性のある方法がしばらく(少なくとも20年は信じられている)より頻繁に使用されていませんか?(なぜ私も疑問に思って、私はより頻繁に利用していないが、それは本当にのための問題ではないのですCrossValidated。) はい、私は堅牢な統計に完全に専念する教科書の章があることを知っており、(いくつかの)Rパッケージがあることを知っています(robustbaseは私が使い慣れているものです)。 そして、これらの技術の明らかな利点を考えると、それらは仕事のためのより優れたツールであることがよくあります。なぜ頻繁に使用されないのですか?古典的な類似物と比較して、はるかに頻繁に(おそらく推定的に)使用される堅牢な(および耐性のある)統計情報を期待するべきではありませんか? 私が聞いた唯一の実質的な(すなわち技術的な)説明は、ロバストなテクニック(抵抗性メソッドの場合も同様)が古典的なテクニックのパワー/感度に欠けているということです。これが実際にいくつかの場合に当てはまるかどうかはわかりませんが、多くの場合に当てはまらないことは知っています。 先取りの最後の言葉:はい、私はこの質問に明確に正しい答えが一つもないことを知っています。このサイトでの質問はほとんどありません。さらに、この質問は本物の質問です。視点を進めることは口実ではありません。ここには視点がありません。単なる洞察に満ちた答えを期待している質問です。

14
(もしあれば)頻繁なアプローチがベイジアンよりも実質的に優れているのはいつですか?
背景:私はベイジアン統計の正式なトレーニングは受けていませんが(詳細については非常に興味がありますが)、多くの人がフリークエンティスト統計よりも好ましいと感じる理由の要点を理解するのに十分なことを知っています。私が教えている導入統計(社会科学)クラスの大学生でさえ、ベイジアンのアプローチが魅力的であることがわかります。「なぜnullが与えられた場合、データの確率を計算することに関心があるのでしょうか? ??帰無仮説または代替仮説と私も読んだ糸のようなこれらのほかベイズ統計の経験的な利点を証明する、しかし、私はブラスコによって、この引用に出くわした(2001;強調を追加します)。: 動物の飼育者が帰納に関連する哲学的問題に興味がなく、問題を解決するためのツールに興味がある場合、ベイジアンと頻繁な推論の両方の学校が確立されており、どちらの学校が好まれるのかを正当化する必要はありません。一部の複雑なケースを除き、どちらにも運用上の問題はありません... どちらの学校を選択するかは、一方の学校に他の学校が提供していない解決策があるかどうか、問題がどれだけ簡単に解決できるかに関連する必要があります、そして科学者が表現結果の特定の方法でどれほど快適に感じるか。 質問:Blascoの引用は、Frequentistのアプローチが実際にベイジアンのアプローチよりも好ましい場合があることを示唆しているようです。それで、私は好奇心が強いです:ベイジアンのアプローチよりも頻繁なアプローチがいつ望ましいか?私は、概念的に(つまり、帰無仮説に基づいたデータの確率が特に有用かどうかを知っているのはいつか)、そして経験的に(つまり、どのような条件下で頻度論的手法が優れているか、ベイジアンか)の両方の問題に取り組む回答に興味があります また、回答ができるだけアクセスしやすいものになっている場合も望ましいでしょう-クラスに回答を返して生徒と共有するのは良いことです(ある程度の専門性が必要であることは理解していますが)。 最後に、Frequentist統計の通常のユーザーであるにもかかわらず、私は実際にBayesianが全面的に勝つ可能性にオープンです。

8
既存の変数と定義された相関関係を持つランダム変数を生成します
シミュレーション研究のために、既存の変数に対する事前定義された(母集団)相関を示すランダム変数を生成する必要があります。YYY 私は、に見えたRパッケージcopulaとCDVine特定の依存構造を持つランダムな多変量分布を生成することができました。ただし、結果の変数の1つを既存の変数に修正することはできません。 アイデアや既存の機能へのリンクを歓迎します! 結論: さまざまなソリューションで、2つの有効な答えが出ました。 カラカルによるR スクリプト。事前定義された変数との正確な(サンプル)相関を持つランダム変数を計算します 事前定義された変数に対する定義された母集団相関を持つランダム変数を計算するR 関数 [@ttnphnsの追加:質問のタイトルを単一の固定変数の場合から任意の数の固定変数に拡大するために自由を取りました。すなわち、いくつかの固定された既存の変数と事前定義された相関を持つ変数を生成する方法]

11
モデルが間違っているのに、なぜベイジアンである必要があるのですか?
編集:簡単な例を追加しました:平均の推論。また、信頼区間と一致しない信頼区間が悪い理由を少し明らかにしました。XiXiX_i かなり敬devなベイジアンの私は、ある種の信仰の危機の真っただ中にいます。 私の問題は次のとおりです。IIDデータを分析したいとします。私がやることは:XiXiX_i 最初に、条件付きモデルを提案します: p(X|θ)p(X|θ) p(X|\theta) 次に、上の前を選択し: P (θ )θθ\thetap(θ)p(θ) p(\theta) 最後に、ベイズの規則を適用し、事後を計算します:(または計算できない場合は近似)、についてのすべての質問に答えますθp(θ|X1…Xn)p(θ|X1…Xn)p(\theta | X_1 \dots X_n )θθ\theta これは賢明なアプローチです。データ真のモデルが条件付きの「内部」にある場合(値対応する場合)、統計的決定理論を呼び出して、メソッドが許容可能であると言うことができます(Robert詳細については「ベイジアン選択」、「統計のすべて」も関連する章で明確に説明しています)。θ 0をXiXiX_iθ0θ0\theta_0 しかし、誰もが知っているように、私のモデルが正しいと仮定することはかなり慢です。なぜ私が検討したモデルの箱の中に自然がきちんと収まるのでしょうか?これは、データの実際のモデルと仮定することははるかに現実的である異なりのすべての値に対して。これは通常、「誤って指定された」モデルと呼ばれます。p (X | θ )θptrue(X)ptrue(X)p_{true}(X)p(X|θ)p(X|θ)p(X|\theta)θθ\theta 私の問題は、このより現実的な誤って指定されたケースでは、単純に最尤推定量(MLE)を計算するのと比べて、ベイジアンであること(つまり、事後分布の計算)についての良い議論がないことです: θ^ML=argmaxθ[p(X1…Xn|θ)]θ^ML=arg⁡maxθ[p(X1…Xn|θ)] \hat \theta_{ML} = \arg \max_\theta [ p(X_1 \dots X_n |\theta) ] 実際、Kleijn、vd Vaart(2012)によると、誤って指定された場合、事後分布は次のとおりです。 として、を中心とするディラック分布に収束しθ M Ln→∞n→∞n\rightarrow \infty θ^MLθ^ML\hat \theta_{ML} 事後の信頼できる区間が信頼区間に一致することを保証するために、正しい分散がありません(2つの値が偶然同じでない限り)。(信頼区間は明らかにベイジアンが過度に気にしないものですが、これは定性的には、事後分布が本質的に間違っていることを意味します。これは、信頼区間が正しいカバレッジを持たないことを意味します)θθ\theta したがって、追加のプロパティがない場合、計算プレミアム(一般にベイジアン推論はMLEよりも高価です)を支払います。 したがって、最後に、私の質問:モデルが誤って指定されている場合に、より単純なMLEの代替案に対してベイジアン推論を使用するための理論的または経験的な議論はありますか? (私の質問はしばしば不明瞭であることを知っているので、あなたが何かを理解しないならば、私に知らせてください:私はそれを言い換えようとします) 編集:簡単な例を考えてみましょう:ガウスモデルの下での平均を推測します(さらに単純化するために既知の分散を使用)。ガウス事前分布を考えます。事前平均、事前の逆分散でます。してみましょうの経験的な平均こと。最後に注意してください:。 …

10
ベイジアン対頻繁な議論の*数学的な*根拠はありますか?
ウィキペディアでは次のように述べています: [確率の]数学は、確率の解釈とはほとんど無関係です。 質問:私たちは数学的に正しいことをしたい場合はその後、我々は禁止すべきではない任意の確率の解釈を?すなわち、ベイジアンと頻度の両方が数学的に間違っていますか? 私は哲学が好きではありませんが、数学は好きです。コルモゴロフの公理の枠組みの中で独占的に働きたいです。これが私の目標である場合、ウィキペディアでベイジアン主義と頻度主義の両方を拒否すべきであると言っていることに従うべきでしょうか?概念が純粋に哲学的であり、数学的なものではない場合、最初に統計に表示されるのはなぜですか? 背景/コンテキスト: このブログ投稿ではまったく同じことを言っていませんが、テクニックを「ベイジアン」または「フリークエンシー」に分類しようとすることは、実際的な観点からは逆効果であると主張しています。 ウィキペディアからの引用が真である場合、哲学的観点から統計的方法を分類しようとすることも逆効果であるように思われます-方法が数学的に正しい場合、基礎となる数学の仮定の際に方法を使用することは有効ですそうでなければ、数学的に正しくない場合、または仮定が成り立たない場合、それを使用することは無効です。 一方、多くの人が確率論(つまりコルモゴロフの公理)で「ベイジアン推論」を特定しているように見えますが、その理由はよくわかりません。いくつかの例は、ジェームズ・ストーンの本「ベイズ・ルール」と同様に、「確率」と呼ばれるベイズ推論に関するジェインズの論文です。したがって、これらの主張を額面どおりに受けた場合、それはベイジアン主義を好むべきであることを意味します。 しかし、Casella and Bergerの本は、最尤推定量について説明しているが、最大事後推定量を無視しているため、頻繁に使用されているように見えますが、その中のすべてが数学的に正しいようにも見えます。 それでは、統計的に数学的に正しいバージョンのみが、ベイジアン主義と頻度主義に関して完全に不可知ではないことを拒否するということになるのではないでしょうか?両方の分類のメソッドが数学的に正しい場合、正確で明確に定義された数学よりも曖昧で不明確な哲学を優先するため、他のものよりもいくつかを好むのは不適切な実践ではありませんか? 要約:要するに、ベイジアン対頻繁な議論の数学的根拠が理解できず、議論の数学的根拠がない場合(これはウィキペディアが主張するものです)、なぜそれが容認されるのか分かりませんすべてが学術的な談話です。

6
頻度の高いベイジアンの議論はどこへ行ったのですか?
統計の世界は、フリークエンシーとベイジアンに分かれていました。最近では、誰もが両方を少しやっているようです。どうすればいいの?異なるアプローチが異なる問題に適している場合、統計の創設者はなぜこれを見なかったのですか?あるいは、頻度論者が議論に勝ち、真の主観的なベイジアンが決定理論に移行したのでしょうか?

10
統計における時代錯誤的な実践の例は何ですか?
対処するように設計された問題(通常は計算上の問題)のほとんどが解決されているにもかかわらず、その存在を維持しているプラ​​クティスに言及しています。 たとえば、Yatesの連続性補正は、フィッシャーの正確検定を検定で近似するために発明されましたが、ソフトウェアが大きなサンプルでもフィッシャーの検定を処理できるようになったため、実用的ではなくなりました(これは「 AgrestiのCategorical Data Analysisのような教科書は、Yatesの修正が「もはや必要ではない」ことをしばしば認めているため、その存在を維持します)。χ2χ2\chi^2 そのような慣行の他の例は何ですか?

3
「再現可能な研究」をどのように定義していますか?
これは今いくつかの質問で出てきており、私は何かについて疑問に思っていました。フィールド全体は、元のデータと問題のコードの可用性に焦点を当てた「再現性」に移行しましたか? 私はいつも、再現性の核心は必ずしも言及しているように、「実行」をクリックして同じ結果を得る能力ではないと教えられていました。データとコードのアプローチは、データが正しいこと、つまりデータ自体の収集に欠陥がないことを前提としているようです(科学的詐欺の場合は明らかに間違っています)。また、複数の独立したサンプルでの結果の再現性よりも、ターゲット母集団の単一のサンプルに焦点を当てています。 なぜ研究をゼロから複製するのではなく、分析を再実行できることに重点が置かれているのですか? 以下のコメントに記載されている記事はこちらから入手できます。


4
なぜ低いp値はヌルに対する証拠ではないのですか?ヨハンソン2011からの議論
Johansson(2011)は、「Hail the不可能:p値、証拠、および可能性」(ここにもジャーナルへのリンクがあります)で、値が低いほど、nullに対する強力な証拠と見なされることが多いと述べています。Johanssonは、統計テ​​ストが値出力した場合よりも統計テストが値出力した場合、nullに対する証拠が強いと考えることを意味します。Johanssonは、値をnullに対する証拠として使用できない4つの理由をリストしています。pppppp0.010.010.01ppp0.450.450.45ppp pppは帰無仮説の下で均一に分布しているため、帰無の証拠を示すことはできません。 pppは帰無仮説のみに条件付けられ、したがって、証拠は別の仮説に関連する仮説の証拠または反対の証拠であるという意味で常に相対的であるため、証拠を定量化するのには適していません。 pppは、エビデンスの強度ではなく、エビデンスを取得する確率(nullの場合)を示します。 pppは、観察されていないデータと主観的な意図に依存するため、証拠の解釈を考慮すると、観察されたデータの証拠強度は、発生しなかったものと主観的な意図に依存することを意味します。 残念ながら、ヨハンソンの記事から直感的な理解を得ることができません。私にとっての-値 nullがより、真である少ないチャンスがあることを示しの-値。なぜ低いppp0.010.010.01ppp0.450.450.45ppp値はnullに対する強力な証拠ではないのですか?

3
時間パラドックスのシャリジのベイジアン後方矢印のエントロピーに基づく反論?
で、この論文、有能な研究者コスマ・シャリッチは完全に主観的ベイズビューを受け入れるために、1にも(エントロピーの流れによって与えられた)時間の矢が実際に行くべきであると非物理的な結果受け入れなければならないと主張している後方を。これは主にETジェインズによって提唱され、一般化された最大エントロピー/完全に主観的なベイジアンの見解に反論する試みです。 以上でLessWrong、多くの貢献者は、非常にフォーマルな意思決定理論の基礎としてベイズ確率理論的にも主観的ベイズアプローチに興味を持って強いAIに向けた足がかりさエリエゼル・ユードコウスキーがあり、共通の貢献者であり、私が最近読んでいたこのポストをするときI このコメントに出くわしました(元の投稿のページでは、そのすぐ後にいくつかの他の良いコメントがあります)。 YudkowskyのShaliziへの反論の有効性について誰でもコメントできますか。簡単に言えば、ユドコフスキーの論拠は、推論エージェントが信念を更新する物理的メカニズムには作業が必要であり、したがってシャリジが敷物の下で掃除している熱力学的なコストがあるということです。別のコメントで、ユドコフスキーはこれを擁護し、次のように述べています。 「システム外の論理的に全知の完全な観測者の視点をとる場合、「確率」と同様に「エントロピー」の概念はほとんど意味がありません-統計熱力学を使用して何かをモデル化する必要はありません。波動方程式。」 確率論者や統計力学はこれについてコメントできますか?私はシャリジとユドコフスキーのどちらの地位に関する権威からの議論についてもあまり気にしませんが、ユドコフスキーの3つのポイントがシャリジの記事を批判する方法の概要を見たいです。 FAQガイドラインに準拠し、これを具体的に回答可能な質問にするために、ユドコフスキーの3つのステップの引数を取り、それら3つのステップが仮定や派生に反論する3つのステップを示す具体的な項目別の回答を求めていることに注意してください一方、シャリジの論文でユドコフスキーの議論が扱われている場所を示しています。 シャリジの記事は、本格的な主観的ベイジアン主義を擁護できないという鉄に覆われた証拠として宣伝されていることがよくあります...観察されているもの(つまり、実際の物理学すべて)と相互作用する観察者に。しかし、Shaliziは素晴らしい研究者なので、この議論の重要な部分を理解していない可能性が高いため、セカンドオピニオンを歓迎します。

5
フィッシャーの「より多くのデータを取得する」アプローチが意味を持つのはいつですか?
gungの素晴らしい答えを引用する 伝えられるところでは、ある研究者が「重要でない」結果でフィッシャーに近づき、何をすべきかを尋ね、フィッシャーは「より多くのデータを取得する」と言いました。 ネイマン・ピアソンの観点から、これは露骨なハッキングですが、フィッシャーのgo-get-more-dataアプローチが理にかなっているユースケースはありますか?ppp

4
新しいベクターをPCA空間に投影する方法は?
主成分分析(PCA)を実行した後、新しいベクトルをPCA空間に投影します(つまり、PCA座標系で座標を見つけます)。 を使用してR言語でPCAを計算しましたprcomp。これで、ベクトルにPCA回転行列を掛けることができるはずです。このマトリックスの主成分を行または列に配置する必要がありますか?
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.