重要な多くのものがワンショットのものであるときに統計が役立つのはなぜですか?


18

私だけなのかはわかりませんが、統計全般については非常に懐疑的です。私はサイコロゲーム、ポーカーゲームなどでそれを理解することができます。非常に小さく、シンプルで、ほとんど自己完結型の繰り返しゲームは問題ありません。たとえば、端に着陸するコインは、着陸の頭または尾が約50%である確率を受け入れるのに十分小さいです。

95%の勝利を目指して10ドルのポーカーゲームをプレイするのは問題ありません。しかし、あなたの人生全体の節約以上があなたが勝利するかどうかに依存している場合はどうでしょうか?その状況であなたが95%の時間で勝つことを知ることは、どうして私を助けるでしょうか?期待値はあまり役に立ちません。

他の例には、生命を脅かす手術が含まれます。既存のデータが与えられた場合、51%の生存率と99%の生存率を知るのにどのように役立ちますか?どちらの場合も、医者が私に言ったことは私にとって重要ではないと思います。実際のデータが75%である場合、彼は(倫理と法律を除いて)私に言うかもしれません。言い換えれば、既存のデータは二項を除いて重要ではありません。それでも、99.99999%の生存率が存在するかどうかは関係ありません。

また、地震の確率。平均してx年(x> 100)ごとに強い地震が発生したかどうかは関係ありません。私の人生で地震が起こるかどうかはわかりません。それでは、なぜそれが有用な情報でさえあるのでしょうか?

それほど深刻ではない例です。たとえば、私が大好きな場所の100%はアメリカ大陸にあり、ヨーロッパに行った場所の100%とは無関係で、私が持っている場所の100%が嫌いです。アジアに行ったことがあります。今、それは決して統計が私がすべての情報をキャプチャしないというまさにその性質によって、私は次の旅行でアジアで好きな場所やヨーロッパで嫌いまたはアメリカで無関心な場所を見つけることを決して意味しないこれらの大陸のx%を超えて旅行したとしても、必要なすべての情報を取得することはできません。私が行ったことのない大陸の1-x%に未知のものがあるからです。(100%を他のパーセンテージに自由に置き換えてください)。

私はすべてをブルートフォースする方法がなく、多くの状況で統計に頼らなければならないことを理解していますが、特に統計が基本的に外れ値イベントに外挿されていない場合、統計はワンショットの状況で役立つとどのように信じることができますか?

統計についての懐疑論を乗り越えるための洞察はありますか?


5
(+1)私たちのサイトへようこそ!それはあなただけではありません。これは、統計の基礎に関する深い質問です。
whuber

3
「人命救助」の例では、別々の問題が混在しています。経済学では、合理的なリスク回避の一般的なモデルは、期待されるお金ではなく、期待される効用を最大化することです。通常、効用はlog(money)のような凹(準線形)関数です。つまり、損失は同じサイズの利益よりもコストが高く、この影響はより大きな変化に対してより大きくなります。これは、99 %の間に差があると信じないこととは大きく異なり、一貫性のない不合理な行動につながります。50%99
ダグラスザーレ

@DouglasZareこれは非常に興味深い分野のように聞こえます。ライブ貯蓄に関する個人のリスク回避のトピックについて紹介記事を提供できますか?
ステフェン

@steffen:この資料は、多くの基本的な経済学のテキストで扱われています。期待効用最大化の理論は、多くの人が単純すぎて多くの現象を説明するには不十分であると見なされていますが、見通し理論などのアイデアに進む前に理解することが重要な出発点です。予想されるマネーの最大化ではなく予想されるユーティリティの最大化によって簡単に説明されるものは、確率論の失敗と見なされるべきではありません。en.wikipedia.org/wiki/Expected_utility_hypothesis
ダグラスザーレ

これは、オープンなままにできる重要なトピックと議論として私を襲います。(しかし、人々がそれをCWにしたかったのは理解できます。)
グング-モニカの復職

回答:


25

まず、「統計」とは、集団や状況を説明する数字やその他の事実の集まりを意味する「統計」と、変動に直面して世界を理解するためにデータと情報を使用する科学を意味する「統計」を混乱させるかもしれないと思う私の定義を改善することができます)。統計学者は両方の言葉の感覚を使用するので、人々がそれらを混同しても驚くことではありません。

統計(科学)は、戦略を選択し、最適な戦略を1回しか適用しなくても、最適な戦略を選択することを意味します。私(および他の人)が確率を教えるときは、古典的なモンティホール問題(3ドア、2ヤギ、1車)を使用してそれを動機付け、ゲームを何回もプレイすることで確率を推定する方法を示します(賞品ではありません) )そして、「スイッチ」戦略が2/3の時間で勝ち、「滞在」戦略が1/3の時間だけ勝つことがわかります。一度ゲームをプレイする機会があれば、どの戦略が勝利のより良いチャンスを与えるかについていくつかのことを知っているでしょう。

手術の例も似ています。手術を受けるのは1回だけです(または手術はしません)が、どの戦略がより多くの人にメリットがあるか知りたくありませんか?選択肢が生存率が0%を超えるか、手術なし、生存率が0%の手術である場合、手術は51%の生存率と99.9%の生存率にほとんど違いはありません。しかし、他の選択肢がある場合は、手術、何もしない(生存率25%)、または食事と運動を変更して75%の生存率(ただし、努力が必要)を選択することはできません。手術オプションの生存率が51%対99%であるかどうかを気にしますか?

また、医師を考慮してください、彼はあなたの手術以上のものをするでしょう。手術の生存率が99.9%の場合、代替手段を検討する理由はありませんが、51%の生存率しかない場合は、今日の最良の選択かもしれませんが、その生存率を高める他の代替手段を探す必要があります。はい、90%の生存率でさえ、彼は一部の患者を失いますが、どの戦略が彼に最も多くの患者を救う最高のチャンスを与えますか?

今朝、運転中にシートベルトを着用しました(私の通常の戦略)が、事故に遭わなかったので、私の戦略は時間の無駄でしたか?いつ事故に巻き込まれるかがわかっていれば、そのような場合はシートベルトを着用するだけで時間を節約できます。でも、いつ事故に遭うかわからないので、少し時間を浪費したとしても、事故に遭った場合に最高のチャンスが得られると思うので、シートベルト戦略を着ることに固執します。事故のない時間の高い割合(できれば100%)での努力。


グレッグ+1良い投稿!私はあなたと同時に書いていました。私たちは少し重なるかもしれませんが、私たち二人はマークの上に正しく、重ならなかったと言うことがあったと思います。OPが統計をどう考えているのかわかりません。あなたが彼に疑いの恩恵を与えたことは素晴らしいことです。私はそれにもっと怒ったアプローチを取りました。
マイケルR.チャーニック

こんにちはグレッグ、私はあなたの答えが好きでしたが、私はこのようにそれを推論することができます:統計(科学)自体は統計であり、時間のx%(おそらく高いx)で動作しますが、不明な1-x%があります/常に注意する必要があるランダムな要素。任意の#(無限の可能性がある)の方法で未知のモデルを作成できることを考えると、xは決してわかりません。これらの外れ値が決して発生しないことを願っていますが、特にイベントが壊滅的なものである場合(つまり、小惑星、金融商品、社会の核事故、個人の自動車事故など)は、常に注意を払い、保守的である必要があります。これは理にかなっていますか?
-statskeptic

@statskeptic、あなたの言うことは統計だけでなく、すべての分野に当てはまります。実際には、統計が正しく行われると仮定が明確になるため、他のフィールドよりも真の統計にはあまり適用されません。ほとんどの場合、統計は失敗しましたが、それは手法ではなく、誤って適用されたものです。不確実性(宗教や純粋な数学以外のほとんどすべてであり、さらにはいくつかあります)を含むあらゆる分野で、間違っている、役に立たない、または統計を使用する答えを得ることができます。
グレッグスノー

「変化の顔で世界を理解するために、データと情報を使用しての科学」である統計の(1)
ハーフ渡す

4

日常生活で統計を使用しないからといって、その分野があなたに直接影響を与えないわけではありません。あなたが医者にいて、彼らが他の治療よりもある治療を推奨しているとき、その推奨の背後には、統計を使用して実験結果を解釈する多くの臨床試験があったことは間違いないでしょう。

期待値の概念は、個人的にその概念を使用しなくても非常に有用であることがわかります。あなたの命の節約を賭けるあなたの例は、あなたがどれほど危険であるかを考慮に入れていません。他の状況では、自分自身のリスクが低くなる、または壊滅的な結果がない場合があります。ビジネス、金融、保険数理上の状況などがこの例です。おそらく、あなたは住宅保険を発行しているでしょう-そして、ある特定の期間内に発生する地震の確率を突然知ることはすべて非常に重要です。

最後に、統計は不確実性に対処するための優れた方法です。最後の例では、旅行が好きな場所に関するデータをいくつか作成し、統計では、アジアで好きな場所を見つけることは決してないと言っています。これは間違っています。もちろん、このデータは、アジアにあなたが好きな場所がある可能性が低いと信じさせますが、以前の信念を好きなものに設定することができ、統計は新しいデータに基づいて信念を更新する方法を教えてくれます。さらに、不確実性の存在下で合理的に行動できるように、原則に基づいて信念を修正することができます。


旅行の例は単なる作り上げでしたが、アイデアは統計が未知のものを捕捉しないということです。あなたのビジネスコンテキストの例から、WTCの保険会社の例は、おそらく建物を破壊する飛行機を考慮せずに建物を保証することの費用/便益を推定したと思いましたが、それでも最も重要なものです。
statskeptic

+1 @ jjund3は、OP固有の質問に対処し、ベイジアンとフリークエンティストの統計を矛盾なく混在させるために使用します。
マイケルR.チャーニック

@statskeptic統計はすべての可能な不確実性を説明できないという点は良い点です。しかし、有用であるために完全で完璧である必要はありません。テロリストに関する知識はあります。9/11以前は、テロリストが自殺任務を行っている例があり、飛行機のハイジャックの経験がありました。この情報は、世界貿易センターに飛行機がcrash落する可能性があると判断するために集められた可能性がありますが、おそらく遠隔の可能性として評価したでしょう。
マイケルR.チャーニック

世界貿易センターがお気に入りのテロリストの標的であることは知っていました。地下で爆弾が発射され、以前一度攻撃されていました。爆弾が望ましいダメージを与えるのに十分な強さではなかったという事実は、少なくとも非常に異なる方法が次回使用されるであろうというヒントでした。もちろん、よく言われるように、後視は20-20です。予期しない、またはありそうもないことが起こる多くの例があります。しかし、Challanger災害の場合はそうではありません。そこで、Thiokolのエンジニアは、限られたデータでさえ、低温でのOリングの故障による壊滅的な故障のいくつかのリスクがあることを知っていました。
マイケルR.チャーニック

1
@statskepticあなたの議論は、彼の本「Black Swan」におけるタレブの統計の懐疑論/バッシングに非常に似ています。私自身が含めた多くの統計学者は、統計が役に立たないと言っている彼の議論に穴を開けたと思う。
マイケルR.チャーニック

1

世界は決定論的ではなく確率論的です。決定論的であれば、物理学者は世界を支配し、統計学者は職を失います。しかし現実には、統計学者はほとんどすべての分野で高い需要があります。それは物理学や他の科学のための場所がないと言うことではありませんが、統計は科学と連動して働き、多くの科学的発見の基礎となります。

十分なおしゃべりと詳細まで。私は医療業界で過去17年間働いてきました。最初は医療機器、次に医薬品、そして現在は一般的な医学研究でした。生活の質を改善し、しばしば命を救う、または延ばす薬物および医療機器は、この国および世界中で定期的に開発および承認されています。米国では、FDAが医薬品または医療機器の販売を許可する前に、安全性と有効性の証拠が必要です。FDAの証拠は、段階的な臨床試験から得られます。すべての臨床試験には、有効な統計的設計および分析方法が必要です。何も完璧ではありません。薬物は一部の人には有効ですが、他の人は反応しないか、有害なイベント(病気や死を引き起こす可能性のある悪い反応)があります。この試験では、効果のない薬と効果のない薬を区別しています。ほとんどの薬物は失敗し、多くの場合、初期開発からフェーズIIIの終わりまで10年のサイクルがあり、試験の終わりに承認とマーケティングが行われます。また、統計が必要な市販後調査を適用して、一般集団にとって十分に薬が機能することを確認します。薬が承認されている一般集団は、臨床試験に適格であった患者よりも制限の少ないグループである場合があります。そのため、薬が危険であることが判明し、市場から引き出されることがあります。統計は、薬物の安全性のあらゆる面で役立ちます。また、統計が必要な市販後調査を適用して、一般集団にとって十分に薬が機能することを確認します。薬が承認されている一般集団は、臨床試験に適格であった患者よりも制限の少ないグループである場合があります。そのため、薬が危険であることが判明し、市場から引き出されることがあります。統計は、薬物の安全性のあらゆる面で役立ちます。また、統計が必要な市販後調査を適用して、一般集団にとって十分に薬が機能することを確認します。薬が承認されている一般集団は、臨床試験に適格であった患者よりも制限の少ないグループである場合があります。そのため、薬が危険であることが判明し、市場から引き出されることがあります。統計は、薬物の安全性のあらゆる面で役立ちます。

統計は完璧ではありません。ランダム性と不確実性に起因するいくつかの間違いがあります。しかし、それは管理されており、私たちの生活は良くなり、統計科学が関与していなかった場合のエラーは減少します。


誤解しないでください。私はすべてに統計があることを理解しています。量子力学の物理学でさえ確率に関するものであり、統計なしで計算を行うのに十分な原子はありません。実際の統計や分布よりも私の(または他の人の)生活に影響を与える可能性のあるランダム性と不確実性に対処する方法を見つけたいだけです。
statskeptic

わかりやすいので、混乱しないようにしてください。しかし、統計が成功のチャンスをどのように改善するかを見るのがなぜそんなに難しいのか 確率理論は、勝つゲームの確率を示しています。ブラックジャックでThorpeのBeat the Dealer戦略を使用でき、資金の大銀行がある場合は、長期的に大金を稼ぐことができます。MITの学生は、複数のデッキを混合することでカウントの利点が減っていたにもかかわらず、ラスベガスでそれを証明しました。それは本当です。カジノは、カードカウンターが脅威であることを知っています。
マイケルR.チャーニック

彼らはそれらを検索し、それらを見つけたと思ったら、彼または彼女をカジノから追い出します。
マイケルR.チャーニック

また、私があなたの職業に火をつけようとしているとは思わないでください。電力を節約するために統計的に計算を行っているコンピューターがありますが、私はそれを尊重しています。私は、統計学で私よりもはるかに多くの知識を持つ人々がこれらの質問にどのように対処するかを学ぼうとしています。
-statskeptic

@statskeptic当初のコメントを謝罪した元の投稿を見ました。それらはモデレーターによって正当に編集されました。私はあなたが言おうとしていたことを誤解したと思います。私たちがあなたの質問にうまく答えて、あなたの懐疑心をいくらか和らげることを願っています。
マイケルR.チャーニック

1

私自身も、単一のイベントに関する決定を下す際に、確率と統計の有用性について同じ疑問を抱いています。私の意見では、目的がサンプルの結果を推定する場合、単一のイベントが何度も繰り返されたり、サンプルが特定の母集団からdrれたりする場合、実際の確率または推定確率を知ることは非常に重要です。要するに、確率を知ることは、確率計算に基づいて、(多くのプレーの後)長期的に勝つことを保証するルールを置くことができ、一度プレイするふりをするギャンブラーではなく、カジノにとってより理にかなっています勝ち負けになります(これらは、実験を1回実行した場合の結果です)。また、ハンダを10%失うリスク(確率)のある戦闘に送ることを考えている将軍にとっても重要です。しかし、死ぬか生き残るだけの特定のはんだ(たとえば、ジョン)についてはそうではありません。実生活には、このような例がたくさんあります。

私が言いたいのは、確率と統計は、実際の生活で役立つだけでなく、より正確には、すべての現代の科学的研究と意思決定ルールのツールであるということです。ただし、合理性とは、結果を推定するために、意図または繰り返しの可能性なしに、単一のイベントの確率に依存することを意味すると言うのは正しくありません。特定の個人のリスク回避度に基づいて、特定の個人の決定に影響を及ぼす確率の傾向は、明らかに主観的です。リスク回避とリスク愛好家は、同じ宝くじ(同じ期待値)に対して異なる態度(決定)を持っています。


リスク回避についてのポイントは、人々が不確実な出来事にどのように反応するかという点で興味深いものです。しかし、経済学者が不確実性の下で選択を検討する場合(例:世界の状況に応じた商品)、真の確率は公正なオッズライン(数理的に公正なギャンブルの下での可能な束を反映する予算制約)を介して作用します。エージェントは、好み(リスク回避など)だけでなく、予算の制約(利用可能なギャンブル)と公正なオッズラインの評価の相互作用に従っても行動します。
シルバーフィッシュ

簡単に言えば、すべてのリスク回避的な人々が「ギャンブルをしない」(言葉の最も広い意味で)というのは真実ではなく、彼らは数理的に公正なオッズによってギャンブルに誘惑されないだけです。ただし、十分なリスクプレミアム(リスク回避の程度に応じて)は、その決定を変更する可能性があります。この分析は、エージェントの公正なオッズに対する認識に依存するため、「1回限りのショット」であっても、合理的なエージェントは確率を評価します。
シルバーフィッシュ

1-リスクを嫌う人がギャンブルをすることはないとは言わなかった。2-「主観的」とは、宝くじの期待値を知っていても、宝くじに対する人の態度は決まらないということです。他のすべてのものが等しい場合、この態度は、ギャンブルの期待される効用を決定するリスク回避度である個人特性の関数です。経済理論の3合理性は仮説に依存するため、相対的です。そのため、同じ期待値に対して異なる態度を示す2人の個人が両方とも「合理的」と呼ばれることがあります。
モハメドレーミン

この議論の中心点を見逃さないことを望みます。これは、非常に低い確率のイベントがどのトレイルでも発生する可能性があるという事実に対処することです。そしてその逆。
モハメドレーミン

-4

長いことと短いことは、確率は0と1の間の信念度に対する通常の真/偽論理の一意の一般化であるということです。ジェインズ。

さらに、弱い仮定の下では、不確実な結果を優先順に並べる正しい方法は、期待される効用によって順序付けすることであり、期待値は結果の確率分布に関して取られることを示すことができます。

ベイズの確率と期待効用に基づく応用決定分析の紹介と説明については、ロバートクレメンの「難しい決定」を参照してください。

あなたは、従来の頻繁な統計に懐疑的であることは絶対に正しいです。その発明者(RA Fisher、J。Neyman、E。Pearson)の設計により、反復イベントに限定されています。しかし、多くの日常的な問題には、繰り返し発生するイベントは含まれません。何をすべきか?典型的なアプローチは、正方形のペグを丸い穴に押し込み、ゴールポストを動かすという組み合わせです。恥ずかしい、本当に。


4
-1私の意見では、頻繁な統計の非常に貧弱で不公平な描写です。私は、ベイジアンアプローチのそのような否定的な見方をしません。しかし、ベイジアン(どのキャンプ)も批判を受けていません。信念の程度は推論の定番になるのでしょうか?信念の程度は主観的かつ個人的なものであるため、2人で2つの異なる答えを出すことができますか?事前配布の必要性はどうですか?どのように選ぶべきですか?推論のパラダイムに関する多くの質問。しかし、私たちは基礎をめぐる口論の段階を過ぎていませんか?
マイケルR.チャーニック

5
私たちを団結させ、懐疑論者と向き合うときは統計が重要であると断言する科学的方法についてはもっとあります。代わりに、頻繁な方法で安価なショットを取るために、懐疑論者に同意します!それは恥ずべきことです。
マイケルR.チャーニック

@MichaelChernick:(1)単に統計を叫ぶことは重要ではありません。(2)ベイジアン推論は、問題データと通常の論理と同じ関係を持っています。つまり、いくつかの前提が与えられた場合、確率の法則を適用することでソリューションを作成します。データ(事前配布など)は、正しいものでも間違ったものでもありません。彼らはただです。合理的な人々は、他の問題データについてそうであるように、以前の分布については反対します。
ロバートドディエ

2
基礎についての議論に入ることを気にしません。これは適切な場所ではありません。あなたへの私の唯一のポイントは、あなたが安いショットをとったと思い、あなたの答えが不適切だったということでした。統計の基礎についての議論は必要ありません。
マイケルR.チャーニック

4
抱きしめて
ブランドンバーテルセン

-4

私は次の理由で統計に懐疑的です。

  1. 統計学の学位を持っていない人は誰も彼らが何をしているのか見当もつかないと確信しています。うん 統計学の学位を取得していなくても、世界中で何百万人もの人々が研究を行っています。私は、メリーランド大学パークの大学で数学を専攻していました。私は4 400レベルの数学のクラスを取りました。すべての教師は、ものの計算方法を教えるだけでした。2つの理由で意味をなさない仮説検定を除き、何かを理解する方法や統計分析を行う方法を教えてくれた人はいませんでした。
    1.教えられたすべての仮説検定について、事前に前提を立てなければなりませんでした。どの仮定から始めなければならないのか、誰も教えてくれませんでした。2. P値は論理的に意味をなしません。統計学の学位は、p値が実際に何であるかを教えてくれるかもしれません。しかし、私は学部生がそれを使用する方法を知っていないことを確信しています。学部の定義は、仮説が正しいかどうかに依存する何かの確率を想定しています。論理的には、定義はまったく意味がありません。さらに悪いことに、NOBODYは確率がどこから来るのかを私に言ったことがあります。誰かが答えてくれたら、実際に数学部門(200人以上)のほぼ全員にメールを送りました。最も一般的で唯一の回答は、「確率のエラー率を推定する必要がある」というものでした(これをどのように行ったかを尋ねると、彼らはすべて私に答えました
    p値の重要性をグーグルで調べたときにも同じことが起こりました。結論に至ります...

  2. さえも。数学と統計の教授の数は、統計の背後にある論理が何であるかについての手がかりを持っていません。私は人々が深い知識を持つことを期待していません。しかし、私はシグでも感じています。研究と教授の割合は、統計の背後にある根本的なロジックを理解していません。

  3. 統計誤差は実際の誤差とは異なります。人々は統計を使用して巨大なものの推定値を導き出すのが好きなので、人々は統計エラーを使用して、実際のエラーの手がかりがないという事実を「隠す」ことを好みます。

  4. 統計理論が彼らにそうすることができるので、人々は大きな人口のために小さなサンプルを使います。私は大学のコースの1つから、全国の約30校の推定データを使用して、全国の学校での暴力事件がほとんどないことを示すことを学びました。約100,000の学校があります。それは非常識だ。全体的な人気のある運動は、全国の約30の学校に基づいています。

  5. 人々は証明の負担を統計的にすることを好みます。ヒッグスの胸は決して発見されませんでした。統計的に発見されましたが、それは何の意味もありません。統計の正確さを誰も知らないため、純粋に統計的に発見されたものは役に立たない。

  6. 人々は統計を使用して重要な意思決定を行うのが好きです。統計はガイドとして使用できますが、実際にどれほど正確であるかは誰にもわかりません。問題が解決不可能と思われるからといって、統計が次善の策であることを意味するわけではありません。DNA検査が統計に基づいているという事実は、私に悪寒を与えます。統計上の理由で死刑を与えることはできますか?統計のために、殺人者は刑務所から解放されますか?

統計が有用であると信じていますが、それが結論として使用されていない場合のみです。統計は、可能性のいくつかを教えてくれると信じています。次に、統計ロジックではなくロジックを使用して、どの可能性が正しいかを証明する必要があります。


1
「...誰も統計の正確さを知らないので役に立たない」と、学校やDNAのサンプルのような統計的証拠から結論を引き出すことについての苦情は、統計的推論を信用しないことを示唆しています。しかし、多くの場合、限られたサンプルが利用可能なすべての証拠、またはキャプチャする余裕があるすべてのデータです。そのような証拠を比較検討する方法は?サンプルはより広い人口を正確に反映していないため、不確実性に直面しています。推論はその不確実性を扱います。たとえば、信頼区間は、サンプル平均のようなサンプル統計の不確実性を測定します(おおよそ、統計の「精度」は既知です)。
シルバーフィッシュ

2
「教授は統計の背後にある根本的な論理を理解していません」-統計には根本的に異なる哲学がいくつかありますが(例えば、ベイジアン-フリークエンティストの議論を参照)、ほとんどの人は特定の問題に適用する手法について実用的です。これは、学部課程のコースでは、たとえあったとしても、あまり目立たないかもしれませんが、統計の哲学は、ある日、封筒の裏にランダムに作成されていませんでした。p値については、「論理的には、定義はまったく意味をなしません」:CVでこの質問を参照する必要があります。
シルバーフィッシュ

1
投機的暴言は、SEサイトで適切な回答とは見なされません。彼らはおもしろいかもしれませんし、私が信じているように、いくつかの真実を含んでいるかもしれませんが、結局、彼らはマクベスの第5幕、シーン5、26-28行目
whuber
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.