浮動小数点の丸めエラーの原因は何ですか？

浮動小数点演算には精度の問題があることを認識しています。私は通常、数値の固定10進数表現に切り替えるか、単にエラーを無視することでそれらを克服します。

しかし、この不正確さの原因はわかりません。浮動小数点数で丸めの問題が多いのはなぜですか？

これは、一部の小数部は、丸めることなく表現するために非常に大きな（または無限の）場所を必要とするためです。これは、バイナリなどの10進表記にも当てはまります。計算に使用する小数点以下の桁数を制限する場合（および分数表記で計算を行わないようにする場合）、単純な式でも1/3 + 1/3として丸める必要があります。結果として2/3を書く代わりに、0.33333 + 0.33333 = 0.66666と書く必要があります。これは2/3と同一ではありません。

コンピュータの場合、桁数はメモリとCPUレジスタの技術的な性質によって制限されます。内部的に使用されるバイナリ表記は、さらにいくつかの困難を追加します。通常、コンピューターは分数表記で数値を表現できませんが、一部のプログラミング言語ではこの機能が追加されるため、これらの問題をある程度回避できます。

すべてのコンピューター科学者が浮動小数点演算について知っておくべきこと

第一に、丸め誤差は、すべての実数の無限大がコンピュータの有限メモリでは表現できない可能性があり、単一の浮動小数点変数などのメモリの小さなスライスは言うまでもないため、格納される多くの数値は単なる近似ですそれらが表すことを意図した数。

近似値ではない限られた数の値しかないため、近似値と別の数値の間の演算は近似値になるため、丸め誤差はほとんど避けられません。

重要なことはすることです、彼らが問題を引き起こす可能性があるときに実現し、リスクを軽減するための措置をとります。

加えて、デイビッド・ゴールドバーグ不可欠のすべてのコンピュータ科学者は、浮動小数点演算について知っておくべきこと（自分への付録として日/ Oracleが再発行され数値計算ガイドで言及された）、トルステン、ACCUのジャーナル過負荷が優れた走りました一連の記事リチャード・ハリスについての浮動小数点ブルース。

シリーズの始まりは

• あなたは考えなければならないだろう！中に過負荷＃99（ PDF、p5-10）：

数値計算には多くの落とし穴があります。リチャード・ハリスは銀の弾丸を探し始めます。

数値エラーのドラゴンは眠りから目覚めることはあまりありませんが、不注意に近づくと、不注意なプログラマーの計算に壊滅的なダメージを与えることがあります。

IEEE 754浮動小数点演算の森で彼に偶然出会ったプログラマーの中には、仲間にその公平な土地を旅することを勧めないほどのこともあります。

このシリーズの記事では、数値計算の世界を探り、浮動小数点演算と、より安全な代替として提案されているいくつかの手法とを対比します。ドラゴンの領土が実際に広範囲に及んでいること、そしてドラゴンの壊滅的な注意を恐れる場合は一般的に慎重に踏み込まなければならないことを学びます。

リチャードは、実数、合理的、非合理的、代数的、超越的な実数の分類法を説明することから始めます。その後、キャンセルエラーと実行順序の問題に進む前に、IEEE754表現の説明に進みます。

これよりも深く読めない場合、浮動小数点数に関連する問題の優れた基礎が得られます。

ただし、さらに詳しく知りたい場合は、

• オーバーロード＃100で固定小数点が浮動小数点ブルーを治さない理由（ pdf、p15-22）
• 過負荷＃101で Rationalsが浮動小数点ブルーを治さない理由（ pdf、p9-13）
• オーバーロード＃102でコンピューター代数が浮動小数点ブルースを治さない理由（ pdf、p9-14）。
• なぜ区間演算がオーバーロード103で浮動小数点ブルーを治さないのか（ pdf、p19-24）

次に、彼はあなたのCalculus Bluesを治すのを手伝おうとすることに切り替えます

• なぜ[ここにアルゴリズムを挿入]オーバーロード104で計算ブルースを治さないのか（ pdf、p22-24）。
• 過負荷105で有限差分があなたの計算ブルースを治さない理由（ pdf、p5-12）。
• 多項式近似が過負荷106で計算ブルースを治さない理由（ pdf、p16-25）。
• なぜコンピューター代数はオーバーロード107であなたの微積分ブルースを治さないのか（ pdf、p15-20）。

そして最後になりましたが、あります

• なぜオーバーロード108で自動微分が計算ブルースを治さないのか（ pdf、p4-11）。

一連の記事全体を検討する価値があり、合計66ページで、Goldberg紙の 77ページよりもまだ小さいです。

このシリーズはほぼ同じ内容をカバーしていますが、ゴールドバーグの論文よりもアクセスしやすいことがわかりました。また、Richardsの以前の記事を読んだ後、論文のより複雑な部分を理解するのが容易であることがわかりました。

このように、コメントで言及された偽のak：

それらの記事の著者として、thusspakeak.com / ak / 2013/06で始まるブログwww.thusspakeak.comでインタラクティブなバージョンを作成したことに言及したいと思います。

まあ、トルステンには決定的なリンクがあります。私は追加します：

あらゆる形式の表現には、いくつかの数値に対する丸め誤差があります。IEEE浮動小数点または10進数で1/3を表現するようにしてください。どちらも正確に行うことはできません。これはあなたの質問に答えることを超えていますが、私はこの経験則をうまく使いました：

• ユーザーが入力した値を10進数で保存します（ほとんど確実に10進表現で入力したため、バイナリまたは16進数を使用するユーザーはほとんどいません）。そうすれば、常にユーザーが入力した正確な表現が得られます。
• ユーザーが入力した分数を保存する必要がある場合は、分子と分母（10進数でも）を保存します。
• 同じ数量に対して複数の測定単位（摂氏/華氏など）を持つシステムがあり、ユーザーが両方を入力できる場合、入力した値と入力した単位を保存します。変換して名前を付けて保存しないでください。精度/精度を損なうことなく実行できる場合を除き、単一の表現。すべての計算で保存された値と単位を使用します。
• マシンが生成した値をIEEE浮動小数点に保存します（これは、A / Dコンバーターを備えたアナログセンサーなどの電子測定デバイスによって生成された数値、または計算の丸められていない結果です）。シリアル接続を介してセンサーを読み取る場合、これは適用されず、すでに10進形式（18.2 Cなど）で値を提供していることに注意してください。
• ユーザーが表示可能な合計などを10進数で保存します（銀行口座の残高など）。適切に丸めますが、その値を将来のすべての計算の最終的な値として使用します。

これまで言及されていなかったと思われるのは、不安定なアルゴリズムと悪条件の問題の概念です。前者を最初に取り上げますが、これは初心者の数値学者にとってより頻繁な落とし穴のようです。

（逆数）黄金比のべき乗の計算を検討してくださいφ=0.61803…。それについて移動するための1つの可能な方法は、漸化式を使用することでφ^n=φ^(n-2)-φ^(n-1)始まる、φ^0=1とφ^1=φ。お気に入りのコンピューティング環境でこの再帰を実行し、結果を正確に評価された能力と比較すると、重要な数字のゆっくりとした侵食が見つかります。Mathematicaでのインスタンスの例を次に示します：

ph = N[1/GoldenRatio];  
Nest[Append[#1, #1[[-2]] - #1[[-1]]] & , {1, ph}, 50] - ph^Range[0, 51]  
{0., 0., 1.1102230246251565*^-16, -5.551115123125783*^-17, 2.220446049250313*^-16, 
-2.3592239273284576*^-16, 4.85722573273506*^-16, -7.147060721024445*^-16, 
1.2073675392798577*^-15, -1.916869440954372*^-15, 3.1259717037102064*^-15, 
-5.0411064211886014*^-15, 8.16837916750579*^-15, -1.3209051907825398*^-14, 
2.1377864756200182*^-14, -3.458669982359108*^-14, 5.596472721011714*^-14, 
-9.055131861349097*^-14, 1.465160458236081*^-13, -2.370673237795176*^-13, 
3.835834102607072*^-13, -6.206507137114341*^-13, 1.004234127360273*^-12, 
-1.6248848342954435*^-12, 2.6291189633497825*^-12, -4.254003796798193*^-12, 
6.883122762265558*^-12, -1.1137126558640235*^-11, 1.8020249321541067*^-11, 
-2.9157375879969544*^-11, 4.717762520172237*^-11, -7.633500108148015*^-11, 
1.23512626283229*^-10, -1.9984762736468268*^-10, 3.233602536479646*^-10, 
-5.232078810126407*^-10, 8.465681346606119*^-10, -1.3697760156732426*^-9, 
2.216344150333856*^-9, -3.5861201660070964*^-9, 5.802464316340953*^-9, 
-9.388584482348049*^-9, 1.5191048798689004*^-8, -2.457963328103705*^-8, 
3.9770682079726053*^-8, -6.43503153607631*^-8, 1.0412099744048916*^-7, 
-1.6847131280125227*^-7, 2.725923102417414*^-7, -4.4106362304299367*^-7, 
7.136559332847351*^-7, -1.1547195563277288*^-6}

の結果φ^41は間違った符号を持ち、さらに早い段階で計算された値と実際の値はφ^39共通の数字を共有しません（3.484899258054952* ^-9 for the computed version against the true value7.071019424062048 *^-9）。したがって、アルゴリズムは不安定であり、不正確な算術演算ではこの再帰式を使用しないでください。これは、再帰式の固有の性質によるものです。この再帰には「減衰」および「成長」ソリューションがあり、代替の「成長」ソリューションがある場合、前方ソリューションによって「減衰」ソリューションを計算しようとします数値的悲嘆のため。したがって、数値アルゴリズムが安定していることを確認する必要があります。

さて、条件の悪い問題の概念に移りましょう：数値的に何かを行う安定した方法があるかもしれませんが、それはあなたのアルゴリズムでは解決できないということです。これは問題自体の問題であり、解決方法ではありません。数値の標準的な例は、いわゆる「ヒルベルト行列」を含む線形方程式の解法です。

行列は、条件の悪い行列の標準的な例です。大きなヒルベルト行列を持つシステムを解こうとすると、不正確な解が返される可能性があります。

以下はMathematicaのデモです。正確な算術の結果を比較します

Table[LinearSolve[HilbertMatrix[n], HilbertMatrix[n].ConstantArray[1, n]], {n, 2, 12}]
{{1, 1}, {1, 1, 1}, {1, 1, 1, 1}, {1, 1, 1, 1, 1}, {1, 1, 1, 1, 1, 
  1}, {1, 1, 1, 1, 1, 1, 1}, {1, 1, 1, 1, 1, 1, 1, 1}, {1, 1, 1, 1, 1,
   1, 1, 1, 1}, {1, 1, 1, 1, 1, 1, 1, 1, 1, 1}, {1, 1, 1, 1, 1, 1, 1, 
  1, 1, 1, 1}, {1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1}}

および不正確な算術

Table[LinearSolve[N[HilbertMatrix[n]], N[HilbertMatrix[n].ConstantArray[1, n]]], {n, 2, 12}]
{{1., 1.}, {1., 1., 1.}, {1., 1., 1., 1.}, {1., 1., 1., 1., 1.},  
  {1., 1., 1., 1., 1., 1.}, {1., 1., 1., 1., 1., 1., 1.}, 
  {1., 1., 1., 1., 1., 1., 1., 1.}, {1., 1., 1., 1., 1., 1., 1., 1., 1.},  
  {1., 1., 1., 0.99997, 1.00014, 0.999618, 1.00062, 0.9994, 1.00031, 
  0.999931}, {1., 1., 0.999995, 1.00006, 0.999658, 1.00122, 0.997327, 
  1.00367, 0.996932, 1.00143, 0.999717}, {1., 1., 0.999986, 1.00022, 
  0.998241, 1.00831, 0.975462, 1.0466, 0.94311, 1.04312, 0.981529, 
  1.00342}}

（Mathematicaで試してみた場合、悪条件が現れることを警告するいくつかのエラーメッセージに気付くでしょう。）

どちらの場合も、単に精度を上げるだけでは解決できません。避けられない数字の浸食を遅らせるだけです。

これはあなたが直面するかもしれないものです。解決策は難しいかもしれません。最初は、図面に戻るか、他の人があなたよりも優れた解決策を見つけたかどうかを調べるために、ジャーナル/書籍/その他何でも探します。第二に、あなたはあきらめるか、より扱いやすい何かにあなたの問題を再定式化します。

ダイアン・オレアリーからの引用をお送りします。

人生は悪条件の問題を投げかけるかもしれませんが、不安定なアルゴリズムに落ち着く正当な理由はありません。

10進数の10進数は2進数では表現できないため

または、言い換えれば、1/10は分母が2の累乗を持つ分数に変換できません（これは本質的に浮動小数点数です）

数学では、無数の有理数があります。32ビット変数は2 ^32個の異なる値しか持つことができず、64ビット変数は2 ^64個の値しか持つことができません。したがって、正確な表現を持たない無数の有理数があります。

1/3を完全に、または1/100を表すことができるスキームを考え出すことができました。多くの実用的な目的のために、これはあまり役に立ちません。1つの大きな例外があります。金融では、小数が頻繁に表示されます。これは主に、金融は本質的に人間の活動であり、物理的な活動ではないためです。

したがって、通常はバイナリ浮動小数点を使用し、バイナリで表現できない値はすべて丸めることを選択します。しかし、金融では、10進浮動小数点を選択し、値を最も近い10進値に丸めることがあります。

私が考えている浮動小数点数の唯一の本当に明らかな「丸めの問題」は、移動平均フィルターに関するものです。

$$ \ begin {align} y [n]＆= \ frac {1} {N} \ sum \ limits_ {i = 0} ^ {N-1} x [ni] \＆= y [n-1] + \ frac {1} {N}（x [n]-x [nN]）\ \ end {align} $$

ノイズを蓄積せずにこの作業を行うには、現在のサンプルに追加する$ x [n] $が、$ N $個のサンプルを差し引く$ x [nN] $と正確に同じであることを確認する必要があります。未来。そうでない場合、異なるのは遅延ラインに詰まって出てこない小さな糞です。これは、この移動平均フィルターが、実際には$ z = 1 $にわずかに安定した極とそれをキャンセルするゼロを持つIIRで構築されているためです。しかし、それはインテグレーターであり、統合されて完全に削除されないがらくたは、インテグレーターの合計に永遠に存在します。これは、固定小数点には浮動小数点数と同じ問題がありません。