密かに15桁を超え、VLOOKUPを破るExcelの小数精度


0

私はこの式を使って中間点の計算をしています

A1-MOD(A1+(Constants!$A$1/2),Constants!$A$1)

(列の値Aが小数で、値Constants!$A$1が正確な整数の場合)

次に、補助ワークシートで、10位まで正確に入力された値と照合します。

VLOOKUP(B1,Data!$A:$B,2,FALSE)

しかしVLOOKUP、私の価値観に一貫性がない。その結果(この投稿のために、値はtable_arrayパラメーターの両方の列で同じです):

ルックアップデータのサンプル

Excelの数値精度に関するこの質問によれば、Excelは最大15桁をサポートしているため、計算対象を確認するためだけに小数精度を上げました。

完全に正確に見える

「バンド」列に値をラップすると、ROUND(..., 2)期待どおりに機能しましたが、なぜですか?

PS注Excel 2013を使用しています。

回答:


0

このビデオでは、バイナリストレージと浮動小数点数について非常に良い説明があります。https://www.youtube.com/watch?v=PZRI1IfStY0&t=1s

その後、浮動小数点の不正確さが発生することを受け入れ、正確にする必要がある場合は数値を丸めてください。


しかし、なぜExcelによって不正確さが隠されているのROUNDか、考えられるすべての式をラップせずに問題を軽減する方法はありますか?
エラスカネーター
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.