BCD

| コメント(0)

今日は三四郎2007を使っていて、ちょっと困ったことに。

計算があわないのである。

で、サポートのページを見ていて、BCD方式の計算、というところに行き着いた。

三四郎2007では、

=1.1-1-0.1

を計算すると

 8.3267E-17

となる。これを、10進数型演算で計算するように指定すると、正しい答えが返ってくるらしい。(数値の前に"&n"を入れるみたい。)
最大38桁の高精度計算が可能とのこと。
そういえば、なんか聞いたことあったなぁ。。。

=&n1.1-&n1-&n0.1

この場合、このようにすれば、正しい結果(0)が返ってくる。

備考その1、
=&n1.1-1-0.1、=1.1-&n1-0.1、=1.1-1-&n0.1 でも、0 になるみたい。

備考その2、
 OpenOffice.org Calc では、最初から =1.1-1-0.1 で正しい結果(0)が返ってくる。

備考その3、
 BCD方式で計算されている、というのが分かるように、その数式の結果は青色になる・・・。

コメントする

最近のブログ記事

四国決戦?、ユース版
今日は、カマタマーレ讃岐U-18 vs …
高校総体予選、2回戦
昨日、高校総体県予選2回戦が行われた。 …
高校総体予選、1回戦
先週末、高校総体県予選1回戦が行われた。…