2012年11月20日

Doubleの計算

Doubleの計算はSingleに入れておけば安心。
という神話が覆された。

整数値の計算で、Doubleの時は正しいのにSingle値では誤った値とか…もうどうしたら良いのやら。

とりあえず整数ってことは確実なので、Longで計算することにより切り抜ける。

小数点以下の数が決まってんなら、整数になるまで10倍してやって、Longで計算する方が確実かもしれん。
Longの範囲を超える値の時は……知らん。



でも何で計算結果に誤差が出たんだろ?
整数だったからか?
小数点有りの計算だったら必殺Double→Singleでいけるんだろうか。
÷10計算してみても良かったかもしれんな。
もうLongで片付いたから良いけど…。

posted by 尻尾泥棒 at 08:54| Comment(0) | 日記 | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
司法書士事務所
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。