C# - 부동 소수 계산 왜 이렇게 나오죠? (1)
"Welcome to the REAL world"
아래와 같은 질문이 있군요. ^^
부동소수 계산 왜 이렇게 나오죠?
; http://lab.gamecodi.com/board/zboard.php?id=GAMECODILAB_QnA_etc&no=3938&z=
문제를 요약하면 이렇습니다. 다음과 같이 float 연산 결과를 하면 12가 나오는데,
float a = 10f;
float b = 1.3f;
int c = (int)(a * b); // c == 12
여기다 (float) 형변환만 살짝 끼워주면 왜 13이 나오냐는 것입니다. (사실, 결과적으로 봤을 때는 13이 옳은 값이고 왜 12가 나오냐는 점이 더 중요합니다.)
float a = 10f;
float b = 1.3f;
int c = (int)(float)(a * b); // c == 13
그나저나 경력이 쌓이다 보니 이번 질문은 좀 식상한 축에 속합니다. 사실, 이게 C#만 그런 것이 아니고 C++, Javascript와 같은 다른 언어들에서도 부동 소수점 관련해서 꼭 이런 유의 질문이 나오거든요. ^^; 가령 "[언어] strange floating point problem"이라는 검색어로 해서 여러분들이 사용하는 언어를 대입해 검색해 보시면 됩니다. ^^
어쨌든 위의 질문에 달린 덧글을 보면 어느 정도 답이 나오는데, 그래도 질문한 사람이 만족하지 못했는지, 다음의 질문도 이어서 MSDN 포럼에 올린 듯합니다.
float 연산
; https://social.msdn.microsoft.com/Forums/ko-KR/6e09c5ff-b914-458e-8394-e3331c5bf05f/float-?forum=visualcsharpko
자, 그럼 문제를 찬찬히 살펴볼까요?
일단, 이것이 C# 컴파일러의 오류인지 확인해 보겠습니다. 방법은? 간단하게 .NET Reflection을 통해 보면 되겠지요. ^^
우선 아래의 코드를 컴파일하고,
float a = 10f;
float b = 1.3f;
int c = (int)(a * b);
IL 출력 결과를 보면 이렇습니다. 별로 특별한 것이 없습니다.
.method private hidebysig static void Main(string[] args) cil managed
{
.entrypoint
.maxstack 2
.locals init ([0] float32 a, [1] float32 b, [2] int32 c)
L_0000: nop
L_0001: ldc.r4 10
L_0006: stloc.0
L_0007: ldc.r4 1.3
L_000c: stloc.1
L_000d: ldloc.0
L_000e: ldloc.1
L_000f: mul
L_0010: conv.i4
L_0011: stloc.2
L_0012: ldloc.2
L_0013: call void [mscorlib]System.Console::WriteLine(int32)
L_0018: nop
L_0019: ret
}
반면, (float) 형변환을 끼워넣으면 그 동작을 위한 형변환 코드가 한 개 추가됩니다.
.method private hidebysig static void Main(string[] args) cil managed
{
.entrypoint
.maxstack 2
.locals init ([0] float32 a, [1] float32 b, [2] int32 c3)
L_0000: nop
L_0001: ldc.r4 10
L_0006: stloc.0
L_0007: ldc.r4 1.3
L_000c: stloc.1
L_000d: ldloc.0
L_000e: ldloc.1
L_000f: mul
L_0010: conv.r4
L_0011: conv.i4
L_0012: stloc.2
L_0013: ldloc.2
L_0014: call void [mscorlib]System.Console::WriteLine(int32)
L_0019: nop
L_001a: ret
}
역시 별다른 것이 없습니다. 여기서 C# 컴파일러 입장에서는 더 이상 할 수 있는 것이 없습니다. 이제 실행 시 기계어로 바꿔주는 JIT 컴파일러에게 그 책임이 넘어갑니다.
그럼, Visual Studio의 disassembly 화면을 통해 해당 코드들이 어떻게 어셈블리로 표현되는지 볼까요? ^^ 우선, (float) 형변환하지 않는 경우입니다.
float a = 10f;
00EE2DCF C7 45 F8 00 00 20 41 mov dword ptr [ebp-8],41200000h
float b = 1.3f;
00EE2DD6 C7 45 F4 66 66 A6 3F mov dword ptr [ebp-0Ch],3FA66666h
int c = (int)(a * b);
00EE2DDD D9 45 F8 fld dword ptr [ebp-8] // FPU 스택에 [ebp-8] 주소의 값(0x41200000)을 로드
00EE2DE0 D8 4D F4 fmul dword ptr [ebp-0Ch] // 스택에 로드된 값에 [ebp-0ch] 주소의 값(0x3FA66666)을 곱하기 연산 수행
00EE2DE3 DD 5D E8 fstp qword ptr [ebp-18h] // 최종 남겨진 스택의 값을 [ebp-18h] 주소에 저장
00EE2DE6 F2 0F 10 45 E8 movsd xmm0,mmword ptr [ebp-18h]
00EE2DEB F2 0F 2C C0 cvttsd2si eax,xmm0
00EE2DEF 89 45 F0 mov dword ptr [ebp-10h],eax
fld, fmul, fstp 명령어에 대해서는 다음의 글을 참고하시면 됩니다.
The FPU Instruction Set
; https://courses.engr.illinois.edu/ece390/books/artofasm/CH14/CH14-4.html
The fld instruction loads a 32 bit, 64 bit, or 80 bit floating point value onto the stack. This instruction converts 32 and 64 bit operand to an 80 bit extended precision value before pushing the value onto the floating point stack.
The fmul mem instruction requires a 32 or 64 bit memory operand. It converts the specified memory variable to an 80 bit extended precision value and the multiplies st(0) by this value.
The fst and fstp instructions copy the value on the top of the floating point register stack to another floating point register or to a 32, 64, or 80 bit memory variable. When copying data to a 32 or 64 bit memory variable, the 80 bit extended precision value on the top of stack is rounded to the smaller format as specified by the rounding control bits in the FPU control register.
(참고로 FPU의 '스택'이라고 표현한 것은 동작 방식이 그러한데, 실제로 부동 소수점 레지스터를 내부적으로 스택처럼 다루도록 설계된 결과입니다.)
어쨌든, fld, fmul, fstp 명령어의 쓰임을 보면 닷넷 JIT 컴파일러가 올바른 명령어를 산출해 준 것 같습니다. 즉, 닷넷 JIT 컴파일러 입장에서도 이 이상 더 잘해줄 수는 없습니다.
그런데, 결과는 사용자가 의도했던 13이 나오는 것이 아니고 eax 레지스터에는 12 값이 들어가 있는 것입니다. 이유가 뭘까요? 왜냐하면 fmul 연산 결과로 저장되는 CPU의 ST0 부동 소수점 레지스터 자체에 이미 1.2999999523162841e+0001와 같은 값이 들어 있기 때문입니다. (이것은 부동 소수점을 2진수로 표현하는 것에 한계가 있기 때문입니다. 이에 대해서는 나중에 따로 다루도록 하고 지금은 원래 문제에만 집중해서 설명해 보겠습니다.)
80비트의 ST0 부동 소수점 레지스터의 값을 다시 [ebp-54h] 주소로 fstp 명령어를 통해 8바이트로 변환되어 저장됩니다. 즉, 64비트 double 형의 배정도 부동 소수점 값으로 저장이 되는 것이고 이 와중에 80비트 레지스터에 보관된 1.2999999523162841e+0001 값이 거의 손상없이 0x4029fffff0000000값으로 저장됩니다. 그리고 그 값을 int로 형변환(cvttsd2si)하니 값이 12로 된 것입니다.
여기서 이상한 것은, 질문자가 궁금한 것처럼 (float) 형변환을 하면 값이 (정상적으로) 13이 된다는 것입니다. 왜 그럴까요? 다시 이렇게 했을 때의 기계어 코드를 보겠습니다.
float a = 10f;
00982DCF C7 45 F8 00 00 20 41 mov dword ptr [ebp-8],41200000h
float b = 1.3f;
00982DD6 C7 45 F4 66 66 A6 3F mov dword ptr [ebp-0Ch],3FA66666h
int c3 = (int)(float)(a * b);
00982DDD D9 45 F8 fld dword ptr [ebp-8]
00982DE0 D8 4D F4 fmul dword ptr [ebp-0Ch]
00982DE3 D9 5D EC fstp dword ptr [ebp-14h]
00982DE6 D9 45 EC fld dword ptr [ebp-14h]
00982DE9 DD 5D E4 fstp qword ptr [ebp-1Ch]
00982DEC DD 45 E4 fld qword ptr [ebp-1Ch]
00982DEF DD 5D E4 fstp qword ptr [ebp-1Ch]
00982DF2 F2 0F 10 45 E4 movsd xmm0,mmword ptr [ebp-1Ch]
00982DF7 F2 0F 2C C0 cvttsd2si eax,xmm0
00982DFB 89 45 F0 mov dword ptr [ebp-10h],eax
이전의 연산에서 4개의 기계어 연산이 더 추가되었는데, 여기서 중요한 것은 첫 번째 fstp의 연산 범위가 'dword ptr', 즉 4바이트라는 점입니다. 즉, 닷넷 JIT 컴파일러는 사용자가 의도한대로 4바이트 float 단정도 부동 소수점 결과를 얻는다는 것을 명시했기 때문에 80비트의 ST0 부동 소수점 레지스터에서 값을 추출할 때 8바이트로 변환해 저장하지 않고 4바이트로 변환해 저장을 하고 있는 것입니다. 바로 이 와중에 1.2999999523162841e+0001 정밀도의 연산값이 손실을 입어 13을 넘은 값(0x41500000)으로 [ebp-14h]에 저장되고 있는 것입니다.
여기서도 역시 닷넷 JIT 컴파일러는 사용자가 의도한대로 기계어 코드를 생성했고 나머지는 전적으로 CPU의 동작에 맡겨 처리를 한 것입니다.
그럼, 대충 결론이 나오나요?
처음에 말했던 것처럼, 이런 CPU의 동작 방식 때문에 프로그래밍 언어에 상관없이 부동 소수점 문제는 발생할 수밖에 없습니다. 그리고, 이런 사실을 안다면 float/double 값을 정수로 변환할 때는 상당한 주의를 기울여야 한다는 것을 잊지 말아야 합니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]