Microsoft MVP성태의 닷넷 이야기
.NET Framework: 539. C# - 부동소수 계산 왜 이렇게 나오죠? (1) [링크 복사], [링크+제목 복사]
조회: 12394
글쓴 사람
홈페이지
첨부 파일
 

C# - 부동소수 계산 왜 이렇게 나오죠? (1)

아래와 같은 질문이 있군요. ^^

부동소수 계산 왜 이렇게 나오죠? 
; http://lab.gamecodi.com/board/zboard.php?id=GAMECODILAB_QnA_etc&no=3938&z=

문제를 요약하면 이렇습니다. 다음과 같이 float 연산 결과를 하면 12가 나오는데,

float a = 10f;
float b = 1.3f;

int c = (int)(a * b); // c == 12

여기다 (float) 형변환만 살짝 끼워주면 왜 13이 나오냐는 것입니다. (사실, 결과적으로 봤을 때는 13이 옳은 값이고 왜 12가 나오냐는 점이 더 중요합니다.)

float a = 10f;
float b = 1.3f;

int c = (int)(float)(a * b); // c == 13

그나저나 경력이 쌓이다 보니 이번 질문은 좀 식상한 축에 속합니다. 사실, 이게 C#만 그런 것이 아니고 C++, Javascript와 같은 다른 언어들에서도 부동 소수점 관련해서 꼭 이런 류의 질문이 나오거든요. ^^; 가령 "[언어] strange floating point problem"이라는 검색어로 해서 여러분들이 사용하는 언어를 대입해 검색해 보시면 됩니다. ^^

어쨌든 위의 질문에 달린 덧글을 보면 어느 정도 답이 나오는데, 그래도 질문한 사람이 만족하지 못했는지, 다음의 질문도 이어서 MSDN 포럼에 올린 듯 합니다.

float 연산
; https://social.msdn.microsoft.com/Forums/ko-KR/6e09c5ff-b914-458e-8394-e3331c5bf05f/float-?forum=visualcsharpko

자, 그럼 문제를 찬찬히 살펴볼까요?




일단, 이것이 C# 컴파일러의 오류인지 확인해 보겠습니다. 방법은? 간단하게 .NET Reflection을 통해 보면 되겠지요. ^^

우선 아래의 코드를 컴파일하고,

float a = 10f;
float b = 1.3f;

int c = (int)(a * b);

IL 출력 결과를 보면 이렇습니다. 별로 특별한 것이 없습니다.

.method private hidebysig static void Main(string[] args) cil managed
{
    .entrypoint
    .maxstack 2
    .locals init ([0] float32 a, [1] float32 b, [2] int32 c)
    L_0000: nop 

    L_0001: ldc.r4 10
    L_0006: stloc.0 
    L_0007: ldc.r4 1.3
    L_000c: stloc.1 
    L_000d: ldloc.0 
    L_000e: ldloc.1 
    L_000f: mul 
    L_0010: conv.i4 
    L_0011: stloc.2 
    L_0012: ldloc.2 

    L_0013: call void [mscorlib]System.Console::WriteLine(int32)
    L_0018: nop 
    L_0019: ret 
}
 

반면, (float) 형변환을 끼워넣으면 그 동작을 위한 형변환 코드가 한 개 추가됩니다.

.method private hidebysig static void Main(string[] args) cil managed
{
    .entrypoint
    .maxstack 2
    .locals init ([0] float32 a, [1] float32 b, [2] int32 c3)
    L_0000: nop 

    L_0001: ldc.r4 10
    L_0006: stloc.0 
    L_0007: ldc.r4 1.3
    L_000c: stloc.1 
    L_000d: ldloc.0 
    L_000e: ldloc.1 
    L_000f: mul 
    L_0010: conv.r4 
    L_0011: conv.i4 
    L_0012: stloc.2 
    L_0013: ldloc.2 

    L_0014: call void [mscorlib]System.Console::WriteLine(int32)
    L_0019: nop 
    L_001a: ret 
}

역시 별다른 것이 없습니다. 여기서 C# 컴파일러 입장에서는 더 이상 할 수 있는 것이 없습니다. 이제 실행 시 기계어로 바꿔주는 JIT 컴파일러에게 그 책임이 넘어갑니다.




그럼, Visual Studio의 disassembly 화면을 통해 해당 코드들이 어떻게 어셈블리로 표현되는지 볼까요? ^^ 우선, (float) 형변환하지 않는 경우입니다.

            float a = 10f;
00EE2DCF C7 45 F8 00 00 20 41 mov         dword ptr [ebp-8],41200000h  
            float b = 1.3f;
00EE2DD6 C7 45 F4 66 66 A6 3F mov         dword ptr [ebp-0Ch],3FA66666h  

            int c = (int)(a * b);
00EE2DDD D9 45 F8             fld         dword ptr [ebp-8]   // FPU 스택에 [ebp-8] 주소의 값(0x41200000)을 로드
00EE2DE0 D8 4D F4             fmul        dword ptr [ebp-0Ch] // 스택에 로드된 값에 [ebp-0ch] 주소의 값(0x3FA66666)을 곱하기 연산 수행

00EE2DE3 DD 5D E8             fstp        qword ptr [ebp-18h] // 최종 남겨진 스택의 값을 [ebp-18h] 주소에 저장

00EE2DE6 F2 0F 10 45 E8       movsd       xmm0,mmword ptr [ebp-18h]  
00EE2DEB F2 0F 2C C0          cvttsd2si   eax,xmm0  
00EE2DEF 89 45 F0             mov         dword ptr [ebp-10h],eax  

fld, fmul, fstp 명령어에 대해서는 다음의 글을 참고하시면 됩니다.

The FPU Instruction Set
; https://courses.engr.illinois.edu/ece390/books/artofasm/CH14/CH14-4.html

The fld instruction loads a 32 bit, 64 bit, or 80 bit floating point value onto the stack. This instruction converts 32 and 64 bit operand to an 80 bit extended precision value before pushing the value onto the floating point stack.

The fmul mem instruction requires a 32 or 64 bit memory operand. It converts the specified memory variable to an 80 bit extended precision value and the multiplies st(0) by this value.

The fst and fstp instructions copy the value on the top of the floating point register stack to another floating point register or to a 32, 64, or 80 bit memory variable. When copying data to a 32 or 64 bit memory variable, the 80 bit extended precision value on the top of stack is rounded to the smaller format as specified by the rounding control bits in the FPU control register.


(참고로 FPU의 '스택'이라고 표현한 것은 동작 방식이 그러한데, 실제로 부동 소수점 레지스터를 내부적으로 스택처럼 다루도록 설계된 결과입니다.)

어쨌든, fld, fmul, fstp 명령어의 쓰임을 보면 닷넷 JIT 컴파일러가 올바른 명령어를 산출해 준 것 같습니다. 즉, 닷넷 JIT 컴파일러 입장에서도 이 이상 더 잘해줄 수는 없습니다.

그런데, 결과는 사용자가 의도했던 13이 나오는 것이 아니고 eax 레지스터에는 12 값이 들어가 있는 것입니다. 이유가 뭘까요? 왜냐하면 fmul 연산 결과로 저장되는 CPU의 ST0 부동 소수점 레지스터 자체에 이미 1.2999999523162841e+0001와 같은 값이 들어 있기 때문입니다. (이것은 부동소수점을 2진수로 표현하는 것에 한계가 있기 때문입니다. 이에 대해서는 나중에 따로 다루도록 하고 지금은 원래 문제에만 집중해서 설명해 보겠습니다.)

80비트의 ST0 부동 소수점 레지스터의 값을 다시 [ebp-54h] 주소로 fstp 명령어를 통해 8바이트로 변환되어 저장됩니다. 즉, 64비트 double 형의 배정도 부동 소수점 값으로 저장이 되는 것이고 이 와중에 80비트 레지스터에 보관된 1.2999999523162841e+0001 값이 거의 손상없이 0x4029fffff0000000값으로 저장됩니다. 그리고 그 값을 int로 형변환(cvttsd2si)하니 값이 12로 된 것입니다.

여기서 이상한 것은, 질문자가 궁금한 것처럼 (float) 형변환을 하면 값이 (정상적으로) 13이 된다는 것입니다. 왜 그럴까요? 다시 이렇게 했을 때의 기계어 코드를 보겠습니다.

             float a = 10f;
00982DCF C7 45 F8 00 00 20 41 mov         dword ptr [ebp-8],41200000h  
            float b = 1.3f;
00982DD6 C7 45 F4 66 66 A6 3F mov         dword ptr [ebp-0Ch],3FA66666h  

            int c3 = (int)(float)(a * b);
00982DDD D9 45 F8             fld         dword ptr [ebp-8]  
00982DE0 D8 4D F4             fmul        dword ptr [ebp-0Ch] 
 
00982DE3 D9 5D EC             fstp        dword ptr [ebp-14h]  
00982DE6 D9 45 EC             fld         dword ptr [ebp-14h]  
00982DE9 DD 5D E4             fstp        qword ptr [ebp-1Ch]  
00982DEC DD 45 E4             fld         qword ptr [ebp-1Ch]  

00982DEF DD 5D E4             fstp        qword ptr [ebp-1Ch]  
00982DF2 F2 0F 10 45 E4       movsd       xmm0,mmword ptr [ebp-1Ch]  
00982DF7 F2 0F 2C C0          cvttsd2si   eax,xmm0  
00982DFB 89 45 F0             mov         dword ptr [ebp-10h],eax  

이전의 연산에서 4개의 기계어 연산이 더 추가되었는데, 여기서 중요한 것은 첫번째 fstp의 연산 범위가 'dword ptr', 즉 4바이트라는 점입니다. 즉, 닷넷 JIT 컴파일러는 사용자가 의도한대로 4바이트 float 단정도 부동 소수점 결과를 얻는다는 것을 명시했기 때문에 80비트의 ST0 부동 소수점 레지스터에서 값을 추출할 때 8바이트로 변환해 저장하지 않고 4바이트로 변환해 저장을 하고 있는 것입니다. 바로 이 와중에 1.2999999523162841e+0001 정밀도의 연산값이 손실을 입어 13을 넘은 값(0x41500000)으로 [ebp-14h]에 저장되고 있는 것입니다.

여기서도 역시 닷넷 JIT 컴파일러는 사용자가 의도한대로 기계어 코드를 생성했고 나머지는 전적으로 CPU의 동작에 맡겨 처리를 한 것입니다.




그럼, 대충 결론이 나오나요?

처음에 말했던 것처럼, 이런 CPU의 동작 방식 때문에 프로그래밍 언어에 상관없이 부동 소수점 문제는 발생할 수 밖에 없습니다. 그리고, 이런 사실을 안다면 float/double 값을 정수로 변환할 때는 상당한 주의를 기울여야 한다는 것을 잊지 말아야 합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 11/15/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2016-10-06 03시28분
C# - 부동소수 계산 왜 이렇게 나오죠? (2)
; http://www.sysnet.pe.kr/2/0/10873
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12061정성태11/20/201916Windows: 165. CoTaskMemAlloc/CoTaskMemFree과 윈도우 Heap의 관계
12060정성태11/20/201927디버깅 기술: 132. windbg/Visual Studio - HeapFree x64의 동작 분석
12059정성태11/20/201925디버깅 기술: 131. windbg/Visual Studio - HeapFree x86의 동작 분석
12058정성태11/19/201944디버깅 기술: 130. windbg - CoTaskMemFree/FreeCoTaskMem에서 발생한 덤프 분석 사례
12057정성태11/18/201918오류 유형: 579. Visual Studio - Memory 창에서 유효한 주소 영역임에도 "Unable to evaluate the expression." 오류 출력
12056정성태11/18/201948개발 환경 구성: 464. "Microsoft Visual Studio Installer Projects" 프로젝트로 EXE 서명 및 MSI 파일 서명 방법파일 다운로드1
12055정성태11/17/201950개발 환경 구성: 463. Visual Studio의 Ctrl + Alt + M, 1 (Memory 1) 등의 단축키가 동작하지 않는 경우
12054정성태11/15/201982.NET Framework: 869. C# - 일부러 GC Heap을 깨뜨려 GC 수행 시 비정상 종료시키는 예제
12053정성태11/15/201937Windows: 164. 윈도우 10 - 명령행 창(cmd.exe) 속성에 (DotumChe, GulimChe, GungsuhChe 등의) 한글 폰트가 없는 경우
12052정성태11/15/201918오류 유형: 578. Azure - 일정(schedule)에 등록한 runbook이 1년 후 실행이 안 되는 문제(Reason - The key used is expired.)
12051정성태11/14/201964개발 환경 구성: 462. 시작하자마자 비정상 종료하는 프로세스의 메모리 덤프 - procdump
12050정성태11/14/201945Windows: 163. AcLayers의 API 후킹과 FaultTolerantHeap
12049정성태11/13/201945.NET Framework: 868. (닷넷 프로세스를 대상으로) 디버거 방식이 아닌 CLR Profiler를 이용해 procdump.exe 기능 구현
12048정성태11/12/201962Windows: 163. GUID 이름의 볼륨에 해당하는 파티션을 찾는 방법
12047정성태11/12/2019136Windows: 163. 안전하게 eject시킨 USB 장치를 물리적인 재연결 없이 다시 인식시키는 방법
12046정성태11/9/2019112오류 유형: 577. windbg - The call to LoadLibrary(...\sos.dll) failed, Win32 error 0n193
12045정성태10/27/201999오류 유형: 576. mstest.exe 실행 시 "Visual Studio Enterprise is required to execute the test." 오류 - 두 번째 이야기
12044정성태10/27/2019103오류 유형: 575. mstest.exe - System.Resources.MissingSatelliteAssemblyException: The satellite assembly named "Microsoft.VisualStudio.ProductKeyDialog.resources.dll, ..."
12043정성태10/27/201995오류 유형: 574. Windows 10 설치 시 오류 - 0xC1900101 - 0x4001E
12042정성태10/26/201989오류 유형: 573. OneDrive 하위에 위치한 Documents, Desktop 폴더에 대한 권한 변경 시 "Unable to display current owner"
12041정성태10/23/201982오류 유형: 572. mstest.exe - The load test results database could not be opened.
12040정성태10/23/2019190오류 유형: 571. Unhandled Exception: System.Net.Mail.SmtpException: Transaction failed. The server response was: 5.2.0 STOREDRV.Submission.Exception:SendAsDeniedException.MapiExceptionSendAsDenied
12039정성태10/22/201996스크립트: 16. cmd.exe의 for 문에서는 ERRORLEVEL이 설정되지 않는 문제
12038정성태10/17/201995오류 유형: 570. SQL Server 2019 RC1 - SQL Client Connectivity SDK 설치 오류
12037정성태10/15/2019247.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?파일 다운로드1
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...