Microsoft MVP성태의 닷넷 이야기
.NET Framework: 539. C# - 부동소수 계산 왜 이렇게 나오죠? (1) [링크 복사], [링크+제목 복사]
조회: 10569
글쓴 사람
정성태 (kevin13@chol.net)
홈페이지
첨부 파일
 

C# - 부동소수 계산 왜 이렇게 나오죠? (1)

아래와 같은 질문이 있군요. ^^

부동소수 계산 왜 이렇게 나오죠? 
; http://lab.gamecodi.com/board/zboard.php?id=GAMECODILAB_QnA_etc&no=3938&z=

문제를 요약하면 이렇습니다. 다음과 같이 float 연산 결과를 하면 12가 나오는데,

float a = 10f;
float b = 1.3f;

int c = (int)(a * b); // c == 12

여기다 (float) 형변환만 살짝 끼워주면 왜 13이 나오냐는 것입니다. (사실, 결과적으로 봤을 때는 13이 옳은 값이고 왜 12가 나오냐는 점이 더 중요합니다.)

float a = 10f;
float b = 1.3f;

int c = (int)(float)(a * b); // c == 13

그나저나 경력이 쌓이다 보니 이번 질문은 좀 식상한 축에 속합니다. 사실, 이게 C#만 그런 것이 아니고 C++, Javascript와 같은 다른 언어들에서도 부동 소수점 관련해서 꼭 이런 류의 질문이 나오거든요. ^^; 가령 "[언어] strange floating point problem"이라는 검색어로 해서 여러분들이 사용하는 언어를 대입해 검색해 보시면 됩니다. ^^

어쨌든 위의 질문에 달린 덧글을 보면 어느 정도 답이 나오는데, 그래도 질문한 사람이 만족하지 못했는지, 다음의 질문도 이어서 MSDN 포럼에 올린 듯 합니다.

float 연산
; https://social.msdn.microsoft.com/Forums/ko-KR/6e09c5ff-b914-458e-8394-e3331c5bf05f/float-?forum=visualcsharpko

자, 그럼 문제를 찬찬히 살펴볼까요?




일단, 이것이 C# 컴파일러의 오류인지 확인해 보겠습니다. 방법은? 간단하게 .NET Reflection을 통해 보면 되겠지요. ^^

우선 아래의 코드를 컴파일하고,

float a = 10f;
float b = 1.3f;

int c = (int)(a * b);

IL 출력 결과를 보면 이렇습니다. 별로 특별한 것이 없습니다.

.method private hidebysig static void Main(string[] args) cil managed
{
    .entrypoint
    .maxstack 2
    .locals init ([0] float32 a, [1] float32 b, [2] int32 c)
    L_0000: nop 

    L_0001: ldc.r4 10
    L_0006: stloc.0 
    L_0007: ldc.r4 1.3
    L_000c: stloc.1 
    L_000d: ldloc.0 
    L_000e: ldloc.1 
    L_000f: mul 
    L_0010: conv.i4 
    L_0011: stloc.2 
    L_0012: ldloc.2 

    L_0013: call void [mscorlib]System.Console::WriteLine(int32)
    L_0018: nop 
    L_0019: ret 
}
 

반면, (float) 형변환을 끼워넣으면 그 동작을 위한 형변환 코드가 한 개 추가됩니다.

.method private hidebysig static void Main(string[] args) cil managed
{
    .entrypoint
    .maxstack 2
    .locals init ([0] float32 a, [1] float32 b, [2] int32 c3)
    L_0000: nop 

    L_0001: ldc.r4 10
    L_0006: stloc.0 
    L_0007: ldc.r4 1.3
    L_000c: stloc.1 
    L_000d: ldloc.0 
    L_000e: ldloc.1 
    L_000f: mul 
    L_0010: conv.r4 
    L_0011: conv.i4 
    L_0012: stloc.2 
    L_0013: ldloc.2 

    L_0014: call void [mscorlib]System.Console::WriteLine(int32)
    L_0019: nop 
    L_001a: ret 
}

역시 별다른 것이 없습니다. 여기서 C# 컴파일러 입장에서는 더 이상 할 수 있는 것이 없습니다. 이제 실행 시 기계어로 바꿔주는 JIT 컴파일러에게 그 책임이 넘어갑니다.




그럼, Visual Studio의 disassembly 화면을 통해 해당 코드들이 어떻게 어셈블리로 표현되는지 볼까요? ^^ 우선, (float) 형변환하지 않는 경우입니다.

            float a = 10f;
00EE2DCF C7 45 F8 00 00 20 41 mov         dword ptr [ebp-8],41200000h  
            float b = 1.3f;
00EE2DD6 C7 45 F4 66 66 A6 3F mov         dword ptr [ebp-0Ch],3FA66666h  

            int c = (int)(a * b);
00EE2DDD D9 45 F8             fld         dword ptr [ebp-8]   // FPU 스택에 [ebp-8] 주소의 값(0x41200000)을 로드
00EE2DE0 D8 4D F4             fmul        dword ptr [ebp-0Ch] // 스택에 로드된 값에 [ebp-0ch] 주소의 값(0x3FA66666)을 곱하기 연산 수행

00EE2DE3 DD 5D E8             fstp        qword ptr [ebp-18h] // 최종 남겨진 스택의 값을 [ebp-18h] 주소에 저장

00EE2DE6 F2 0F 10 45 E8       movsd       xmm0,mmword ptr [ebp-18h]  
00EE2DEB F2 0F 2C C0          cvttsd2si   eax,xmm0  
00EE2DEF 89 45 F0             mov         dword ptr [ebp-10h],eax  

fld, fmul, fstp 명령어에 대해서는 다음의 글을 참고하시면 됩니다.

The FPU Instruction Set
; https://courses.engr.illinois.edu/ece390/books/artofasm/CH14/CH14-4.html

The fld instruction loads a 32 bit, 64 bit, or 80 bit floating point value onto the stack. This instruction converts 32 and 64 bit operand to an 80 bit extended precision value before pushing the value onto the floating point stack.

The fmul mem instruction requires a 32 or 64 bit memory operand. It converts the specified memory variable to an 80 bit extended precision value and the multiplies st(0) by this value.

The fst and fstp instructions copy the value on the top of the floating point register stack to another floating point register or to a 32, 64, or 80 bit memory variable. When copying data to a 32 or 64 bit memory variable, the 80 bit extended precision value on the top of stack is rounded to the smaller format as specified by the rounding control bits in the FPU control register.


(참고로 FPU의 '스택'이라고 표현한 것은 동작 방식이 그러한데, 실제로 부동 소수점 레지스터를 내부적으로 스택처럼 다루도록 설계된 결과입니다.)

어쨌든, fld, fmul, fstp 명령어의 쓰임을 보면 닷넷 JIT 컴파일러가 올바른 명령어를 산출해 준 것 같습니다. 즉, 닷넷 JIT 컴파일러 입장에서도 이 이상 더 잘해줄 수는 없습니다.

그런데, 결과는 사용자가 의도했던 13이 나오는 것이 아니고 eax 레지스터에는 12 값이 들어가 있는 것입니다. 이유가 뭘까요? 왜냐하면 fmul 연산 결과로 저장되는 CPU의 ST0 부동 소수점 레지스터 자체에 이미 1.2999999523162841e+0001와 같은 값이 들어 있기 때문입니다. (이것은 부동소수점을 2진수로 표현하는 것에 한계가 있기 때문입니다. 이에 대해서는 나중에 따로 다루도록 하고 지금은 원래 문제에만 집중해서 설명해 보겠습니다.)

80비트의 ST0 부동 소수점 레지스터의 값을 다시 [ebp-54h] 주소로 fstp 명령어를 통해 8바이트로 변환되어 저장됩니다. 즉, 64비트 double 형의 배정도 부동 소수점 값으로 저장이 되는 것이고 이 와중에 80비트 레지스터에 보관된 1.2999999523162841e+0001 값이 거의 손상없이 0x4029fffff0000000값으로 저장됩니다. 그리고 그 값을 int로 형변환(cvttsd2si)하니 값이 12로 된 것입니다.

여기서 이상한 것은, 질문자가 궁금한 것처럼 (float) 형변환을 하면 값이 (정상적으로) 13이 된다는 것입니다. 왜 그럴까요? 다시 이렇게 했을 때의 기계어 코드를 보겠습니다.

             float a = 10f;
00982DCF C7 45 F8 00 00 20 41 mov         dword ptr [ebp-8],41200000h  
            float b = 1.3f;
00982DD6 C7 45 F4 66 66 A6 3F mov         dword ptr [ebp-0Ch],3FA66666h  

            int c3 = (int)(float)(a * b);
00982DDD D9 45 F8             fld         dword ptr [ebp-8]  
00982DE0 D8 4D F4             fmul        dword ptr [ebp-0Ch] 
 
00982DE3 D9 5D EC             fstp        dword ptr [ebp-14h]  
00982DE6 D9 45 EC             fld         dword ptr [ebp-14h]  
00982DE9 DD 5D E4             fstp        qword ptr [ebp-1Ch]  
00982DEC DD 45 E4             fld         qword ptr [ebp-1Ch]  

00982DEF DD 5D E4             fstp        qword ptr [ebp-1Ch]  
00982DF2 F2 0F 10 45 E4       movsd       xmm0,mmword ptr [ebp-1Ch]  
00982DF7 F2 0F 2C C0          cvttsd2si   eax,xmm0  
00982DFB 89 45 F0             mov         dword ptr [ebp-10h],eax  

이전의 연산에서 4개의 기계어 연산이 더 추가되었는데, 여기서 중요한 것은 첫번째 fstp의 연산 범위가 'dword ptr', 즉 4바이트라는 점입니다. 즉, 닷넷 JIT 컴파일러는 사용자가 의도한대로 4바이트 float 단정도 부동 소수점 결과를 얻는다는 것을 명시했기 때문에 80비트의 ST0 부동 소수점 레지스터에서 값을 추출할 때 8바이트로 변환해 저장하지 않고 4바이트로 변환해 저장을 하고 있는 것입니다. 바로 이 와중에 1.2999999523162841e+0001 정밀도의 연산값이 손실을 입어 13을 넘은 값(0x41500000)으로 [ebp-14h]에 저장되고 있는 것입니다.

여기서도 역시 닷넷 JIT 컴파일러는 사용자가 의도한대로 기계어 코드를 생성했고 나머지는 전적으로 CPU의 동작에 맡겨 처리를 한 것입니다.




그럼, 대충 결론이 나오나요?

처음에 말했던 것처럼, 이런 CPU의 동작 방식 때문에 프로그래밍 언어에 상관없이 부동 소수점 문제는 발생할 수 밖에 없습니다. 그리고, 이런 사실을 안다면 float/double 값을 정수로 변환할 때는 상당한 주의를 기울여야 한다는 것을 잊지 말아야 합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 11/15/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:kevin13@chol.com

비밀번호

댓글 쓴 사람
 



2016-10-06 03시28분
C# - 부동소수 계산 왜 이렇게 나오죠? (2)
; http://www.sysnet.pe.kr/2/0/10873
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
11817정성태2/17/201922오류 유형: 514. WinDbg Preview 실행 오류 - Error : DbgX.dll : WindowsDebugger.WindowsDebuggerException: Could not load dbgeng.dll
11816정성태2/17/201951Windows: 157. 윈도우 스토어 앱(Microsoft Store App)을 명령행에서 직접 실행하는 방법
11815정성태2/14/201939오류 유형: 513. Visual Studio 2019 - VSIX 설치 시 "The extension cannot be installed to this product due to prerequisites that cannot be resolved." 오류 발생
11814정성태2/12/201994오류 유형: 512. VM(가상 머신)의 NT 서비스들이 자동 시작되지 않는 문제
11813정성태2/12/2019119.NET Framework: 809. C# - ("Save File Dialog" 등의) 대화 창에 확장 속성을 보이는 방법
11812정성태2/11/201974오류 유형: 511. Windows Server 2003 VM 부팅 후 로그인 시점에 0xC0000005 BSOD 발생
11811정성태2/11/201984오류 유형: 510. 서버 운영체제에 NVIDIA GeForce Experience 실행 시 wlanapi.dll 누락 문제
11810정성태2/11/201977.NET Framework: 808. .NET Profiler - GAC 모듈에서 GAC 비-등록 모듈을 참조하는 경우의 문제
11809정성태2/11/201993.NET Framework: 807. ClrMD를 이용해 메모리 덤프 파일로부터 특정 인스턴스를 참조하고 있는 소유자 확인
11808정성태2/8/2019342디버깅 기술: 123. windbg - 닷넷 응용 프로그램의 메모리 누수 분석
11807정성태1/29/2019198Windows: 156. 가상 디스크의 용량을 복구 파티션으로 인해 늘리지 못하는 경우
11806정성태1/29/2019195디버깅 기술: 122. windbg - 덤프 파일로부터 PID와 환경 변수 등의 정보를 구하는 방법
11805정성태1/28/2019531.NET Framework: 806. C# - int []와 object []의 차이로 이해하는 제네릭의 필요성 [2]파일 다운로드1
11804정성태1/24/2019188Windows: 155. diskpart - remove letter 이후 재부팅 시 다시 드라이브 문자가 할당되는 경우
11803정성태1/10/2019406디버깅 기술: 121. windbg - 닷넷 Finalizer 스레드가 멈춰있는 현상
11802정성태1/7/2019515.NET Framework: 805. 두 개의 윈도우를 각각 실행하는 방법(Windows Forms, WPF)파일 다운로드1
11801정성태1/1/2019526개발 환경 구성: 427. Netsh의 네트워크 모니터링 기능 [1]
11800정성태12/28/2018347오류 유형: 509. WCF 호출 오류 메시지 - System.ServiceModel.CommunicationException: Internal Server Error
11799정성태12/19/2018620.NET Framework: 804. WPF(또는 WinForm)에서 UWP UI 구성 요소 사용하는 방법 [2]파일 다운로드1
11798정성태12/19/2018825개발 환경 구성: 426. vcpkg - "Building vcpkg.exe failed. Please ensure you have installed Visual Studio with the Desktop C++ workload and the Windows SDK for Desktop C++"
11797정성태12/19/2018363개발 환경 구성: 425. vcpkg - CMake Error: Problem with archive_write_header(): Can't create '' 빌드 오류
11796정성태12/19/2018384개발 환경 구성: 424. vcpkg - "File does not have expected hash" 오류를 무시하는 방법
11795정성태12/19/2018407Windows: 154. PowerShell - Zone 별로 DNS 레코드 유형 정보 조회
11794정성태12/17/2018396오류 유형: 508. Get-AzureWebsite : Request to a downlevel service failed.
11793정성태12/16/2018506개발 환경 구성: 423. NuGet 패키지 제작 - Native와 Managed DLL을 분리하는 방법
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...