Microsoft MVP성태의 닷넷 이야기
.NET Framework: 539. C# - 부동 소수 계산 왜 이렇게 나오죠? (1) [링크 복사], [링크+제목 복사],
조회: 28731
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)
(시리즈 글이 8개 있습니다.)
.NET Framework: 539. C# - 부동 소수 계산 왜 이렇게 나오죠? (1)
; https://www.sysnet.pe.kr/2/0/10872

.NET Framework: 540. C# - 부동 소수 계산 왜 이렇게 나오죠? (2)
; https://www.sysnet.pe.kr/2/0/10873

.NET Framework: 608. double 값을 구할 때는 반드시 피연산자를 double로 형변환!
; https://www.sysnet.pe.kr/2/0/11055

개발 환경 구성: 440. C#, C++ - double의 Infinity, NaN 표현 방식
; https://www.sysnet.pe.kr/2/0/11896

기타: 85. 단정도/배정도 부동 소수점의 정밀도(Precision)에 따른 형변환 손실
; https://www.sysnet.pe.kr/2/0/13212

닷넷: 2257. C# - float (단정도 실수) 저장소의 비트 구조
; https://www.sysnet.pe.kr/2/0/13617

닷넷: 2258. C# - double (배정도 실수) 저장소의 비트 구조
; https://www.sysnet.pe.kr/2/0/13618

닷넷: 2259. C# - decimal 저장소의 비트 구조
; https://www.sysnet.pe.kr/2/0/13619




C# - 부동 소수 계산 왜 이렇게 나오죠? (1)

"Welcome to the REAL world"

아래와 같은 질문이 있군요. ^^

부동소수 계산 왜 이렇게 나오죠? 
; http://lab.gamecodi.com/board/zboard.php?id=GAMECODILAB_QnA_etc&no=3938&z=

문제를 요약하면 이렇습니다. 다음과 같이 float 연산 결과를 하면 12가 나오는데,

float a = 10f;
float b = 1.3f;

int c = (int)(a * b); // c == 12

여기다 (float) 형변환만 살짝 끼워주면 왜 13이 나오냐는 것입니다. (사실, 결과적으로 봤을 때는 13이 옳은 값이고 왜 12가 나오냐는 점이 더 중요합니다.)

float a = 10f;
float b = 1.3f;

int c = (int)(float)(a * b); // c == 13

그나저나 경력이 쌓이다 보니 이번 질문은 좀 식상한 축에 속합니다. 사실, 이게 C#만 그런 것이 아니고 C++, Javascript와 같은 다른 언어들에서도 부동 소수점 관련해서 꼭 이런 유의 질문이 나오거든요. ^^; 가령 "[언어] strange floating point problem"이라는 검색어로 해서 여러분들이 사용하는 언어를 대입해 검색해 보시면 됩니다. ^^

어쨌든 위의 질문에 달린 덧글을 보면 어느 정도 답이 나오는데, 그래도 질문한 사람이 만족하지 못했는지, 다음의 질문도 이어서 MSDN 포럼에 올린 듯합니다.

float 연산
; https://social.msdn.microsoft.com/Forums/ko-KR/6e09c5ff-b914-458e-8394-e3331c5bf05f/float-?forum=visualcsharpko

자, 그럼 문제를 찬찬히 살펴볼까요?




일단, 이것이 C# 컴파일러의 오류인지 확인해 보겠습니다. 방법은? 간단하게 .NET Reflection을 통해 보면 되겠지요. ^^

우선 아래의 코드를 컴파일하고,

float a = 10f;
float b = 1.3f;

int c = (int)(a * b);

IL 출력 결과를 보면 이렇습니다. 별로 특별한 것이 없습니다.

.method private hidebysig static void Main(string[] args) cil managed
{
    .entrypoint
    .maxstack 2
    .locals init ([0] float32 a, [1] float32 b, [2] int32 c)
    L_0000: nop 

    L_0001: ldc.r4 10
    L_0006: stloc.0 
    L_0007: ldc.r4 1.3
    L_000c: stloc.1 
    L_000d: ldloc.0 
    L_000e: ldloc.1 
    L_000f: mul 
    L_0010: conv.i4 
    L_0011: stloc.2 
    L_0012: ldloc.2 

    L_0013: call void [mscorlib]System.Console::WriteLine(int32)
    L_0018: nop 
    L_0019: ret 
}
 

반면, (float) 형변환을 끼워넣으면 그 동작을 위한 형변환 코드가 한 개 추가됩니다.

.method private hidebysig static void Main(string[] args) cil managed
{
    .entrypoint
    .maxstack 2
    .locals init ([0] float32 a, [1] float32 b, [2] int32 c3)
    L_0000: nop 

    L_0001: ldc.r4 10
    L_0006: stloc.0 
    L_0007: ldc.r4 1.3
    L_000c: stloc.1 
    L_000d: ldloc.0 
    L_000e: ldloc.1 
    L_000f: mul 
    L_0010: conv.r4 
    L_0011: conv.i4 
    L_0012: stloc.2 
    L_0013: ldloc.2 

    L_0014: call void [mscorlib]System.Console::WriteLine(int32)
    L_0019: nop 
    L_001a: ret 
}

역시 별다른 것이 없습니다. 여기서 C# 컴파일러 입장에서는 더 이상 할 수 있는 것이 없습니다. 이제 실행 시 기계어로 바꿔주는 JIT 컴파일러에게 그 책임이 넘어갑니다.




그럼, Visual Studio의 disassembly 화면을 통해 해당 코드들이 어떻게 어셈블리로 표현되는지 볼까요? ^^ 우선, (float) 형변환하지 않는 경우입니다.

            float a = 10f;
00EE2DCF C7 45 F8 00 00 20 41 mov         dword ptr [ebp-8],41200000h  
            float b = 1.3f;
00EE2DD6 C7 45 F4 66 66 A6 3F mov         dword ptr [ebp-0Ch],3FA66666h  

            int c = (int)(a * b);
00EE2DDD D9 45 F8             fld         dword ptr [ebp-8]   // FPU 스택에 [ebp-8] 주소의 값(0x41200000)을 로드
00EE2DE0 D8 4D F4             fmul        dword ptr [ebp-0Ch] // 스택에 로드된 값에 [ebp-0ch] 주소의 값(0x3FA66666)을 곱하기 연산 수행

00EE2DE3 DD 5D E8             fstp        qword ptr [ebp-18h] // 최종 남겨진 스택의 값을 [ebp-18h] 주소에 저장

00EE2DE6 F2 0F 10 45 E8       movsd       xmm0,mmword ptr [ebp-18h]  
00EE2DEB F2 0F 2C C0          cvttsd2si   eax,xmm0  
00EE2DEF 89 45 F0             mov         dword ptr [ebp-10h],eax  

fld, fmul, fstp 명령어에 대해서는 다음의 글을 참고하시면 됩니다.

The FPU Instruction Set
; https://courses.engr.illinois.edu/ece390/books/artofasm/CH14/CH14-4.html

The fld instruction loads a 32 bit, 64 bit, or 80 bit floating point value onto the stack. This instruction converts 32 and 64 bit operand to an 80 bit extended precision value before pushing the value onto the floating point stack.

The fmul mem instruction requires a 32 or 64 bit memory operand. It converts the specified memory variable to an 80 bit extended precision value and the multiplies st(0) by this value.

The fst and fstp instructions copy the value on the top of the floating point register stack to another floating point register or to a 32, 64, or 80 bit memory variable. When copying data to a 32 or 64 bit memory variable, the 80 bit extended precision value on the top of stack is rounded to the smaller format as specified by the rounding control bits in the FPU control register.


(참고로 FPU의 '스택'이라고 표현한 것은 동작 방식이 그러한데, 실제로 부동 소수점 레지스터를 내부적으로 스택처럼 다루도록 설계된 결과입니다.)

어쨌든, fld, fmul, fstp 명령어의 쓰임을 보면 닷넷 JIT 컴파일러가 올바른 명령어를 산출해 준 것 같습니다. 즉, 닷넷 JIT 컴파일러 입장에서도 이 이상 더 잘해줄 수는 없습니다.

그런데, 결과는 사용자가 의도했던 13이 나오는 것이 아니고 eax 레지스터에는 12 값이 들어가 있는 것입니다. 이유가 뭘까요? 왜냐하면 fmul 연산 결과로 저장되는 CPU의 ST0 부동 소수점 레지스터 자체에 이미 1.2999999523162841e+0001와 같은 값이 들어 있기 때문입니다. (이것은 부동 소수점을 2진수로 표현하는 것에 한계가 있기 때문입니다. 이에 대해서는 나중에 따로 다루도록 하고 지금은 원래 문제에만 집중해서 설명해 보겠습니다.)

80비트의 ST0 부동 소수점 레지스터의 값을 다시 [ebp-54h] 주소로 fstp 명령어를 통해 8바이트로 변환되어 저장됩니다. 즉, 64비트 double 형의 배정도 부동 소수점 값으로 저장이 되는 것이고 이 와중에 80비트 레지스터에 보관된 1.2999999523162841e+0001 값이 거의 손상없이 0x4029fffff0000000값으로 저장됩니다. 그리고 그 값을 int로 형변환(cvttsd2si)하니 값이 12로 된 것입니다.

여기서 이상한 것은, 질문자가 궁금한 것처럼 (float) 형변환을 하면 값이 (정상적으로) 13이 된다는 것입니다. 왜 그럴까요? 다시 이렇게 했을 때의 기계어 코드를 보겠습니다.

             float a = 10f;
00982DCF C7 45 F8 00 00 20 41 mov         dword ptr [ebp-8],41200000h  
            float b = 1.3f;
00982DD6 C7 45 F4 66 66 A6 3F mov         dword ptr [ebp-0Ch],3FA66666h  

            int c3 = (int)(float)(a * b);
00982DDD D9 45 F8             fld         dword ptr [ebp-8]  
00982DE0 D8 4D F4             fmul        dword ptr [ebp-0Ch] 
 
00982DE3 D9 5D EC             fstp        dword ptr [ebp-14h]  
00982DE6 D9 45 EC             fld         dword ptr [ebp-14h]  
00982DE9 DD 5D E4             fstp        qword ptr [ebp-1Ch]  
00982DEC DD 45 E4             fld         qword ptr [ebp-1Ch]  

00982DEF DD 5D E4             fstp        qword ptr [ebp-1Ch]  
00982DF2 F2 0F 10 45 E4       movsd       xmm0,mmword ptr [ebp-1Ch]  
00982DF7 F2 0F 2C C0          cvttsd2si   eax,xmm0  
00982DFB 89 45 F0             mov         dword ptr [ebp-10h],eax  

이전의 연산에서 4개의 기계어 연산이 더 추가되었는데, 여기서 중요한 것은 첫 번째 fstp의 연산 범위가 'dword ptr', 즉 4바이트라는 점입니다. 즉, 닷넷 JIT 컴파일러는 사용자가 의도한대로 4바이트 float 단정도 부동 소수점 결과를 얻는다는 것을 명시했기 때문에 80비트의 ST0 부동 소수점 레지스터에서 값을 추출할 때 8바이트로 변환해 저장하지 않고 4바이트로 변환해 저장을 하고 있는 것입니다. 바로 이 와중에 1.2999999523162841e+0001 정밀도의 연산값이 손실을 입어 13을 넘은 값(0x41500000)으로 [ebp-14h]에 저장되고 있는 것입니다.

여기서도 역시 닷넷 JIT 컴파일러는 사용자가 의도한대로 기계어 코드를 생성했고 나머지는 전적으로 CPU의 동작에 맡겨 처리를 한 것입니다.




그럼, 대충 결론이 나오나요?

처음에 말했던 것처럼, 이런 CPU의 동작 방식 때문에 프로그래밍 언어에 상관없이 부동 소수점 문제는 발생할 수밖에 없습니다. 그리고, 이런 사실을 안다면 float/double 값을 정수로 변환할 때는 상당한 주의를 기울여야 한다는 것을 잊지 말아야 합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/9/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2016-10-06 03시28분
C# - 부동 소수 계산 왜 이렇게 나오죠? (2)
; http://www.sysnet.pe.kr/2/0/10873
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13838정성태12/4/2024864오류 유형: 935. Windbg - Breakpoint 0's offset expression evaluation failed.
13837정성태12/3/2024998디버깅 기술: 204. Windbg - 윈도우 핸들 테이블 (3) - Windows 10 이상인 경우
13836정성태12/3/20241058디버깅 기술: 203. Windbg - x64 가상 주소를 물리 주소로 변환 (페이지 크기가 2MB인 경우)
13835정성태12/2/20241019오류 유형: 934. Azure - rm: cannot remove '...': Directory not empty
13834정성태11/29/20241146Windows: 275. C# - CUI 애플리케이션과 Console 윈도우 (Windows 10 미만의 Classic Console 모드인 경우)파일 다운로드1
13833정성태11/29/20241121개발 환경 구성: 737. Azure Web App에서 Scale-out으로 늘어난 리눅스 인스턴스에 SSH 접속하는 방법
13832정성태11/27/20241155Windows: 274. Windows 7부터 도입한 conhost.exe
13831정성태11/27/20241003Linux: 111. eBPF - BPF_MAP_TYPE_PERF_EVENT_ARRAY, BPF_MAP_TYPE_RINGBUF에 대한 다양한 용어들
13830정성태11/25/20241100개발 환경 구성: 736. 파이썬 웹 앱을 Azure App Service에 배포하기
13829정성태11/25/20241033스크립트: 67. 파이썬 - Windows 버전에서 함께 설치되는 py.exe
13828정성태11/25/20241052개발 환경 구성: 735. Azure - 압축 파일을 이용한 web app 배포 시 디렉터리 구분이 안 되는 문제파일 다운로드1
13827정성태11/25/20241139Windows: 273. Windows 환경의 파일 압축 방법 (tar, Compress-Archive)
13826정성태11/21/20241220닷넷: 2313. C# - (비밀번호 등의) Console로부터 입력받을 때 문자열 출력 숨기기(echo 끄기)파일 다운로드1
13825정성태11/21/20241182Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법
13824정성태11/20/20241147Linux: 109. eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
13823정성태11/20/20241110개발 환경 구성: 734. Ubuntu에 docker, kubernetes (k3s) 설치
13822정성태11/20/20241079개발 환경 구성: 733. Windbg - VirtualBox VM의 커널 디버거 연결 시 COM 포트가 없는 경우
13821정성태11/18/20241238Linux: 108. Linux와 Windows의 프로세스/스레드 ID 관리 방식
13820정성태11/18/20241237VS.NET IDE: 195. Visual C++ - C# 프로젝트처럼 CopyToOutputDirectory 항목을 추가하는 방법
13819정성태11/15/20241270Linux: 107. eBPF - libbpf CO-RE의 CONFIG_DEBUG_INFO_BTF 빌드 여부에 대한 의존성
13818정성태11/15/20241382Windows: 272. Windows 11 24H2 - sudo 추가
13817정성태11/14/20241227Linux: 106. eBPF / bpf2go - (BPF_MAP_TYPE_HASH) Map을 이용한 전역 변수 구현
13816정성태11/14/20241269닷넷: 2312. C#, C++ - Windows / Linux 환경의 Thread Name 설정파일 다운로드1
13815정성태11/13/20241157Linux: 105. eBPF - bpf2go에서 전역 변수 설정 방법
13814정성태11/13/20241234닷넷: 2311. C# - Windows / Linux 환경에서 Native Thread ID 가져오기파일 다운로드1
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...