Visual Studio - 디버깅 시 다른 함수의 소스 코드를 보여주는 사례 (Enable COMDAT Folding 옵션)
Visual Studio 등의 디버거를 이용해 (보통 Release 모드로 빌드된 바이너리를) 디버깅하다 보면 이상하게 다른 함수의 소스 코드가 보이는 경우가 있습니다.
이에 대해 친절하게 설명한 글이 있는데요, ^^
Why does the debugger show me the wrong function?
; https://devblogs.microsoft.com/oldnewthing/20050322-00/?p=36113
글에서 예로 든 상황을 직접 실습해 보겠습니다.
사실 지난번에 쓴 글이 바로,
Visual C++ - 디버그 코드에서 빌드 옵션 조정으로 최적화 코드로의 전환
; https://www.sysnet.pe.kr/2/0/14035
저 글의 내용을 쉽게 확인하기 위해 Debug 빌드에서 MyClass.cpp 파일만 Release 빌드로 바꾸는 방법을 소개한 것이었습니다. 하지만, 이 글의 실습을 하려면 소스 코드에 약간의 변화가 필요한데요, 왜냐하면 (글에서는 x86으로 실습하고 있어 상관없지만) x64로 빌드하는 경우 int*는 8바이트를 반환하고, int는 4바이트를 반환하기 때문에,
--- C:\temp\ConsoleApp1\ConsoleApplication1\MyClass.cpp ------------------------
ConsoleApplication1.exe!Class1::GetQ(void):
48 8B 41 08 mov rax,qword ptr [rcx+8]
C3 ret
--- C:\temp\ConsoleApp1\ConsoleApplication1\MyClass.cpp ------------------------
ConsoleApplication1.exe!Class2::GetValue(void):
8B 41 08 mov eax,dword ptr [rcx+8]
C3 ret
GetValue 함수의 반환 값을 __int64로 바꿔 데이터 바이트 크기를 맞춰주어야 합니다.
int* Class1::GetQ()
{
return q;
}
__int64 Class2::GetValue()
{
return value;
}
이제야 컴파일 후 디버깅하면 다음과 같이 동일한 코드로 나옵니다.
--- C:\temp\ConsoleApp1\ConsoleApplication1\MyClass.cpp ------------------------
ConsoleApplication1.exe!Class1::GetQ(void):
48 8B 41 08 mov rax,qword ptr [rcx+8]
C3 ret
--- C:\temp\ConsoleApp1\ConsoleApplication1\MyClass.cpp ------------------------
ConsoleApplication1.exe!Class2::GetValue(void):
48 8B 41 08 mov rax,qword ptr [rcx+8]
C3 ret
하지만, 이 상태에서는 GetQ와 GetValue 함수가 동일한 기계어 코드는 가져도, F11 Step-into 진입 시에 개별 함수의 소스 코드가 열리게 됩니다.
즉, 글의 내용과 같게 동작하도록 만들려면 /OPT:ICF 옵션을 추가해야 하는데요, 아쉽게도 이것은 Linker 옵션이기 때문에 개별 파일에 지정할 수는 없고 프로젝트 단위로 "Linker" / "Optimization" 범주에서
"Enable COMDAT Folding" 옵션을 "Yes (/OPT:ICF)"로 바꿔주어야 합니다.
이후 빌드하면, GetQ 함수의 BP에서 다음과 같이 열리지만,
GetValue 함수 내에서는 Visual Studio에서 BP를 걸고 싶어도 걸리지 않게 됩니다. 또한, GetQ를 호출하든 GetValue를 호출하든,
__int64 Whatever(Class2* p)
{
return p->GetValue(); // 여기서 F11을 누르면 GetQ 함수의 소스 코드가 열림
}
int* Whatever(Class1* p)
{
return p->GetQ(); // 여기서 F11을 누르면 GetQ 함수의 소스 코드가 열림
}
디버거 입장에서는 동일한 기계어 코드를 가지는 함수를 모두 1개의 함수로 번역하므로 소스 코드상으로 다른 호출이라고 해도 함수의 구별이 불가능하게 된 것입니다.
바로 이 상황이, Release 모드로 빌드된 바이너리를 디버깅할 때 BP를 걸거나 F11로 진입할 때 다른 함수의 소스 코드가 열리는 이유였습니다.
그리고 다음의 글에서는,
How can I confirm in the Windows debugger that I’m looking at a COMDAT-folded function?
; https://devblogs.microsoft.com/oldnewthing/20250725-00/?p=111409
WinDbg에서 특정 함수가 COMDAT Folding으로 인해 다른 함수와 합쳐졌는지 확인하는 방법을 소개하고 있는데요, 이것도 마저 실습해 보겠습니다. ^^
우선, 기존 소스 코드에서 main 함수에 getchar 호출을 추가하고,
#include <stdio.h>
#include "MyClass.h"
__int64 Whatever(Class2* p)
{
return p->GetValue();
}
int* Whatever(Class1* p)
{
return p->GetQ();
}
int main()
{
Class2 c2;
Whatever(&c2);
Class1 c1;
Whatever(&c1);
getchar();
}
실행 후, WinDbg로 attach 시킨 후에 다음과 같이 각각의 함수 주소를 확인합니다.
0:004> x ConsoleApplication1!Class1::GetQ
00007ff7`e2c911c4 ConsoleApplication1!Class1::GetQ (void)
0:004> x ConsoleApplication1!Class2::GetValue
00007ff7`e2c911c4 ConsoleApplication1!Class2::GetValue (void)
2개 모두 00007ff7`e2c911c4 동일한 주소를 가리키고 있죠? ^^ 반대로 특정 함수의 주소를 알고 있다면 ln 명령어로 확인할 수도 있습니다.
0:004> ln 00007ff7`e2c911c4
Browse module
Set bu breakpoint
[C:\temp\ConsoleApp1\ConsoleApplication1\MyClass.cpp @ 4] (00007ff7`e2c911c4) ConsoleApplication1!Class1::GetQ | (00007ff7`e2c911d0) ConsoleApplication1!_RTC_AllocaHelper
Exact matches:
ConsoleApplication1!Class2::GetValue (void)
ConsoleApplication1!Class1::GetQ (void)
그럼 2개의 함수(GetValue, GetQ)가 동일한 주소를 가지고 있다는 점과, 그 2개의 함수에 대해 "Class1::GetQ" 함수로 디버거가 인식할 거라는 사실을 출력으로 확인할 수 있습니다.
그나저나, COMDAT(common data)는 무슨 약어인 걸까요? ^^ 이에 대해 찾아보면,
Why is Identical COMDAT Folding called Identical COMDAT Folding?
; https://devblogs.microsoft.com/oldnewthing/20161024-00/?p=94575
FORTRAN 언어의 기능이었던 "common data block", 보통은 줄여서 "common block"이라고 했던 것에서 유래했다고 합니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]