Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

닷넷 (및 VM 계열 언어) 코드의 성능 측정 시 주의할 점

아래와 같은 글이 있군요. ^^

c# 에서 문자열 계산속도
; http://www.gamecodi.com/board/zboard-id-GAMECODI_Talkdev-no-5247-z-2.htm

그런데, 위의 코드는 잘못된 방식의 성능 측정을 하고 있습니다. 왜냐하면 초기 JIT 컴파일을 생각하지 않고 작성한 코드인데 정상적으로 바꿔보면 다음과 같이 테스트할 수 있습니다.

using System;
using System.Diagnostics;

class Program
{
    static void Main(string[] args)
    {
        Action<int, string, Action<int, string>, string> action = (loopCount, title, work, arg) =>
        {
            Stopwatch st = new Stopwatch();
            st.Start();

            work(loopCount, arg);

            st.Stop();

            Console.WriteLine(title + " : " + st.ElapsedMilliseconds);
        };

        action(1, "ConcatText for JIT", ConcatText, "");
        action(1, "InterpolateText for JIT", InterpolateText, "");
        action(1, "FormatText for JIT", FormatText, "");

        Console.WriteLine();

        action(10000000, "ConcatText", ConcatText, "");
        action(10000000, "InterpolateText", InterpolateText, "");
        action(10000000, "FormatText", FormatText, "");
    }

    private static void ConcatText(int loopCount, string text)
    {
        for (int i = 0; i < loopCount; i ++)
        {
            TestLog(text + "a");
        }
    }

    private static void InterpolateText(int loopCount, string text)
    {
        for (int i = 0; i < loopCount; i++)
        {
            TestLog($"{text}a");
        }
    }

    private static void FormatText(int loopCount, string text)
    {
        for (int i = 0; i < loopCount; i++)
        {
            TestLog("{0}a", text);
        }
    }

    static void TestLog(string format, params object [] args)
    {
    }
}

보는 바와 같이 JIT 컴파일로 인한 부하를 제거하고 다시 본격적인 성능 측정을 하도록 바뀌었습니다. 그래서 "c# 에서 문자열 계산속도" 글에서의 출력과,

String Concat took: 150 ms
String Interpolation took: 141 ms
String Format took: 191 ms

제가 테스트한 출력 결과를 보면,

[x86 - Debug 빌드]

ConcatText : 116
InterpolateText : 116
FormatText : 120

결과가 다릅니다. 그런데 이것을 릴리스 빌드로 하면 다시 차이가 발생합니다.

[x86 - Release 빌드]

ConcatText : 100
InterpolateText : 33
FormatText : 70

재미있는 것은 JIT 컴파일 방식이 개선된 x64에서는 다시 이런 결과가 나옵니다.

[x64 - Debug 빌드]

ConcatText : 175
InterpolateText : 114
FormatText : 111

[x64 - Release 빌드]

ConcatText : 80
InterpolateText : 31
FormatText : 80

그런데, 아직 끝이 아닙니다. ^^




(이하, 테스트는 x64 - Release 빌드의 결과만 다룹니다.)

잠시 살펴보면, 마지막 Format 코드에 대한 테스트가 잘못되었습니다. 원래 의도는 string.Format을 호출하는 것이었을 텐데 단순히 TestLog에 인자를 넘기는 동작만 하기 때문에 사실 문자열 연산과는 크게 관련이 없습니다. 따라서 원래 의도를 반영하려면 다음과 같이 바꿔야 하고,

private static void FormatText(int loopCount, string text)
{
    for (int i = 0; i < loopCount; i++)
    {
        TestLog(string.Format("{0}a", text));
    }
}

이렇게 되면 출력 결과가 완전히 달라집니다.

[x64 - Release 빌드]

ConcatText : 77
InterpolateText : 31
FormatText : 716

여기서 더욱 재미있는 것은, IL 코드입니다. 다르게 작성한 ConcatText, InterpolateText 메서드는,

private static void ConcatText(int loopCount, string text)
{
    for (int i = 0; i < loopCount; i++)
    {
        TestLog(text + "a");
    }
}

private static void InterpolateText(int loopCount, string text)
{
    for (int i = 0; i < loopCount; i++)
    {
        TestLog($"{text}a");
    }
}

다음과 같이 동일한 IL 코드로 번역됩니다.

for (int i = 0; i < loopCount; i++)
{
    TestLog(text + "a", Array.Empty<object>());
}

그러니까, C# 컴파일러는 $"{text}"a 코드를 원래는 string.Format으로 바꿔야 하지만 어차피 2개의 문자열을 하나로 합치는 것이므로 단순히 concat 연산자로 처리하는 것이 더 빠르다고 판단해 최적화를 해버립니다.

아니... 근데, 그럼 IL 코드가 같은 그 2개의 메서드가 성능이 왜 다른 것일까요? 저도 모르겠습니다. ^^; 단지 현상을 보려면 JIT 컴파일된 기계어를 보면 됩니다. 다음은 ConcatText 메서드가 JIT 컴파일된 결과입니다.

// ConcatText

    33:         for (int i = 0; i < loopCount; i++)
00007FF9DD360D32 53                   push        rbx  
00007FF9DD360D33 48 83 EC 20          sub         rsp,20h  
00007FF9DD360D37 8B F1                mov         esi,ecx  
00007FF9DD360D39 48 8B FA             mov         rdi,rdx  
00007FF9DD360D3C 33 DB                xor         ebx,ebx  
00007FF9DD360D3E 85 F6                test        esi,esi  
00007FF9DD360D40 7E 2A                jle         00007FF9DD360D6C  
    34:         {
    35:             TestLog(text + "a");
00007FF9DD360D42 48 BA 90 36 00 90 76 01 00 00 mov         rdx,17690003690h  
00007FF9DD360D4C 48 8B 12             mov         rdx,qword ptr [rdx]  
00007FF9DD360D4F 48 8B CF             mov         rcx,rdi  
00007FF9DD360D52 E8 59 87 F9 5C       call        00007FFA3A2F94B0  
00007FF9DD360D57 B9 01 00 00 00       mov         ecx,1  
00007FF9DD360D5C BA 53 00 00 00       mov         edx,53h  
00007FF9DD360D61 E8 6A 22 6E 5F       call        00007FFA3CA42FD0  
    33:         for (int i = 0; i < loopCount; i++)
00007FF9DD360D66 FF C3                inc         ebx  
00007FF9DD360D68 3B DE                cmp         ebx,esi  
00007FF9DD360D6A 7C D6                jl          00007FF9DD360D42  
00007FF9DD360D6C 48 83 C4 20          add         rsp,20h  
00007FF9DD360D70 5B                   pop         rbx  
00007FF9DD360D71 5E                   pop         rsi  
00007FF9DD360D72 5F                   pop         rdi  
00007FF9DD360D73 C3                   ret  
}

반면 InterpolateText는 (ConcatText와 동일한 IL 코드였음에도 불구하고) 다음과 같이 call 하나가 빠져 있습니다.

// InterpolateText

    41:         for (int i = 0; i < loopCount; i++)
00007FF9DD380D92 53                   push        rbx  
00007FF9DD380D93 48 83 EC 20          sub         rsp,20h  
00007FF9DD380D97 8B F1                mov         esi,ecx  
00007FF9DD380D99 48 8B FA             mov         rdi,rdx  
00007FF9DD380D9C 33 DB                xor         ebx,ebx  
00007FF9DD380D9E 85 F6                test        esi,esi  
00007FF9DD380DA0 7E 1B                jle         00007FF9DD380DBD  
    42:         {
    43:             TestLog($"{text}a");
00007FF9DD380DA2 48 BA 90 36 BC 64 6E 01 00 00 mov         rdx,16E64BC3690h  
00007FF9DD380DAC 48 8B 12             mov         rdx,qword ptr [rdx]  
00007FF9DD380DAF 48 8B CF             mov         rcx,rdi  
00007FF9DD380DB2 E8 F9 86 F7 5C       call        00007FFA3A2F94B0  
    41:         for (int i = 0; i < loopCount; i++)
00007FF9DD380DB7 FF C3                inc         ebx  
00007FF9DD380DB9 3B DE                cmp         ebx,esi  
00007FF9DD380DBB 7C E5                jl          00007FF9DD380DA2  
00007FF9DD380DBD 48 83 C4 20          add         rsp,20h  
00007FF9DD380DC1 5B                   pop         rbx  
00007FF9DD380DC2 5E                   pop         rsi  
00007FF9DD380DC3 5F                   pop         rdi  
00007FF9DD380DC4 C3                   ret  
}

이유는 알 수 없지만, 어쨌든 x64 JIT 컴파일러는 한 쪽 메서드에만 다음의 call 하나를 추가한 탓에 성능 차이가 발생합니다.

00007FF9DD360D57 B9 01 00 00 00       mov         ecx,1  
00007FF9DD360D5C BA 53 00 00 00       mov         edx,53h  
00007FF9DD360D61 E8 6A 22 6E 5F       call        00007FFA3CA42FD0  

첫 번째 인자에 1을 넣고 두 번째 인자에 83 (0x53)을 넣어 함수를 호출하는데 도대체 알 수 없는 코드입니다. ^^;

정리해 보면, (위의 환경에서) ConcatText나 InterpolateText는 완전히 같은 처리를 합니다. 따라서 string.Format으로 명시적인 호출을 발생하는 FormatText만 유독 크게 성능이 떨어지는 것처럼 보입니다.

반면, Interpolate의 문자열이 좀 더 복잡해진다면... 그래서2 C# 컴파일러가 string.Format으로 번역하게 된다면 이번에는 InterpolateText와 FormatText의 성능이 같을 것입니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




그러니까... C#과 같은 VM 환경의 언어에서는 성능 측정이 매우 까다롭습니다. 그래서, 어느 게 좋고 어느 게 나쁘다는 것을 판정하려면 꽤나 주의를 기울여야 하고 따질 것이 많습니다. 경험상, 닷넷 코드의 성능을 측정 시에는 적어도 다음의 요인들을 잘 살펴야 합니다.

  • 플랫폼 및 빌드 모드 표시(경우에 따라, .NET Framework 버전 명시)
  • 초기 JIT 컴파일 시간 영향 제거
  • C# 컴파일 단계에서의 최적화로 인한 차이
  • JIT 컴파일 단계에서의 최적화로 인한 차이




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 8/14/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2019-08-14 01시55분
[폴리모프] (^-^)b
[손님]
2019-08-20 01시05분
저도 겜코디 쓰레드 읽으면서 뭔가 이상한데라고 느꼈는데, 이렇게 테스트하셔서 글을 올려주셨네요! 감사합니다.

성능 측정하는 글들이 여러군데 흩어져 있는데, 이번에 나온 책에서는 저 부분이 어느정도 모아져 있어 참고하기 괜찮았었네요!

- Pro .NET Benchmarking : https://www.apress.com/gp/book/9781484249406
Eunpyoung Kim

1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12018정성태9/25/2019525오류 유형: 567. IIS - Unrecognized attribute 'targetFramework'. Note that attribute names are case-sensitive. (D:\lowSite4\web.config line 11)
12017정성태9/11/2019885오류 유형: 566. 비주얼 스튜디오 - Failed to register URL "http://localhost:6879/" for site "..." application "/". Error description: Access is denied. (0x80070005)
12016정성태9/5/20191360오류 유형: 565. git fetch - warning: 'C:\ProgramData/Git/config' has a dubious owner: '(unknown)'.
12015정성태9/3/20192134개발 환경 구성: 457. 윈도우 응용 프로그램의 Socket 연결 시 time-out 시간 제어
12014정성태9/3/20191075개발 환경 구성: 456. 명령행에서 AWS, Azure 등의 원격 저장소에 파일 관리하는 방법 - cyberduck/duck 소개
12013정성태8/28/20191087개발 환경 구성: 455. 윈도우에서 (테스트) 인증서 파일 만드는 방법
12012정성태8/28/20191357.NET Framework: 859. C# - HttpListener를 이용한 HTTPS 통신 방법
12011정성태8/27/20191070사물인터넷: 57. C# - Rapsberry Pi Zero W와 PC 간 Bluetooth 통신 예제 코드파일 다운로드1
12010정성태8/27/2019811VS.NET IDE: 138. VSIX - DTE.ItemOperations.NewFile 메서드에서 템플릿 이름을 다국어로 설정하는 방법
12009정성태8/26/2019801.NET Framework: 858. C#/Windows - Clipboard(Ctrl+C, Ctrl+V)가 동작하지 않는다면?파일 다운로드1
12008정성태8/26/2019756.NET Framework: 857. UWP 앱에서 SQL Server 데이터베이스 연결 방법
12007정성태8/24/2019892.NET Framework: 856. .NET Framework 버전을 올렸을 때 오류가 발생할 수 있는 상황
12006정성태8/23/20191442디버깅 기술: 129. guidgen - Encountered an improper argument. 오류 해결 방법 (및 windbg 분석)
12005정성태8/13/20191857.NET Framework: 855. 닷넷 (및 VM 계열 언어) 코드의 성능 측정 시 주의할 점 [2]파일 다운로드1
12004정성태8/12/20191869.NET Framework: 854. C# - 32feet.NET을 이용한 PC 간 Bluetooth 통신 예제 코드
12003정성태8/12/20191150오류 유형: 564. Visual C++ 컴파일 오류 - fatal error C1090: PDB API call failed, error code '3'
12002정성태8/12/20191052.NET Framework: 853. Excel Sheet를 WinForm에서 사용하는 방법 - 두 번째 이야기
12001정성태8/10/20191423.NET Framework: 852. WPF/WinForm에서 UWP의 기능을 이용해 Bluetooth 기기와 Pairing하는 방법
12000정성태8/9/20191129.NET Framework: 851. WinForm/WPF에서 Console 창을 띄워 출력하는 방법파일 다운로드1
11999정성태8/1/2019758오류 유형: 563. C# - .NET Core 2.0 이하의 Unix Domain Socket 사용 시 System.IndexOutOfRangeException 오류
11998정성태7/30/2019893오류 유형: 562. .NET Remoting에서 서비스 호출 시 SYN_SENT로 남는 현상파일 다운로드1
11997정성태7/30/20191381.NET Framework: 850. C# - Excel(을 비롯해 Office 제품군) COM 객체를 제어 후 Excel.exe 프로세스가 남아 있는 문제파일 다운로드1
11996정성태7/25/20191205.NET Framework: 849. C# - Socket의 TIME_WAIT 상태를 없애는 방법파일 다운로드1
11995정성태7/23/20191065.NET Framework: 848. C# - smtp.daum.net 서비스(Implicit SSL)를 이용해 메일 보내는 방법
11994정성태10/22/20191313개발 환경 구성: 454. Azure 가상 머신(VM)에서 SMTP 메일 전송하는 방법파일 다운로드1
11993정성태7/22/2019819오류 유형: 561. Dism.exe 수행 시 "Error: 2 - The system cannot find the file specified." 오류 발생
1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...