C# - CSharpCodeProvider로 컴파일한 메서드의 실행이 일반 메서드보다 더 빠르다?

최근에 아주 재미있는 글을 봤습니다. ^^

Compiling C# Code at Runtime
; http://www.codeproject.com/Tips/715891/Compiling-Csharp-Code-at-Runtime

이 코드에서는 동일한 작업을 수행하는 4가지 메서드의 호출 성능을 보여줍니다.

1. 원본 메서드 직접 호출

for (int i = 0; i < repetitions; i++)
{
    result = OriginalFunction(2, 3);
}

public static double OriginalFunction(double x, double y)
{
    return x + 2 * y;
}

2. 런타임 시에 컴파일한 메서드를 Reflection으로 호출

MethodInfo function = CreateFunction("x + 2 * y");

for (int i = 0; i < repetitions; i++)
{
    result = (double)function.Invoke(null, new object[] { 2, 3 });
}

public static MethodInfo CreateFunction(string function)
{
    string code = @"
        using System;
            
        namespace UserFunctions
        {                
            public class BinaryFunction
            {                
                public static double Function(double x, double y)
                {
                    return func_xy;
                }
            }
        }
    ";

    string finalCode = code.Replace("func_xy", function);

	CSharpCodeProvider provider = new CSharpCodeProvider();
	CompilerParameters options = new CompilerParameters();
	CompilerResults results = provider.CompileAssemblyFromSource(options, finalCode);

    Type binaryFunction = results.CompiledAssembly.GetType("UserFunctions.BinaryFunction");
    return binaryFunction.GetMethod("Function");
}

3. 위의 2번 메서드를 Reflection이 아닌 Delegate로 연결해서 호출

var betterFunction = (Func<double, double, double>)Delegate.CreateDelegate(typeof(Func<double, double, double>), function);

for (int i = 0; i < repetitions; i++)
{
    result = betterFunction(2, 3);
}

4. 람다식으로 호출

Func<double, double, double> lambda = (x, y) => x + 2 * y;

for (int i = 0; i < repetitions; i++)
{
    result = lambda(2, 3);
}

흥미로운 것은 이 4가지 호출에 대한 성능을 제시하고 있는데, 그 결과가 이렇습니다.

1. Original - time: 92 ms
2. Reflection - time: 3686 ms
3. Delegate - time: 64 ms
4. Lambda - time: 90 ms

실제로 저도 해보니 다음과 같은 결과를 얻을 수 있었습니다.

1. Original - time: 22.0012 ms
2. Reflection - time: 2685.1552 ms
3. Delegate - time: 17.0013 ms
4. Lambda - time: 25.0018 ms

아니... 상식적으로 도저히 이해가 안됩니다. 어떻게 동적으로 컴파일한 메서드를 Delegate로 연결했다고 원본 메서드의 호출 성능을 능가할 수 있다는 것인지...?

물론... 마법은 없습니다. ^^

---

왜냐하면, 테스트 조건이 Original과 Delegate의 경우에 대해 공정하지 않기 때문입니다. 가장 큰 불공정 요소는 바로 해당 프로젝트가 Debug 모드로 빌드되었다는 점입니다. 즉, Original 메서드는 디버그 모드로 동작하는 반면 CSharpCodeProvider.CompileAssemblyFromSource 메서드는 기본적으로 릴리스 모드로 빌드하기 때문에 대상 메서드의 코드 최적화 차이로 그런 불합리한 성능 결과가 나온 것입니다.

동일한 조건을 맞추기 위해 CompileAssemblyFromSource가 디버그 결과물을 내놓도록 다음과 같이 수정하면 어떨까요?

CSharpCodeProvider provider = new CSharpCodeProvider();
CompilerParameters options = new CompilerParameters();
options.IncludeDebugInformation = true;
CompilerResults results = provider.CompileAssemblyFromSource(options, finalCode);

이제 다시 측정을 하면 예상했던 그 결과를 얻을 수 있습니다.

1. Original - time: 23.001 ms
2. Reflection - time: 2712.1604 ms
3. Delegate - time: 25.9992 ms
4. Lambda - time: 25.0102 ms

반대로 조건을 릴리스로 맞추기 위해 "options.IncludeDebugInformation = true;" 코드를 삭제하고 전체 프로젝트를 릴리스로 빌드하면 이런 결과를 얻게 됩니다.

1. Original - time: 1.9997 ms
2. Reflection - time: 2685.1459 ms
3. Delegate - time: 18.0013 ms
4. Lambda - time: 14.0009 ms

이번엔 Delegate보다 Original 메서드의 성능이 급격하게 올라갔습니다. 이유는? Original 메서드에 대해서는 C# 컴파일러가 인라인 최적화를 할 수 있었기 때문입니다. 이번엔 Delegate와의 공정함을 맞추기 위해 Original 메서드 측에 인라인 금지 특성을 지정해야 합니다.

[MethodImpl(MethodImplOptions.NoInlining)]
public static double OriginalFunction(double x, double y)
{
    return x + 2 * y;
}

성능 비교 결과입니다.

1. Original - time: 9.9999 ms
2. Reflection - time: 2681.1545 ms
3. Delegate - time: 18.001 ms
4. Lambda - time: 14.0016 ms

그래도 Original 메서드가 Delegate에 비해 2배 이상 빠릅니다. 바로 이것이 ^^ "당연한 결과"입니다.

---

참고로 여기서 한 단계 더 나아가 JIT 컴파일로 인한 성능 간섭 문제를 없애기 위해 전체 메서드를 미리 한번씩 호출하는 작업을 해야 합니다. 이럴 경우 람다 호출에 대한 성능이 미약하나마 쪼끔 더 올라갑니다.

1. Original - time: 9.0101 ms
2. Reflection - time: 2647.1532 ms
3. Delegate - time: 19.0008 ms
4. Lambda - time: 12.0016 ms

어쨌든 변하지 않는 것은 원본 메서드의 성능이 가장 좋다는 것입니다.

(첨부 파일에는 제가 테스트한 환경의 코드가 담겨 있습니다.)

---

[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[최초 등록일: 2/14/2014]
[최종 수정일: 7/5/2021]


이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

by SeongTae Jeong, mailto:techsharer at outlook.com