Microsoft MVP성태의 닷넷 이야기
.NET Framework: 767. BenchmarkDotNet 라이브러리 소개 [링크 복사], [링크+제목 복사],
조회: 26538
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 4개 있습니다.)

BenchmarkDotNet 라이브러리 소개

닷넷 벤치마크 특화 라이브러리가 있었군요. ^^

Powerful .NET library for benchmarking
; https://github.com/dotnet/BenchmarkDotNet

BenchmarkDotNet 
; https://www.nuget.org/packages/BenchmarkDotNet/

Install-Package BenchmarkDotNet -Version 0.10.14 

사용 방법은 매우 쉽습니다. 예를 들기 위해 지난번 글의 내용에서 다룬,

C# 7.2의 특징 - GC 및 메모리 복사 방지를 위한 struct 타입 개선
; https://www.sysnet.pe.kr/2/0/11546

class로 정의한 Vector 타입을 성능 테스트 해보겠습니다.

class ClassVector
{
    double _x;
    double _y;
    double _z;

    public double X { get { return _x; } }
    public double Y { get { return _y; } }
    public double Z { get { return _z; } }

    public ClassVector(double x, double y, double z)
    {
        _x = x;
        _y = y;
        _z = z;
    }

    public static ClassVector operator +(ClassVector v1, ClassVector v2)
    {
        return new ClassVector(v1.X + v2.X, v1.Y + v2.Y, v1.Z + v2.Z);
    }

    public override string ToString()
    {
        return $"({_x},{_y},{_z})";
    }
}

성능 테스트를 위해 우선 EXE 유형의 프로젝트가 필요합니다. 간단하게 Console 프로젝트를 만들고 위의 타입을 포함하든지, 라이브러리 참조로 추가합니다. 그다음, Main 메서드에서는 Benchmark를 실행하는 Run 코드를 [Benchmark] 특성이 있는 타입과 함께 넣으면 됩니다. 가령 다음과 같은 식입니다.

using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Running;

namespace ConsoleApp1
{
    public class Program
    {
        public static void Main(string [] args)
        {
            BenchmarkRunner.Run<ClassVector>();
        }
    }

    class ClassVector
    {
        double _x;
        double _y;
        double _z;

        public double X { get { return _x; } }
        public double Y { get { return _y; } }
        public double Z { get { return _z; } }

        public ClassVector(double x, double y, double z)
        {
            _x = x;
            _y = y;
            _z = z;
        }

        [Benchmark]
        public static ClassVector operator +(ClassVector v1, ClassVector v2)
        {
            return new ClassVector(v1.X + v2.X, v1.Y + v2.Y, v1.Z + v2.Z);
        }

        public override string ToString()
        {
            return $"({_x},{_y},{_z})";
        }
    }
}

하지만 위와 같이 설정하고 실행하면 다음과 같은 오류가 발생합니다.

Unhandled Exception: System.InvalidOperationException: Benchmark method op_Addition has incorrect signature.
Method shouldn't have any arguments.
   at BenchmarkDotNet.Running.BenchmarkConverter.AssertMethodHasCorrectSignature(String methodType, MethodInfo methodInfo)
   at BenchmarkDotNet.Running.BenchmarkConverter.CreateTarget(Type type, MethodInfo globalSetupMethod, MethodInfo methodInfo, MethodInfo globalCleanupMethod, MethodInfo iterationSetupMethod, MethodInfo iterationCleanupMethod, BenchmarkAttribute attr, MethodInfo[] targetMethods)
   at BenchmarkDotNet.Running.BenchmarkConverter.<>c__DisplayClass4_0.<GetTargets>b__1(MethodInfo methodInfo)
   at System.Linq.Enumerable.WhereSelectArrayIterator`2.MoveNext()
   at System.Linq.Buffer`1..ctor(IEnumerable`1 source)
   at System.Linq.Enumerable.ToArray[TSource](IEnumerable`1 source)
   at BenchmarkDotNet.Running.BenchmarkConverter.MethodsToBenchmarksWithFullConfig(Type containingType, MethodInfo[] benchmarkMethods, ReadOnlyConfig fullConfig)
   at BenchmarkDotNet.Running.BenchmarkConverter.TypeToBenchmarks(Type type, IConfig config)
   at BenchmarkDotNet.Running.BenchmarkRunner.Run[T](IConfig config)
   at ClassLibrary1.Program.Main(String[] args) in F:\ClassLibrary1\Class1.cs:line 10

이유는, Benchmark 특성을 모든 메서드에 부여할 수 있는 것이 아니고 입력 인자가 없는 메서드여야 하기 때문입니다. 또한, BenchmarkRunner.Run에 지정한 타입(위의 코드에서는 ClassVector)은 반드시 public 접근자를 가져야 하는데, 이런 요구 사항들을 만족하기 위해 소스 코드를 변경할 수는 없습니다. 따라서 가능한 기존 소스 코드는 그대로 두고 원하는 메서드에 대한 성능 테스트를 할 수 있도록 그에 맞는 코드를 추가하는 것이 좋습니다. 위의 예제에서는 다음과 같은 정도로 일종의 중계 클래스를 두면 됩니다.

using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Running;

namespace ConsoleApp1
{
    public class Program
    {
        public static void Main(string [] args)
        {
            BenchmarkRunner.Run<VectorBenchmark>();
        }
    }

    public class VectorBenchmark
    {
        [Benchmark]
        public void ClassVectorTest()
        {
            var player = new ClassVector(10.0, 20.0, 30.0);
            var speed = new ClassVector(10.0, 20.0, 30.0);
            var result = player + speed;
        }
    }

    class ClassVector
    {
        ...[생략]...
    }
}

그럼 모든 준비는 끝났습니다. 하지만 이렇게 했는데도 실행하면 다음과 같은 오류가 발생할 수 있습니다.

// ***** BenchmarkRunner: Start   *****
// Found benchmarks:
//   VectorBenchmark.ClassVectorTest: DefaultJob

// Validating benchmarks:
Assembly ConsoleApp1 which defines benchmarks is non-optimized
Benchmark was built without optimization enabled (most probably a DEBUG configuration). Please, build it in RELEASE.
// * Artifacts cleanup *

그렇습니다. Release로 빌드해야 합니다.




정상적으로 실행이 되면 얼마 간의 테스트 결과와 함께 마지막 부근에 요약 정보를 보여줍니다.

...[생략]...

// * Summary *

BenchmarkDotNet=v0.10.14, OS=Windows 10.0.17134
Intel Core i5-4670 CPU 3.40GHz (Haswell), 1 CPU, 4 logical and 4 physical cores
  [Host]     : .NET Framework 4.7.1 (CLR 4.0.30319.42000), 32bit LegacyJIT-v4.7.3101.0
  DefaultJob : .NET Framework 4.7.1 (CLR 4.0.30319.42000), 32bit LegacyJIT-v4.7.3101.0


          Method |     Mean |     Error |    StdDev |
---------------- |---------:|----------:|----------:|
 ClassVectorTest | 14.54 ns | 0.3023 ns | 0.2828 ns |

// * Legends *
  Mean   : Arithmetic mean of all measurements
  Error  : Half of 99.9% confidence interval
  StdDev : Standard deviation of all measurements
  1 ns   : 1 Nanosecond (0.000000001 sec)

// ***** BenchmarkRunner: End *****
// * Artifacts cleanup *

당연히 구성한 C# 프로젝트가 32비트 EXE 출력으로 맞춰져 있다면 저렇게 "32bit Legacy JIT"라는 항목이 나옵니다. 반면 64비트로 맞추면 "64bit RyuJIT-v4.7.3101.0"라고 나옵니다.

BenchmarkDotNet이 재미있는 것은, 닷넷 런타임 유형 별로 별도 프로젝트를 만들지 않고도 다양한 구현체를 테스트할 수 있다는 것입니다. 이를 위해 다음과 같이 특성을 지정하면 됩니다.

[ClrJob(isBaseline: true), CoreJob, MonoJob]
public class VectorBenchmark
{
    [Benchmark]
    public void ClassVectorTest()
    {
        var player = new ClassVector(10.0, 20.0, 30.0);
        var speed = new ClassVector(10.0, 20.0, 30.0);
        var result = player + speed;
    }
}

하지만 테스트를 위해서는 CoreJob의 경우 .NET Core가, MonoJob인 경우 Mono Runtime이 시스템에 설치되어 있어야 합니다.

그 외 나머지 자잘한 사용법은 github 페이지를 참조하시면 됩니다.

dotnet/BenchmarkDotNet 
; https://github.com/dotnet/BenchmarkDotNet

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, .NET Framework의 경우 2.0은 지원하지만, 4.0에서는 4.6부터 지원합니다. 따라서 여러분들의 프로젝트가 .NET 4.5 이하로 되어 있으면 다음과 같은 설치 오류가 발생합니다.

Error Could not install package 'BenchmarkDotNet 0.10.14'. You are trying to install this package into a project that targets '.NETFramework,Version=v4.5', but the package does not contain any assembly references or content files that are compatible with that framework. For more information, contact the package author.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 6/13/2018]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 76  77  78  79  80  81  82  83  84  [85]  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
11849정성태3/18/201923277.NET Framework: 812. pscp.exe 기능을 C#으로 제어하는 방법파일 다운로드1
11848정성태3/17/201920367스크립트: 14. 윈도우 CMD - 파일이 변경된 경우 파일명을 변경해 복사하고 싶다면?
11847정성태3/17/201924793Linux: 7. 리눅스 C/C++ - 공유 라이브러리 동적 로딩 후 export 함수 사용 방법파일 다운로드1
11846정성태3/15/201923509Linux: 6. getenv, setenv가 언어/운영체제마다 호환이 안 되는 문제
11845정성태3/15/201923088Linux: 5. Linux 응용 프로그램의 (C++) so 의존성 줄이기(ReleaseMinDependency) [3]
11844정성태3/14/201925100개발 환경 구성: 434. Visual Studio 2019 - 리눅스 프로젝트를 이용한 공유/실행(so/out) 프로그램 개발 환경 설정 [1]파일 다운로드1
11843정성태3/14/201919832기타: 75. MSDN 웹 사이트를 기본으로 영문 페이지로 열고 싶다면?
11842정성태3/13/201917420개발 환경 구성: 433. 마이크로소프트의 CoreCLR 프로파일러 예제를 Visual Studio CMake로 빌드하는 방법 [1]파일 다운로드1
11841정성태3/13/201917978VS.NET IDE: 132. Visual Studio 2019 - CMake의 컴파일러를 기본 g++에서 clang++로 변경
11840정성태3/13/201920136오류 유형: 526. 윈도우 10 Ubuntu App 환경에서는 USB 외장 하드 접근 불가
11839정성태3/12/201924327디버깅 기술: 124. .NET Core 웹 앱을 호스팅하는 Azure App Services의 프로세스 메모리 덤프 및 windbg 분석 개요 [3]
11838정성태3/7/201928140.NET Framework: 811. (번역글) .NET Internals Cookbook Part 1 - Exceptions, filters and corrupted processes [1]파일 다운로드1
11837정성태3/6/201941659기타: 74. 도서: 시작하세요! C# 7.3 프로그래밍 [10]
11836정성태3/5/201925440오류 유형: 525. Visual Studio 2019 Preview 4/RC - C# 8.0 Missing compiler required member 'System.Range..ctor' [1]
11835정성태3/5/201923293.NET Framework: 810. C# 8.0의 Index/Range 연산자를 .NET Framework에서 사용하는 방법 및 비동기 스트림의 컴파일 방법 [3]파일 다운로드1
11834정성태3/4/201922002개발 환경 구성: 432. Visual Studio 없이 최신 C# (8.0) 컴파일러를 사용하는 방법
11833정성태3/4/201923156개발 환경 구성: 431. Visual Studio 2019 - CMake를 이용한 공유/실행(so/out) 리눅스 프로젝트 설정파일 다운로드1
11832정성태3/4/201917989오류 유형: 524. Visual Studio CMake - rsync: connection unexpectedly closed
11831정성태3/4/201918736오류 유형: 523. Visual Studio 2019 - 새 창으로 뜬 윈도우를 닫을 때 비정상 종료
11830정성태2/26/201917976오류 유형: 522. 이벤트 로그 - Error opening event log file State. Log will not be processed. Return code from OpenEventLog is 87.
11829정성태2/26/201919277개발 환경 구성: 430. 마이크로소프트의 CoreCLR 프로파일러 예제 빌드 방법 - 리눅스 환경 [1]
11828정성태2/26/201927922개발 환경 구성: 429. Component Services 관리자의 RuntimeBroker 설정이 2개 있는 경우 [8]
11827정성태2/26/201920186오류 유형: 521. Visual Studio - Could not start the 'rsync' command on the remote host, please install it using your system package manager.
11826정성태2/26/201920752오류 유형: 520. 우분투에 .NET Core SDK 설치 시 패키지 의존성 오류
11825정성태2/25/201926395개발 환경 구성: 428. Visual Studio 2019 - CMake를 이용한 리눅스 빌드 환경 설정 [1]
11824정성태2/25/201920663오류 유형: 519. The SNMP Service encountered an error while accessing the registry key SYSTEM\CurrentControlSet\Services\SNMP\Parameters\TrapConfiguration. [1]
... 76  77  78  79  80  81  82  83  84  [85]  86  87  88  89  90  ...