Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - 고성능이 필요한 환경에서 GC가 발생하지 않는 네이티브 힙 사용

지난 발표에서,

.NET Conf 2019 Korea - "닷넷 17년의 변화 정리 및 닷넷 코어 3.0" 발표 자료
; https://www.sysnet.pe.kr/2/0/12030

Span을 설명하며 GC를 유발하지 않는 Native Heap 사용법을 소개했습니다.

public unsafe ref struct NativeMemory<T> where T : unmanaged
{
    int _size;
    IntPtr _ptr;

    public NativeMemory(int size)
    {
        _size = size;

        long lSize = _size;
        lSize *= sizeof(T);
                
        IntPtr bufSize = new IntPtr(lSize);
        _ptr = Marshal.AllocHGlobal(bufSize);
    }

    public Span<T> GetView()
    {
        return new Span<T>(_ptr.ToPointer(), _size);
    }

    // C# 8.0에서만 using과 함께 사용 가능
    public void Dispose()
    {
        if (_ptr == IntPtr.Zero)
        {
            return;
        }

        Marshal.FreeHGlobal(_ptr);
        _ptr = IntPtr.Zero;
    }
}

그런데... 정작 PPT에는 설명이 없어 이렇게 글로 남깁니다. ^^




저렇게 Native Heap에 만들어 사용했을 때의 장점이 뭘까요? 우선, 당연한 이야기지만 GC로부터 힙을 할당받지 않았기 때문에 GC의 관리 밖에 있으므로 가비지 컬렉션 동작 시에 아무런 부하를 주지 않는다는 것을 들 수 있습니다.

이런 결과를 비교한 것이 DotNetHistory17.zip에 포함된 예제 코드의 내용인데요, 간단하게 다음과 같이 GC 횟수를 출력하는 스레드를 실행해 두고,

static unsafe void Main(string[] args)
{
    Thread t = new Thread(checkGCFunc);
    t.IsBackground = true;
    t.Start();

    // ...[생략]...
}

private static void checkGCFunc(object obj)
{
    int old = 0;
    int checkCount = 0;

    // 5초마다 화면에 GC 횟수 출력
    while (true)
    {
        int count = 0;

        for (int i = 0; i < GC.MaxGeneration; i++)
        {
            count += GC.CollectionCount(i);
        }

        Console.WriteLine($"{checkCount++} : {(count - old)}");
        old = count;

        Thread.Sleep(5000);
    }
}


GC Heap으로부터 할당받는 다음의 무한 루프 예제를 실행하면,

static unsafe void Main(string[] args)
{
    Thread t = new Thread(checkGCFunc);
    t.IsBackground = true;
    t.Start();

    // 무한 루프를 돌며,
    while (true)
    {
        // GC Heap, 즉 관리 힙으로부터 배열 메모리를 할당
        int[] buf = new int[1024];
        {
            for (int i = 0; i < buf.Length; i++)
            {
                buf[i] = i;
            }
        }
    }
}

화면에는 5초마다 다음과 같은 식으로 GC 횟수가 평균 초당 2,000번 이상 실행되는 것을 확인할 수 있습니다.

0 : 0
1 : 2226
2 : 2149
3 : 2308
4 : 2279
5 : 2289
...

반면, Native Heap으로부터 할당받는 NativeMemory 타입을 활용하면,

// 무한 루프를 돌며,
while (true)
{
    // Native Heap, 즉 비-관리 힙으로부터 배열 메모리 할당
    using (NativeMemory<int> buf = new NativeMemory<int>(1024))
    {
        Span<int> viewBuf = buf.GetView();
        for (int i = 0; i < viewBuf.Length; i++)
        {
            viewBuf[i] = i;
        }
    }
}

5초마다 찍히는 출력에는 GC가 단 한 번도 발생하지 않는 것을 볼 수 있습니다.

0 : 0
1 : 0
2 : 0
3 : 0
...




그런데, 사실 이런 식의 비-관리 메모리를 할당하는 것은 C# 초기 버전에서도 가능했습니다. 어차피 unsafe 문맥에서 포인터 구문이 가능했기 때문인데, 이에 대해서는 예전 글을 통해 설명한 적이 있습니다.

int len = Int32.MaxValue;
IntPtr pBuf = Marshal.AllocCoTaskMem(len); // 비-관리 힙을 할당받아,

byte* ptr = (byte*)pBuf.ToPointer();

int i = 0;
for (i = 0; i < len; i++)
{
    *(ptr + i) = 10; // 배열처럼 접근
}

Console.WriteLine(*(ptr + len - 1));
Console.WriteLine();

Marshal.FreeCoTaskMem(pBuf);

그런데, 위와 같은 식으로 직접 Pointer 연산을 통해 접근하는 것은 자칫 인덱스 접근을 잘못하게 되는 경우 AV(Access Violation) 예외가 발생해 프로세스(EXE)의 비정상 종료 문제를 야기할 수 있습니다.

가령, AllocCoTaskMem으로 1,000 바이트를 할당받았는데 byte * 포인터의 "*ptr + 1001" 연산을 하면 확률(운)에 따라 AV 예외를 접하게 됩니다. 이로 인해 비-관리 메모리는 사실상 "관리 프로세스"의 안전함에 반하므로 가능한 쓰지 않는 것이 일반적이었는데, 이런 문제를 해결한 것이 바로 C# 7.2에 추가된 Span 타입입니다.

C# 7.2 - Span<T>
; https://www.sysnet.pe.kr/2/0/11534

Span 타입은 비-관리 메모리에 대해 관리 포인터를 이용한 안정성을 제공하기 때문에 할당받은 Native Heap의 크기를 벗어나는 연산을 해도,

IntPtr ptr = Marshal.AllocCoTaskMem(1000); // native heap으로부터 메모리를 할당받아,

try
{
    // Span 타입의 도움을 받으면,
    Span<byte> bytes = new Span<byte>(ptr.ToPointer(), size);
    bytes[1000 + 1] = 6; // 할당받은 native heap의 범위를 벗어나 지정해도,
}
catch (System.IndexOutOfRangeException ex) // 안전하게 예외 처리
{
    // "1000 + 1" 접근 시 예외 발생
}
finally
{
    Marshal.FreeCoTaskMem(ptr);
}

안전하게 예외 처리가 됩니다. 따라서 Span 타입의 도입으로 비-관리 메모리를 안전한 영역으로 끌어냈기 때문에 C# 7.2부터는 관리 메모리와 별다른 차이 없이 - 개발자가 원한다면 얼마든지 사용해도 좋은 자원이 된 것입니다.




그나저나, GC Heap을 사용하지 않으니 혹시 gcAllowVeryLargeObjects를 사용하지 않아도,

<gcAllowVeryLargeObjects> Element
; https://docs.microsoft.com/ko-kr/dotnet/framework/configure-apps/file-schema/runtime/gcallowverylargeobjects-element

NativeMemory와 같은 타입이라면 자유로운 배열 크기를 생성할 수 있지 않을까요? 일단 이전 글에서 설명한 것처럼,

닷넷 - 배열 크기의 한계
; https://www.sysnet.pe.kr/2/0/11142

재현 코드)
int arrCount = 0X7FEFFFFF + 1;
int[] intarr1 = new int[arrCount]; // System.OutOfMemoryException: 'Array dimensions exceeded supported range.'

닷넷의 경우 배열 (크기가 아닌) 요소의 한계가 2,146,435,071 (0X7FEFFFFF)로 정해져 있습니다. 아쉽게도 이 한계는 NativeMemory 같은 식의 타입을 사용해 우회해도 극복할 수 없습니다. 왜냐하면 Span의 indexer 코드 자체가 이미 int 값을 인자로 받기 때문에,

public readonly ref struct Span<T>
{
    // ...[생략]...

    public ref T this[int index]
    {
        get
        {
            throw null;
        }
    }

    // ...[생략]...
}

Int32.MaxValue 범위 밖의 요소를 지정할 수 없습니다. 그래도 그나마 위로할 수 있는 것은 0X7FEFFFFF이 아닌 Int32.MaxValue 범위까지 쪼끔 확장되었다는 정도가 되겠습니다.




그런데, 이걸 사용하면 정말 빠를까요? 실제로 간단하게 테스트를 해보면,

class Program
{
    static unsafe void Main(string[] args)
    {
        int bufSize = 1024;

        Action<int> a1 = (count) =>
        {
            while (count-- > 0)
            {
                int[] buf = new int[bufSize];
                buf[0] = 0;
                buf[bufSize - 1] = 0;
            }
        };

        Action<int> a2 = (count) =>
        {
            while (count-- > 0)
            {
                using (NativeMemory<int> buf = new NativeMemory<int>(bufSize))
                {
                    Span<int> viewBuf = buf.GetView();
                    viewBuf[0] = 0;
                    viewBuf[bufSize - 1] = 0;
                }
            }
        };

        Action<int, Action<int>> perfTest = (count, action) =>
        {
            Stopwatch st = new Stopwatch();
            st.Start();
            action(count);
            st.Stop();

            Console.WriteLine(st.ElapsedMilliseconds);
        };

        perfTest(1, a1);
        perfTest(1, a2);

        perfTest(1000000, a1);
        perfTest(1000000, a2);
    }
}

의외로 그냥 GC가 발생하도록 했을 때와 그다지 큰 차이는 없습니다.

[x64 + Release]

관리 힙 = 483
NativeHeap = 102

왜냐하면, 이것은 해당 예제 코드가 그다지 복잡한 상황이 아니어서 2세대 GC까지 수행되지 않으므로 그런 것입니다. 2세대 GC가 발생하도록 위의 예제 코드에서 bufSize = 40960으로 바꾸면 다음과 같은 결과를 얻을 수 있습니다.

[x64 + Release]

관리 힙 = 8848
NativeHeap = 275

관리 힙의 경우 2세대 GC 처리를 동반하면서 9초 가까운 실행 시간이 걸린 반면 비-관리 힙을 사용한 경우 275ms 내에 처리를 끝내고 있습니다. 이 정도면, Game Loop 등과 같은 고속 처리를 요구하는 환경 등에서 써먹으면 꽤나 성능 향상을 기대할 수 있을 것입니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 10/21/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12280정성태8/2/2020456오류 유형: 634. 오라클 (평생) 무료 클라우드 VM 생성 후 SSH 접속 시 키 오류 발생
12279정성태7/29/2020288개발 환경 구성: 499. 닷넷에서 접근해보는 InterSystems의 Cache 데이터베이스파일 다운로드1
12278정성태8/2/2020262VS.NET IDE: 149. ("Binary was not built with debug information" 상태로) 소스 코드 디버깅이 안되는 경우
12277정성태8/2/2020446개발 환경 구성: 498. DEVPATH 환경 변수의 사용 예 - .NET Reflector의 (PDB 연결이 없는) DLL의 소스 코드 디버깅
12276정성태7/23/2020435.NET Framework: 930. 개발자를 위한 닷넷 어셈블리 바인딩 - DEVPATH 환경 변수
12275정성태7/28/2020370개발 환경 구성: 497. 닷넷에서 접근해보는 InterSystems의 IRIS Data Platform 데이터베이스파일 다운로드1
12274정성태7/21/2020396개발 환경 구성: 496. Azure - Blob Storage Account의 Location 이전 방법파일 다운로드1
12273정성태7/20/2020497개발 환경 구성: 495. Azure - Location이 다른 웹/DB 서버의 경우 발생하는 성능 하락
12272정성태7/16/2020310.NET Framework: 929. (StrongName의 버전 구분이 필요 없는) .NET Core 어셈블리 바인딩 규칙파일 다운로드1
12271정성태7/16/2020336.NET Framework: 928. .NET Framework의 Strong-named 어셈블리 바인딩 (2) - 런타임에 바인딩 리디렉션파일 다운로드1
12270정성태7/16/2020481오류 유형: 633. SSL_CTX_use_certificate_file - error:140AB18F:SSL routines:SSL_CTX_use_certificate:ee key too small
12269정성태7/16/2020279오류 유형: 632. .NET Core 웹 응용 프로그램 - The process was terminated due to an unhandled exception.
12268정성태7/15/2020342오류 유형: 631. .NET Core 웹 응용 프로그램 오류 - HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process
12267정성태7/15/2020513.NET Framework: 927. C# - 윈도우 프로그램에서 Credential Manager를 이용한 보안 정보 저장파일 다운로드1
12266정성태7/14/2020416오류 유형: 630. 사용자 계정을 지정해 CreateService API로 서비스를 등록한 경우 "Error 1069: The service did not start due to a logon failure." 오류발생
12265정성태7/10/2020259오류 유형: 629. Visual Studio - 웹 애플리케이션 실행 시 "Unable to connect to web server 'IIS Express'." 오류 발생
12264정성태7/9/2020370오류 유형: 628. docker: Error response from daemon: Conflict. The container name "..." is already in use by container "...".
12261정성태9/26/2020762VS.NET IDE: 148. 윈도우 10에서 .NET Core 응용 프로그램을 리눅스 환경에서 실행하는 2가지 방법 - docker, WSL 2 [5]
12260정성태7/8/2020334.NET Framework: 926. C# - ETW를 이용한 ThreadPool 스레드 감시파일 다운로드1
12259정성태7/8/2020272오류 유형: 627. nvlddmkm.sys의 BAD_POOL_HEADER BSOD 문제
12258정성태8/4/2020517기타: 77. DataDog APM 간략 소개
12257정성태7/7/2020307.NET Framework: 925. C# - ETW를 이용한 Monitor Enter/Exit 감시파일 다운로드1
12256정성태7/7/2020417.NET Framework: 924. C# - Reflection으로 변경할 수 없는 readonly 정적 필드 [4]
12255정성태7/6/2020350.NET Framework: 923. C# - ETW(Event Tracing for Windows)를 이용한 Finalizer 실행 감시파일 다운로드1
12254정성태7/2/2020268오류 유형: 626. git - REMOTE HOST IDENTIFICATION HAS CHANGED!
12253정성태7/2/2020456.NET Framework: 922. C# - .NET ThreadPool의 Local/Global Queue파일 다운로드1
1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...