Microsoft MVP성태의 닷넷 이야기
.NET Framework: 997. C# - ArrayPool<T> 소개 [링크 복사], [링크+제목 복사]
조회: 11284
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 4개 있습니다.)
.NET Framework: 997. C# - ArrayPool<T> 소개
; https://www.sysnet.pe.kr/2/0/12478

.NET Framework: 999. C# - ArrayPool<T>와 MemoryPool<T> 소개
; https://www.sysnet.pe.kr/2/0/12480

.NET Framework: 1124. C# - .NET Platform Extension의 ObjectPool<T> 사용법 소개
; https://www.sysnet.pe.kr/2/0/12893

.NET Framework: 1125. C# - DefaultObjectPool<T>의 IDisposable 개체에 대한 풀링 문제
; https://www.sysnet.pe.kr/2/0/12894




C# - ArrayPool<T> 소개

이미 ArrayPool<T>에 대해 다음과 같은 훌륭한 글이 있지만, ^^

Pooling large arrays with ArrayPool
; https://adamsitnik.com/Array-Pool/

그래도 대충 정리를 해보겠습니다.




우선 기본적인 사용법은 Pool에서 배열을 받아오고/반환하는 절차로 이뤄집니다.

// .NET Core

byte[] buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 0
ArrayPool<byte>.Shared.Return(buffer);

주의해야 할 점은, 기본적으로는 반환한 버퍼가 그대로 재사용되므로,

byte[] buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 0
buffer[0] = 5;
ArrayPool<byte>.Shared.Return(buffer);

buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 5

이전 데이터가 남아 있어 일반적인 new 할당과는 달리 0 초기화를 기대해서는 안 됩니다. 아니면, 반환할 때 명시적으로 초기화를 시키는 옵션을 줘야 합니다.

byte[] buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 0
buffer[0] = 5;
ArrayPool<byte>.Shared.Return(buffer, /* clearArray: */ true);

buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 0

위의 상황을 좀 더 확대 해석해 보면, Rent로 얻은 버퍼를 Return 후에 사용하지 않도록 주의해야 합니다. Pool이라는 성격상 참조 그대로 살아 있고 재사용하는 유형이기 때문에 그런 실수를 하게 된다면,

byte[] buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 0
ArrayPool<byte>.Shared.Return(buffer, /* clearArray: */ true);

buffer[0] = 5; /* 혹은 buffer를 향후 지속되는 개체에 전달했다거나 */

buffer = ArrayPool<byte>.Shared.Rent(1024);
Console.WriteLine($"buffer[0] == {buffer[0]}"); // buffer[0] == 5

런타임 시에 원인을 추적하기 힘든 오류로 발전할 여지가 있습니다.




요구 크기에 대한 구획을 나누기 때문에,

// System.Buffers.Utilities.SelectBucketIndex

internal static int SelectBucketIndex(int bufferSize)
{
    uint value = (uint)(bufferSize - 1) >> 4;
    return 32 - BitOperations.LeadingZeroCount(value);
}

(내부 구현이므로 향후 바뀔 수 있지만) 512 바이트 구간에 대해서는 같은 버퍼를 반환하므로,

byte[] buffer = ArrayPool<byte>.Shared.Rent(1000);
Console.WriteLine(buffer.Length); // 출력 결과 1024

buffer = ArrayPool<byte>.Shared.Rent(513);
Console.WriteLine(buffer.Length); // 출력 결과 1024

buffer = ArrayPool<byte>.Shared.Rent(512);
Console.WriteLine(buffer.Length); // 출력 결과 512

Rent 메서드로 요청한 크기에 정확히 일치하는 버퍼가 반환된다고 가정해서는 안 됩니다.




기본 CLR 스레드 풀을 사용하지 않고 별도로 정의할 수 있는 요구가 있는 것처럼,

분리된 ThreadPool 사용 - Smart Thread Pool
; https://www.sysnet.pe.kr/2/0/986

ArrayPool도 그럴 수 있는데요, 다행히 이것은 해당 타입 내에서 기능을 제공하고 있습니다.

// Shared가 아닌, 새로운 ArrayPool을 생성
ArrayPool<byte> newPool = ArrayPool<byte>.Create();

byte [] buffer = newPool.Rent(1000);
newPool.Return(buffer);

재미있는 점은, Shared의 Pool 관리를 담당하는 타입과 Create의 Pool 관리를 담당하는 타입이 다르다는 점입니다.

static ArrayPool()
{
    ArrayPool<T>.s_shared = new TlsOverPerCoreLockedStacksArrayPool<T>();
}

public static ArrayPool<T> Create()
{
    return new ConfigurableArrayPool<T>();
}

이름에서 유추할 수 있지만 Shared의 경우 TLS 성격을 갖기 때문에 Shared로 접근하는 스레드 별로 관리 개체가 생성되므로 Rent/Return 호출 시에 별도의 lock이 필요 없습니다. 반면 ConfigurableArrayPool의 경우 단독 개체가 생성되는 것이고 thread-safe을 보장하기 위해 Rent/Return 내부에서 lock이 사용되므로 약간의 성능 손실이 발생합니다.




"Pooling large arrays with ArrayPool" 글에 보면, 마지막 즈음에 Pool 관련한 ETW Event Provider를 소개하고 있습니다. 그렇다면, 지난 글의 in-proc 모니터링을,

C# - (.NET Core 2.2부터 가능한) 프로세스 내부에서 CLR ETW 이벤트 수신
; https://www.sysnet.pe.kr/2/0/12474

다음과 같이 간단하게 접목해 볼 수 있습니다. ^^

// .NET Core 2.2

using System;
using System.Buffers;
using System.Diagnostics.Tracing;
using System.Threading;

namespace ConsoleApp2
{
    class Program
    {
        static MyEventListener listener = new MyEventListener();

        static void Main(string[] args)
        {
            Console.WriteLine($"{Thread.CurrentThread.ManagedThreadId}");
            byte[] buffer = ArrayPool<byte>.Shared.Rent(1024);
        }
    }
}

internal class MyEventListener : EventListener
{
    protected override void OnEventSourceCreated(EventSource eventSource)
    {
        base.OnEventSourceCreated(eventSource);

        if (eventSource.Name == "System.Buffers.ArrayPoolEventSource")
        {
            EnableEvents(eventSource, EventLevel.Informational);
        }
    }

    protected override void OnEventWritten(EventWrittenEventArgs eventData)
    {
        int tid = Thread.CurrentThread.ManagedThreadId;

        if (eventData.EventName == "BufferAllocated")
        {
            Console.WriteLine($"{tid} {eventData.EventName}");
        }
    }
}

/* 출력 결과
1
1 BufferAllocated
*/

(결과를 보면, Main 메서드를 실행하는 스레드와 OnEventWritten 메서드를 실행되는 스레드가 동일하다는 것에서 실시간 호출임을 짐작게 합니다.)




그런데, Rent 후 Return을 하지 않으면 어떻게 될까요?

ArrayPool의 내부 구현이 WeakReference 같은 타입을 사용한 Cache 형식이 아닌, 단순히 일정 수의 버퍼를 할당해 보관해 놓는 것이므로 Return을 하지 않으면 쌓이게 되어 있습니다.

따라서, 기본 구현에 따라,

public override T[] Rent(int minimumLength)
{
    // ...[생략]...
    int num = Utilities.SelectBucketIndex(minimumLength);
    T[] array;
    if (num < this._buckets.Length)
    {
        int num2 = num;
        while (true)
        {
            array = this._buckets[num2].Rent();
            if (array != null)
            {
                break;
            }
            if (++num2 >= this._buckets.Length || num2 == num + 2)
            {
                goto IL_86;
            }
        }
        // ...[생략]...
        return array;
        IL_86:
        array = new T[this._buckets[num]._bufferLength];
    }
    else
    {
        array = new T[minimumLength];
    }

    // ...[생략]...
    return array;
}

Rent를 원하는 크기의 Bucket에 여유가 없으면 한 단계 큰 Bucket에서 다시 여유가 있는지 확인하고, 그래도 없으면 Pool이 관리하지 않는 새로운 버퍼를 할당해 반환해 버립니다. 따라서 일반적으로 우리가 알고 있는 DB 연결 풀이나 스레드 풀처럼 Free 자원이 고갈되었을 때 대기를 하는 것과는 달리 (어느 정도 Pool의 bucket 크기에 따라 leak이 발생하지만) 전체적으로 동작하는 데에는 영향을 주지 않습니다.

실제로 ETW 이벤트를 활용해 이런 상황을 테스트해 볼까요? ^^

using System;
using System.Buffers;
using System.Diagnostics.Tracing;
using System.Threading;

namespace ConsoleApp2
{
    class Program
    {
        static MyEventListener listener = new MyEventListener();

        static ArrayPool<byte> _q = ArrayPool<byte>.Create(8192 * 4, 5); // 구간 별 최대 크기 5

        static void Main(string[] args)
        {
            Console.WriteLine($"Main TID: {Thread.CurrentThread.ManagedThreadId}");

            for (int i = 0; i < 12; i++)
            {
                byte[] buffer = _q.Rent(4000);
                Console.WriteLine($", BufferLen: {buffer.Length}");
            }
        }
    }
}

internal class MyEventListener : EventListener
{
    protected override void OnEventSourceCreated(EventSource eventSource)
    {
        Console.WriteLine(eventSource);
        base.OnEventSourceCreated(eventSource);

        if (eventSource.Name == "System.Buffers.ArrayPoolEventSource")
        {
            EnableEvents(eventSource, EventLevel.Informational);
        }
    }

    protected override void OnEventWritten(EventWrittenEventArgs eventData)
    {
        int tid = Thread.CurrentThread.ManagedThreadId;

        if (eventData.EventName == "BufferAllocated")
        {
            if (eventData.PayloadNames.Contains("reason") == true)
            {
                BufferAllocatedReason reason = (BufferAllocatedReason)eventData.Payload[4];
                Console.Write($"OnEventWritten TID: {tid}, {eventData.EventName}, {reason}");
            }
        }
    }

    internal enum BufferAllocatedReason
    {
        Pooled,
        OverMaximumSize,
        PoolExhausted
    }
}

(쉬운 테스트를 위해) 크기 별 최대 보관 수가 5인 ArrayPool을 만들었고, 4000 바이트의 버퍼를 12번 요구한 출력 결과는 다음과 같습니다.

OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 4096
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 4096
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 4096
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 4096
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 4096
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 8192
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 8192
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 8192
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 8192
OnEventWritten TID: 1, BufferAllocated, Pooled, BufferLen: 8192
OnEventWritten TID: 1, BufferAllocated, PoolExhausted, BufferLen: 4096
OnEventWritten TID: 1, BufferAllocated, PoolExhausted, BufferLen: 4096

보다시피, 4096 바이트로 5번, 8192 바이트로 5번을 반환받은 후부터는 PoolExhausted로 나오고 있습니다. (세부적인 규칙은 바뀔 수 있으므로 이에 가정한 코딩을 해서는 안 됩니다.)

(PoolExhausted 상태에서도 4000 바이트 요구에 대해 굳이 Pool의 규격에 맞게 4096 바이트를 할당해 반환한다는 점도 재미있습니다. ^^)




.NET Framework의 경우 ArrayPool 타입이 기본 BCL에 없으므로,

ArrayPool Class
; https://learn.microsoft.com/en-us/dotnet/api/system.buffers.arraypool-1

최소 요구 사항: .NET 5.0, .NET Core 1.0, .NET Standard 2.1

Nuget에서 제공하는 별도 라이브러리를 참조해야 합니다.

System.Buffers
; https://www.nuget.org/packages/System.Buffers/
(.NET Framework 4.5부터 참조 가능합니다.)
Install-Package System.Buffers

이하 사용법은 .NET Core의 것과 동일합니다.




(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 12/9/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 31  32  33  34  35  36  37  38  39  40  41  42  43  44  [45]  ...
NoWriterDateCnt.TitleFile(s)
12503정성태1/21/20218734오류 유형: 696. C# - HttpClient: Requesting HTTP version 2.0 with version policy RequestVersionExact while HTTP/2 is not enabled.
12502정성태1/21/20219499.NET Framework: 1016. .NET Core HttpClient의 HTTP/2 지원파일 다운로드1
12501정성태1/21/20218591.NET Framework: 1015. .NET 5부터 HTTP/1.1, 2.0 선택을 위한 HttpVersionPolicy 동작 방식파일 다운로드1
12500정성태1/21/20219169.NET Framework: 1014. ASP.NET Core(Kestrel)의 HTTP/2 지원 여부파일 다운로드1
12499정성태1/20/202110383.NET Framework: 1013. .NET Core Kestrel 호스팅 - 포트 변경, non-localhost 접속 지원 및 https 등의 설정 변경 [1]파일 다운로드1
12498정성태1/20/20219349.NET Framework: 1012. .NET Core Kestrel 호스팅 - 비주얼 스튜디오의 Kestrel/IIS Express 프로파일 설정
12497정성태1/20/202110240.NET Framework: 1011. C# - OWIN Web API 예제 프로젝트 [1]파일 다운로드2
12496정성태1/19/20219102.NET Framework: 1010. .NET Core 콘솔 프로젝트에서 Kestrel 호스팅 방법 [1]
12495정성태1/19/202111165웹: 40. IIS의 HTTP/2 지원 여부 - h2, h2c [1]
12494정성태1/19/202110392개발 환경 구성: 522. WSL2 인스턴스와 호스트 측의 Hyper-V에 운영 중인 VM과 네트워크 연결을 하는 방법 [2]
12493정성태1/18/20218737.NET Framework: 1009. .NET 5에서의 네트워크 라이브러리 개선 (1) - HTTP 관련 [1]파일 다운로드1
12492정성태1/17/20218127오류 유형: 695. ASP.NET 0x80131620 Failed to bind to address
12491정성태1/16/20219759.NET Framework: 1008. 배열을 반환하는 C# COM 개체의 메서드를 C++에서 사용 시 메모리 누수 현상 [1]파일 다운로드1
12490정성태1/15/20219314.NET Framework: 1007. C# - foreach에서 열거 변수의 타입을 var로 쓰면 object로 추론하는 문제 [1]파일 다운로드1
12489정성태1/13/202110243.NET Framework: 1006. C# - DB에 저장한 텍스트의 (이모티콘을 비롯해) 유니코드 문자가 '?'로 보인다면? [1]
12488정성태1/13/202110494.NET Framework: 1005. C# - string 타입은 shallow copy일까요? deep copy일까요? [2]파일 다운로드1
12487정성태1/13/20219044.NET Framework: 1004. C# - GC Heap에 위치한 참조 개체의 주소를 알아내는 방법파일 다운로드1
12486정성태1/12/20219962.NET Framework: 1003. x64 환경에서 참조형의 기본 메모리 소비는 얼마나 될까요? [1]
12485정성태1/11/202110688Graphics: 38. C# - OpenCvSharp.VideoWriter에 BMP 파일을 1초씩 출력하는 예제파일 다운로드1
12484정성태1/9/202111351.NET Framework: 1002. C# - ReadOnlySequence<T> 소개파일 다운로드1
12483정성태1/8/20218471개발 환경 구성: 521. dotPeek - 훌륭한 역어셈블 소스 코드 생성 도구
12482정성태1/8/20219975.NET Framework: 1001. C# - 제네릭 타입/메서드에서 사용 시 경우에 따라 CS8377 컴파일 에러
12481정성태1/7/20219646.NET Framework: 1000. C# - CS8344 컴파일 에러: ref struct 타입의 사용 제한 메서드파일 다운로드1
12480정성태1/6/202112271.NET Framework: 999. C# - ArrayPool<T>와 MemoryPool<T> 소개파일 다운로드1
12479정성태1/6/20219645.NET Framework: 998. C# - OWIN 예제 프로젝트 만들기
12478정성태1/5/202111284.NET Framework: 997. C# - ArrayPool<T> 소개파일 다운로드1
... 31  32  33  34  35  36  37  38  39  40  41  42  43  44  [45]  ...