Microsoft MVP성태의 닷넷 이야기
.NET Framework: 640. 닷넷 - 배열 크기의 한계 [링크 복사], [링크+제목 복사]
조회: 10453
글쓴 사람
홈페이지
첨부 파일

닷넷 - 배열 크기의 한계

아래와 같은 질문이 있군요.

8GB 이상의 byte 배열 생성
; https://social.msdn.microsoft.com/Forums/ko-KR/fd578b7f-d3c8-4f00-9708-2407a03653f2/8gb-byte-?forum=visualcsharpko

위의 글에 대한 답변으로 예전에 썼던 .NET GC Heap을 2GB 넘게 사용하는 방법을 무심코 써먹었는데요. ^^;

.NET 4.5 의 2GB 힙 한계 극복
; https://www.sysnet.pe.kr/2/0/1403

아쉽게도 이것은 다른 문제입니다. 정리하면, GC Heap을 2GB 넘게 사용하는 것은 gcAllowVeryLargeObjects 옵션을 이용해 가능하지만 그렇다고 해서 배열의 요소 수가 232을 넘지는 못합니다. 이에 대해서는 gcAllowVeryLargeObjects 문서에 자세하게 나와 있습니다.

<gcAllowVeryLargeObjects> Element
; https://docs.microsoft.com/en-us/dotnet/framework/configure-apps/file-schema/runtime/gcallowverylargeobjects-element

  • The maximum number of elements in an array is UInt32.MaxValue.
  • The maximum index in any single dimension is 2,147,483,591 (0x7FFFFFC7) for byte arrays and arrays of single-byte structures, and 2,146,435,071 (0X7FEFFFFF) for other types.
  • The maximum size for strings and other non-array objects is unchanged.

위의 의미를 해석해 보면!

우선, 단일 차원의 크기는 Int32.MaxValue에서 56을 뺀 2,147,483,591(0x7FFFFFC7)이 최대 값입니다.

byte[] t1 = new byte[Int32.MaxValue - 56]; // Int32.MaxValue - 56 == 2,147,483,591

또한, 다중 차원으로 하는 경우 전체 요소의 수는 UInt32.MaxValue까지 가능합니다. 따라서, 다음과 같이 배열 할당은 가능하지만,

byte[,] t = new byte[Int32.MaxValue - 56, 2]; // 2,147,483,591 * 2 <= UInt32.MaxValue (4,294,967,295)
byte[,] t = new byte[65537, 65535]; // 65,537 * 65,535 <= UInt32.MaxValue (4294967295)

다음과 같은 배열 할당은 불가능합니다.

byte[,] t = new byte[Int32.MaxValue, 1];
byte[,] t = new byte[Int32.MaxValue - 56, 3]; // 2,147,483,591 * 3 > UInt32.MaxValue (4294967295)
byte[,] t = new byte[65537, 65536]; // 65,537 * 65,536 > UInt32.MaxValue (4294967295)

마지막으로 단일 문자열의 크기는 2GB를 넘을 수 없습니다. 즉, 문자 하나의 크기가 2바이트이므로 Int32.MaxValue / 2 == 1,073,741,823 개의 글자만 담을 수 있는데 실제로 테스트해보면 32를 뺀 1,073,741,791까지만 가능합니다. 즉, 다음은 허용 가능하지만,

int len = 1073741823 - 32;
string s1 = new string('c', len);

그 이상을 할당하면,

int len = 1073741823 - 31;
string s1 = new string('c', len);

OOM(System.OutOfMemoryException) 예외가 발생합니다.

("other non-array objects"라는 것은 단일 클래스로 내부의 primitive 멤버 만으로 2GB를 넘는 경우일 텐데 이런 상황은 거의 없을 것이므로 넘어갑니다. ^^)



참고로, byte 타입의 경우 Marshal.AllocCoTaskMem / AllocHGlobal을 사용하면 Int32.MaxValue의 모든 범위를 접근 가능한 배열을 얻을 수 있습니다.

int len = Int32.MaxValue;
IntPtr pBuf = Marshal.AllocCoTaskMem(len);

byte* ptr = (byte*)pBuf.ToPointer();

int i = 0;
for (i = 0; i < len; i++)
{
    *(ptr + i) = 10;
}

Console.WriteLine(*(ptr + len - 1));
Console.WriteLine();

Marshal.FreeCoTaskMem(pBuf);

AllocCoTaskMem 메서드가 받아들이는 인자의 타입이 int이므로 어쩔 수 없이 2GB 한계는 갖게 되지만 CLR 오버헤드로 인한 56 바이트의 제약은 벗어날 수 있습니다.



자... 그럼 재미있는 거 하나를 더 해볼까요? ^^

Marshal.AllocCoTaskMem 메서드는 사실 내부적으로 CoTaskMemAlloc Win32 API를 호출하는 것뿐입니다.

CoTaskMemAlloc function
; https://docs.microsoft.com/en-us/windows/win32/api/combaseapi/nf-combaseapi-cotaskmemalloc

그리고, 이 함수의 입력 인자 타입은 SIZE_T인데 64비트에서는 __int64로 정의된 64비트 타입입니다. 오호~~~ 그렇다면 닷넷에서 직접 CoTaskMemAlloc을 불러 배열의 한계를 넘는 것이 가능할 수 있습니다. 실제로 아래와 같이 UInt32.MaxValue의 크기를 갖는 메모리를 할당 후 바이트 배열로 취급하는 것이 가능합니다.

[DllImport("ole32.dll")]
static extern IntPtr CoTaskMemAlloc(long len);

[DllImport("ole32.dll")]
static extern void CoTaskMemFree(IntPtr pBuf);

private unsafe static void Alloc2Test()
{
    long len = UInt32.MaxValue;
    IntPtr pBuf = CoTaskMemAlloc(len);

    byte* ptr = (byte*)pBuf.ToPointer();

    long i = 0;
    for (i = 0; i < len; i++)
    {
        *(ptr + i) = 10;
    }

    Console.WriteLine(*(ptr + len - 1));
    Console.WriteLine();

    CoTaskMemFree(pBuf);
}

그럼, 이제 답이 나왔군요. "8GB 이상의 byte 배열 생성"은 Win32 API의 힘을 빌린다면 닷넷에서도 가능합니다. ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 10/19/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-02-14 08시41분
[정환나라] in32.maxvalue에서 56을 뺀 크기라고 했는데 56은 무엇을 의미하는것인지 힌트라도 주실 수 있나요?
[손님]
2017-04-11 06시18분
[2017-02-14 덧글 수정] 저도 그에 대한 문서를 찾을 수가 없군요. ^^ 검색해 보면, stackoverflow 등에서 단지 magic number라고만 언급하는 정도입니다. 아무 근거 없이 추측해 보자면, 64비트이니 8바이트 정렬이 되었다고 가정하고 56이 8로 나눠지는 것으로 봐서는 7개의 부가 정보가 필요한데요. 다음의 글에 보면 그 중 4개가 나옵니다.

.NET Array는 왜 12 bytes 의 기본 메모리를 점유할까?
; http://www.sysnet.pe.kr/2/0/1173

Array 하나에 System.Object[]형에 대한 MethodTable 값, 배열의 요소 수, Element의 타입에 대한 MethodTable 값과 함께 배열의 마지막을 0으로 채운 값이 들어갑니다.

나머지 3개는... CLR 자체의 힙에 대한 기본적인 overhead일 수도 있는데, 아마도 CoreCLR 소스 코드를 봐야 알 수 있지 않을까 싶습니다. 이참에 '정환나라'님이 한 번 보시고... 정리해 주시면... ^^
정성태

... 31  32  33  34  35  36  37  38  39  40  41  42  [43]  44  45  ...
NoWriterDateCnt.TitleFile(s)
11161정성태3/24/20174828오류 유형: 379. ICOMAdminCatalog.GetCollection 호출 시 0x80070422 예외 발생
11160정성태3/23/20175733.NET Framework: 649. ASP.NET - Server cannot append header after HTTP headers have been sent. (HTTP 헤더를 보낸 후에는 서버에서 헤더를 추가할 수 없습니다.)파일 다운로드1
11159정성태3/23/20174819Windows: 136. Memory-mapped File은 Private Bytes 크기에 포함될까요?파일 다운로드1
11158정성태3/22/20174834디버깅 기술: 85. Windbg - SOS 디버깅 사례 System.NullReferenceException 예외 추적
11157정성태3/22/20175304.NET Framework: 648. Dictionary&lt;TKey, TValue&gt;를 deep copy하는 방법파일 다운로드1
11156정성태3/21/20175070.NET Framework: 647. 닷넷(C#) 코드로 인증서 요청 코드 만드는 방법파일 다운로드1
11155정성태3/21/20175121.NET Framework: 646. SslStream의 CipherAlgorithm 선택이 가능할까요?파일 다운로드1
11154정성태3/5/201712990VC++: 109. DLL에서 STL 객체를 인자/반환값으로 갖는 함수를 제공할 때, 그 함수를 외부에서 사용하는 경우 비정상 종료한다면? [2]파일 다운로드1
11153정성태3/5/201712347VC++: 108. DLL에 정의된 C++ template 클래스의 복사 생성자 문제파일 다운로드1
11152정성태10/19/20196226VC++: 107. VirtualAlloc, HeapAlloc, GlobalAlloc, LocalAlloc, malloc, new의 차이점
11151정성태10/19/20196308VC++: 106. DLL 개발자가 주의해야 할 Secure CRT 함수 사용파일 다운로드1
11150정성태2/21/20174600.NET Framework: 645. Visual Studio Fakes 기능에서 Shim... 클래스가 생성되지 않는 경우
11149정성태2/21/20176804오류 유형: 378. A 64-bit test cannot run in a 32-bit process. Specify platform as X64 to force test run in X64 mode on X64 machine.
11148정성태2/20/20175898.NET Framework: 644. AppDomain에 대한 단위 테스트 시 알아야 할 사항
11147정성태2/19/20177277오류 유형: 377. Windows 10에서 Fake 어셈블리를 생성하는 경우 빌드 시 The type or namespace name '...' does not exist in the namespace 컴파일 오류 발생
11146정성태2/19/20176431오류 유형: 376. Error VSP1033: The file '...' does not contain a recognized executable image. [2]
11145정성태2/16/20176130.NET Framework: 643. 작업자 프로세스(w3wp.exe)가 재시작되는 시점을 알 수 있는 방법 - 두 번째 이야기 [4]파일 다운로드1
11144정성태2/6/20178960.NET Framework: 642. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (부록 1) - CallingConvention.StdCall, CallingConvention.Cdecl에 상관없이 왜 호출이 잘 될까요?파일 다운로드1
11143정성태2/5/20176462.NET Framework: 641. [Out] 형식의 int * 인자를 가진 함수에 대한 P/Invoke 호출 방법파일 다운로드1
11142정성태10/19/201910453.NET Framework: 640. 닷넷 - 배열 크기의 한계 [2]파일 다운로드1
11141정성태3/21/20177422.NET Framework: 639. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (4) - CLR JIT 컴파일러의 P/Invoke 호출 규약 [1]파일 다운로드1
11140정성태1/27/20175998.NET Framework: 638. RSAParameters와 RSA파일 다운로드1
11139정성태2/6/20176414.NET Framework: 637. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (3) - x64 환경의 __fastcall과 Name mangling [1]파일 다운로드1
11138정성태1/20/20176070VS.NET IDE: 113. 프로젝트 생성시 부터 "Enable the Visual Studio hosting process" 옵션을 끄는 방법 - 두번째 이야기 [3]
11137정성태1/20/20175489Windows: 135. AD에 참여한 컴퓨터로 RDP 연결 시 배경 화면을 못 바꾸는 정책
11136정성태3/12/20206222오류 유형: 375. Hyper-V 내에 구성한 Active Directory 환경의 시간 구성 방법 - 두 번째 이야기
... 31  32  33  34  35  36  37  38  39  40  41  42  [43]  44  45  ...