Microsoft MVP성태의 닷넷 이야기
.NET Framework: 640. 닷넷 - 배열 크기의 한계 [링크 복사], [링크+제목 복사]
조회: 11220
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

닷넷 - 배열 크기의 한계

아래와 같은 질문이 있군요.

8GB 이상의 byte 배열 생성
; https://social.msdn.microsoft.com/Forums/ko-KR/fd578b7f-d3c8-4f00-9708-2407a03653f2/8gb-byte-?forum=visualcsharpko

위의 글에 대한 답변으로 예전에 썼던 .NET GC Heap을 2GB 넘게 사용하는 방법을 무심코 써먹었는데요. ^^;

.NET 4.5 의 2GB 힙 한계 극복
; https://www.sysnet.pe.kr/2/0/1403

아쉽게도 이것은 다른 문제입니다. 정리하면, GC Heap을 2GB 넘게 사용하는 것은 gcAllowVeryLargeObjects 옵션을 이용해 가능하지만 그렇다고 해서 배열의 요소 수가 232을 넘지는 못합니다. 이에 대해서는 gcAllowVeryLargeObjects 문서에 자세하게 나와 있습니다.

<gcAllowVeryLargeObjects> Element
; https://docs.microsoft.com/en-us/dotnet/framework/configure-apps/file-schema/runtime/gcallowverylargeobjects-element

  • The maximum number of elements in an array is UInt32.MaxValue.
  • The maximum index in any single dimension is 2,147,483,591 (0x7FFFFFC7) for byte arrays and arrays of single-byte structures, and 2,146,435,071 (0X7FEFFFFF) for other types.
  • The maximum size for strings and other non-array objects is unchanged.

위의 의미를 해석해 보면!

우선, 단일 차원의 크기는 Int32.MaxValue에서 56을 뺀 2,147,483,591(0x7FFFFFC7)이 최대 값입니다.

byte[] t1 = new byte[Int32.MaxValue - 56]; // Int32.MaxValue - 56 == 2,147,483,591

또한, 다중 차원으로 하는 경우 전체 요소의 수는 UInt32.MaxValue까지 가능합니다. 따라서, 다음과 같이 배열 할당은 가능하지만,

byte[,] t = new byte[Int32.MaxValue - 56, 2]; // 2,147,483,591 * 2 <= UInt32.MaxValue (4,294,967,295)
byte[,] t = new byte[65537, 65535]; // 65,537 * 65,535 <= UInt32.MaxValue (4294967295)

다음과 같은 배열 할당은 불가능합니다.

byte[,] t = new byte[Int32.MaxValue, 1];
byte[,] t = new byte[Int32.MaxValue - 56, 3]; // 2,147,483,591 * 3 > UInt32.MaxValue (4294967295)
byte[,] t = new byte[65537, 65536]; // 65,537 * 65,536 > UInt32.MaxValue (4294967295)

마지막으로 단일 문자열의 크기는 2GB를 넘을 수 없습니다. 즉, 문자 하나의 크기가 2바이트이므로 Int32.MaxValue / 2 == 1,073,741,823 개의 글자만 담을 수 있는데 실제로 테스트해보면 32를 뺀 1,073,741,791까지만 가능합니다. 즉, 다음은 허용 가능하지만,

int len = 1073741823 - 32;
string s1 = new string('c', len);

그 이상을 할당하면,

int len = 1073741823 - 31;
string s1 = new string('c', len);

OOM(System.OutOfMemoryException) 예외가 발생합니다.

("other non-array objects"라는 것은 단일 클래스로 내부의 primitive 멤버 만으로 2GB를 넘는 경우일 텐데 이런 상황은 거의 없을 것이므로 넘어갑니다. ^^)



참고로, byte 타입의 경우 Marshal.AllocCoTaskMem / AllocHGlobal을 사용하면 Int32.MaxValue의 모든 범위를 접근 가능한 배열을 얻을 수 있습니다.

int len = Int32.MaxValue;
IntPtr pBuf = Marshal.AllocCoTaskMem(len);

byte* ptr = (byte*)pBuf.ToPointer();

int i = 0;
for (i = 0; i < len; i++)
{
    *(ptr + i) = 10;
}

Console.WriteLine(*(ptr + len - 1));
Console.WriteLine();

Marshal.FreeCoTaskMem(pBuf);

AllocCoTaskMem 메서드가 받아들이는 인자의 타입이 int이므로 어쩔 수 없이 2GB 한계는 갖게 되지만 CLR 오버헤드로 인한 56 바이트의 제약은 벗어날 수 있습니다.



자... 그럼 재미있는 거 하나를 더 해볼까요? ^^

Marshal.AllocCoTaskMem 메서드는 사실 내부적으로 CoTaskMemAlloc Win32 API를 호출하는 것뿐입니다.

CoTaskMemAlloc function
; https://docs.microsoft.com/en-us/windows/win32/api/combaseapi/nf-combaseapi-cotaskmemalloc

그리고, 이 함수의 입력 인자 타입은 SIZE_T인데 64비트에서는 __int64로 정의된 64비트 타입입니다. 오호~~~ 그렇다면 닷넷에서 직접 CoTaskMemAlloc을 불러 배열의 한계를 넘는 것이 가능할 수 있습니다. 실제로 아래와 같이 UInt32.MaxValue의 크기를 갖는 메모리를 할당 후 바이트 배열로 취급하는 것이 가능합니다.

[DllImport("ole32.dll")]
static extern IntPtr CoTaskMemAlloc(long len);

[DllImport("ole32.dll")]
static extern void CoTaskMemFree(IntPtr pBuf);

private unsafe static void Alloc2Test()
{
    long len = UInt32.MaxValue;
    IntPtr pBuf = CoTaskMemAlloc(len);

    byte* ptr = (byte*)pBuf.ToPointer();

    long i = 0;
    for (i = 0; i < len; i++)
    {
        *(ptr + i) = 10;
    }

    Console.WriteLine(*(ptr + len - 1));
    Console.WriteLine();

    CoTaskMemFree(pBuf);
}

그럼, 이제 답이 나왔군요. "8GB 이상의 byte 배열 생성"은 Win32 API의 힘을 빌린다면 닷넷에서도 가능합니다. ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 10/19/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-02-14 08시41분
[정환나라] in32.maxvalue에서 56을 뺀 크기라고 했는데 56은 무엇을 의미하는것인지 힌트라도 주실 수 있나요?
[손님]
2017-04-11 06시18분
[2017-02-14 덧글 수정] 저도 그에 대한 문서를 찾을 수가 없군요. ^^ 검색해 보면, stackoverflow 등에서 단지 magic number라고만 언급하는 정도입니다. 아무 근거 없이 추측해 보자면, 64비트이니 8바이트 정렬이 되었다고 가정하고 56이 8로 나눠지는 것으로 봐서는 7개의 부가 정보가 필요한데요. 다음의 글에 보면 그 중 4개가 나옵니다.

.NET Array는 왜 12 bytes 의 기본 메모리를 점유할까?
; http://www.sysnet.pe.kr/2/0/1173

Array 하나에 System.Object[]형에 대한 MethodTable 값, 배열의 요소 수, Element의 타입에 대한 MethodTable 값과 함께 배열의 마지막을 0으로 채운 값이 들어갑니다.

나머지 3개는... CLR 자체의 힙에 대한 기본적인 overhead일 수도 있는데, 아마도 CoreCLR 소스 코드를 봐야 알 수 있지 않을까 싶습니다. 이참에 '정환나라'님이 한 번 보시고... 정리해 주시면... ^^
정성태

... [46]  47  48  49  50  51  52  53  54  55  56  57  58  59  60  ...
NoWriterDateCnt.TitleFile(s)
11211정성태5/26/20174924오류 유형: 391. BeginInvoke에 전달한 람다 함수에 CS1660 에러가 발생하는 경우
11210정성태5/25/20174904기타: 65. ActiveX 없는 전자 메일에 사용된 "개인정보 보호를 위해 암호화된 보안메일"의 암호화 방법
11209정성태5/25/201717476Windows: 143. Windows 10의 Recovery 파티션을 삭제 및 새로 생성하는 방법 [6]
11208정성태5/25/20177774오류 유형: 390. diskpart의 set id 명령어에서 "The specified type is not in the correct format." 오류 발생
11207정성태5/24/20178372Windows: 142. Windows 10의 복구 콘솔로 부팅하는 방법
11206정성태5/24/20175996오류 유형: 389. DISM.exe - The specified image in the specified wim is already mounted for read/write access.
11205정성태5/24/20174902.NET Framework: 658. C#의 tail call 구현은?
11204정성태3/8/202013102개발 환경 구성: 316. 간단하게 살펴보는 Docker for Windows [5]
11203정성태5/19/20176698오류 유형: 388. docker - Host does not exist: "default"
11202정성태5/19/20174869오류 유형: 387. WPF - There is no registered CultureInfo with the IetfLanguageTag 'ug'.
11201정성태5/16/20177268오류 유형: 386. WPF - .NET 3.5 이하에서 TextBox에 한글 입력 시 TextChanged 이벤트의 비정상 종료 문제 [1]파일 다운로드1
11200정성태5/16/20174826오류 유형: 385. WPF - 폰트가 없어 System.IO.FileNotFoundException 예외가 발생하는 경우
11199정성태5/16/20175794.NET Framework: 657. CultureInfo.GetCultures가 반환하는 값
11198정성태5/10/20176926.NET Framework: 656. Windows Forms의 오류(Exception) 처리 방법에 대한 차이점 설명
11197정성태5/8/20175051개발 환경 구성: 315. VHD 파일의 최소 크기파일 다운로드1
11196정성태5/4/20176195오류 유형: 384. Msvm_ImageManagementService WMI 객체를 사용할 때 오류 상황 정리 [1]
11195정성태8/19/20176295.NET Framework: 655. .NET Framework 4.7 릴리스
11194정성태5/3/20177576오류 유형: 383. net use 명령어로 네트워크 드라이브 연결 시 "System error 67 has occurred." 오류 발생
11193정성태5/3/20176339Windows: 141. 설치된 Windows로부터 설치 이미지를 만드는 방법
11192정성태5/2/20177226Windows: 140. unattended.xml/autounattend.xml 파일을 마련하는 방법
11191정성태5/2/20177391Windows: 139. Dell Venue 8 Pro 태블릿에 USB를 이용한 윈도우 운영체제 설치 방법
11190정성태5/2/20179179Windows: 138. Windows 운영체제의 ISO 설치 파일에 미리 Device driver를 준비하는 방법
11189정성태5/2/20175501Windows: 137. Windows 7 USB/DVD DOWNLOAD TOOL로 98%에서 실패하는 경우
11188정성태4/27/20176186VC++: 118. Win32 HANDLE 자료형의 이모저모
11187정성태4/26/20177749개발 환경 구성: 314. C# - PowerPoint 확장 Add-in 만드는 방법 [1]파일 다운로드1
11186정성태4/24/20176200VS.NET IDE: 117. Visual Studio 확장(VSIX)을 이용해 사용자 매크로를 추가하는 방법 [1]파일 다운로드1
... [46]  47  48  49  50  51  52  53  54  55  56  57  58  59  60  ...