Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일
.NET 64비트 응용 프로그램에서 왜 (2GB) OutOfMemoryException 예외가 발생할까?

재현 가능한 예제 코드는 다음과 같습니다.

static void Main(string[] args)
{
    HashSet<long> t = new HashSet<long>();

    for (long i = 0; i < Int32.MaxValue; i++)
    {
        t.Add(i);
    }
}

x64 또는 AnyCPU 로 빌드하고 64비트 운영체제가 설치된 PC에서 실행하게 되면 다음과 같이 메모리를 소비하다가 이내 OutOfMemoryException 예외에 걸려 버립니다.

oom_dotnet_x64_at_2gbheap_1.png

이에 대한 원인을 다음의 글에서 아주 상세하게 설명해 주고 있습니다.

 BigArray<T>, getting around the 2GB array size limit 
; http://blogs.msdn.com/b/joshwil/archive/2005/08/10/450202.aspx

즉, CLR 객체 하나가 가질 수 있는 최대 메모리 용량이 2GB 로 제한되어 있기 때문입니다. 재미삼아서 확인해 볼까요? ^^

OutOfMemoryException 예외가 발생했을 때, windbg 를 연결하고 다음과 같이 명령을 내리면,

0:004> .loadby sos clr

0:004> !dumpheap -stat
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007feea3d3ef8        1           24 System.Collections.Generic.GenericEqualityComparer`1[[System.Int64, mscorlib]]
...[생략]...
000007fee99ec7e8       15    287976920 System.Int32[]
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 646 objects

용량이, 약 1.7GB 정도 되는 군요. 좀더 자세하게 살펴보면,

0:004> !dumpheap -mt 000007ff00056ce0
         Address               MT     Size
0000000046f11000 000007ff00056ce0 575949792     
000000007fff1000 000007ff00056ce0 1151900496     
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 2 objects

이제 주어진 Address 필드 값을 가지고 좀 더 자세히 보면,

0:004> !dumpobj 0000000046f11000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        575,949,792(0x22544be0) bytes
Array:       Rank 1, Number of elements 23997907, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

0:004> !dumpobj 000000007fff1000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        1,151,900,496(0x44a89b50) bytes
Array:       Rank 1, Number of elements 47995853, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

"HashSet`1+Slot" 타입의 인스턴스가 2개 할당되어 있고, 각각 용량이 575,949,792(0x22544be0) bytes, 1,151,900,496(0x44a89b50) bytes 로 되어 있는 것을 확인할 수 있습니다. 아니? 방금 전에는 개체 하나가 2GB로 제한되어 있어서 예외가 발생한다고 말했으면서 결과는 이와 다르니... 살짝 난감합니다. ^^;

자,,, 어쨌든 결과를 믿어야겠으니... 이야기를 꿰어맞춰 보도록 하겠습니다.

우선 단서가 있다면, HashSet 같은 자료 구조는 내부적으로 용량이 모자랄 때 그 크기를 증가시켜서 재할당한다는 것을... 모든 닷넷 프로그래머들은 잘 아실 것입니다. ^^

오호라... 가만 보니까, 575,949,792 bytes는 1,151,900,496 bytes 의 거의 절반에 가까운 값임을 눈짐작으로 가늠됩니다. 아하~~~ 그럼 설명이 되는 군요. 약 500 MB 짜리의 000000007fff1000 인스턴스가 위에서 보이는 것은 GC 가 되기 전이어서 살아 남아 있는 거라고 설명이 될 것 같고, 그러하니 현재 HashSet 인스턴스는 1GB 짜리의 000000007fff1000 가 될 것입니다. 그 용량이 모자라서 다시 Heap 에 2배수에 가까운 메모리를 할당하려는 데, 하필 그 용량이 2GB 를 넘었기 때문에 OutOfMemoryException 예외가 발생했다고... 이야기를 엮을 수 있겠습니다. (휴~~~ 왠지 들어맞는 것 같아서 다행입니다. ^^)

신빙성을 더하기 위해 소스 코드를 한번 들여다 볼까요? HashSet의 Add -> AddIfNotPresent 메서드를 거쳐서,

public bool Add(T item)
{
    return this.AddIfNotPresent(item);
}

private bool AddIfNotPresent(T value)
{
    int freeList;
    ...[생략]...
            this.IncreaseCapacity();
            index = hashCode % this.m_buckets.Length;
    ...[생략]...
    return true;
}

IncreaseCapacity 메서드를 들여다 보니... 답이 나왔습니다.

private void IncreaseCapacity()
{
    int min = this.m_count * 2;
    if (min < 0)
    {
        min = this.m_count;
    }
    int prime = HashHelpers.GetPrime(min);
    if (prime <= this.m_count)
    {
        throw new ArgumentException(SR.GetString("Arg_HSCapacityOverflow"));
    }
    Slot<T>[] destinationArray = new Slot<T>[prime];
    ...[생략]...
}

위의 소스 코드를 보니, DumpHeap 결과의 "System.Collections.Generic.HashSet`1+Slot" 에서 왜 "Slot"이 들어갔는지도 설명이 되는 군요.




문제는 일단 확인했고, 그렇다면 이를 극복하려면 어떻게 해야할까요?

역시 이에 대한 우회적인 해법도 소개해드린 글에서 제시하고 있습니다.

  1. x64 의 사용자 영역에 할당가능한 메모리가 8TB 인데, 과연 메모리가 그만큼 허용된다고 해서 하나의 컬렉션에서 시스템 전체의 심각한 성능 저해를 유발시키면서까지 메모리를 소비하는 것이 바람직한지를 심사숙고하시고, 응용 프로그램 설계를 다시 적절하게 하시길 바람!
  2. [또는] 역시 이런 경우의 해법은 C/C++ 임! P/Invoke 또는 C++/CLI 를 이용해서 해결하세요.
  3. [또는] 어차피 하나의 CLR 개체가 2GB 제한이 있는 것일 뿐, 응용 프로그램 수준에서는 제한이 없으므로 차라리 여러 개의 CLR 개체에 분배해서 사용하세요.

이 중에서 2번 항목을 선택해서 C++/CLI 예를 하나 들어볼까요?
기본 데이터 타입인 경우에는 어렵지 않습니다. 아래와 같이, C++에서 지원되는 자료 구조로 값을 넣어주는 래퍼 함수 정도만 정의하면 됩니다.

#pragma once

#include <atlcoll.h>
using namespace ATL;

using namespace System;
using namespace System::Collections;

namespace ClassLib 
{
    public ref class TestHash
    {
    public:
        TestHash(void)
        {
            test = new CAtlMap<__int64, bool>();
        }

        bool Add(__int64 value)
        {
            CAtlMap<__int64, bool>::CPair *found = test->Lookup(value);
            if (found == NULL)
            {
                test->SetAt(value, true);
                return true;
            }

            return false;
        }

    protected:
        ~TestHash()
        {
            delete test;
        }

    private:
        CAtlMap<__int64, bool> *test;
    };
}

그런 후에, C++/CLI 프로젝트를 C# 에서 바로 참조하고 다음과 같이 코드를 추가하시면 끝!

ClassLib.TestHash th = new ClassLib.TestHash();

for (long i = 0; i < Int32.MaxValue; i++)
{
    th.Add(i);
}

C++/CLI 가 나름 유용할만한 사례가 하나 추가되는 군요. ^^ (소스 코드 첨부)

(위의 C++/CLI 소스코드 빌드하느라고, 지난 번 글들 - 빌드오류 1, 빌드오류 2 - 이 씌여진 것입니다. ^^)





[이 토픽에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 8/12/2018 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2011-10-19 05시55분
[정세일(spowner)] 평소에 기고하신 글 잘 읽습니다. ^^

[손님]

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12130정성태1/26/202016VS.NET IDE: 142. Visual Studio에서 windbg의 "Open Executable..."처럼 EXE를 직접 열어 디버깅을 시작하는 방법
12129정성태1/26/202033.NET Framework: 882. C# - 키움 Open API+ 사용 시 Registry 등록 없이 KHOpenAPI.ocx 사용하는 방법
12128정성태1/26/20208오류 유형: 591. The code execution cannot proceed because mfc100.dll was not found. Reinstalling the program may fix this problem.
12127정성태1/25/202038.NET Framework: 881. C# DLL에서 제공하는 Win32 export 함수의 내부 동작 방식(VT Fix up Table)파일 다운로드1
12126정성태1/25/202047.NET Framework: 880. C# - PE 파일로부터 IMAGE_COR20_HEADER 및 VTableFixups 테이블 분석파일 다운로드1
12125정성태1/24/202013VS.NET IDE: 141. IDE0019 - Use pattern matching
12124정성태1/24/202020VS.NET IDE: 140. IDE1006 - Naming rule violation: These words must begin with upper case characters: ...
12123정성태1/23/202043웹: 39. Google Analytics - gtag 함수를 이용해 페이지 URL 수정 및 별도의 이벤트 생성 방법
12122정성태1/22/202072.NET Framework: 879. C/C++의 UNREFERENCED_PARAMETER 매크로를 C#에서 우회하는 방법(IDE0060 - Remove unused parameter '...')파일 다운로드1
12121정성태1/24/202048VS.NET IDE: 139. Visual Studio - Error List: "Could not find schema information for the ..."파일 다운로드1
12120정성태1/20/202093.NET Framework: 878. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 네 번째 이야기(IL 코드로 직접 구현)파일 다운로드1
12119정성태1/17/202079디버깅 기술: 160. Windbg 확장 DLL 만들기 (3) - C#으로 만드는 방법
12118정성태1/17/202095개발 환경 구성: 466. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 세 번째 이야기
12117정성태1/15/202063디버깅 기술: 159. C# - 디버깅 중인 프로세스를 강제로 다른 디버거에서 연결하는 방법파일 다운로드1
12116정성태1/15/202067디버깅 기술: 158. Visual Studio로 디버깅 시 sos.dll 확장 명령어를 (비롯한 windbg의 다양한 기능을) 수행하는 방법
12115정성태1/14/202044디버깅 기술: 157. C# - PEB.ProcessHeap을 이용해 디버깅 중인지 확인하는 방법파일 다운로드1
12114정성태1/13/2020102디버깅 기술: 156. C# - PDB 파일로부터 심벌(Symbol) 및 타입(Type) 정보 열거파일 다운로드3
12113정성태1/12/202071오류 유형: 590. Visual C++ 빌드 오류 - fatal error LNK1104: cannot open file 'atls.lib'
12112정성태1/12/202036오류 유형: 589. PowerShell - 원격 Invoke-Command 실행 시 "WinRM cannot complete the operation" 오류 발생
12111정성태1/12/2020108디버깅 기술: 155. C# - KernelMemoryIO 드라이버를 이용해 실행 프로그램을 숨기는 방법(DKOM: Direct Kernel Object Modification)
12110정성태1/12/202085디버깅 기술: 154. Patch Guard로 인해 블루 스크린(BSOD)가 발생하는 사례파일 다운로드1
12109정성태1/10/202029오류 유형: 588. Driver 프로젝트 빌드 오류 - Inf2Cat error -2: "Inf2Cat, signability test failed."
12108정성태1/10/202036오류 유형: 587. Kernel Driver 시작 시 127(The specified procedure could not be found.) 오류 메시지 발생
12107정성태1/10/2020121.NET Framework: 877. C# - 프로세스의 모든 핸들을 열람 - 두 번째 이야기
12106정성태1/8/202090VC++: 136. C++ - OSR Driver Loader와 같은 Legacy 커널 드라이버 설치 프로그램 제작
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...