Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일
.NET 64비트 응용 프로그램에서 왜 (2GB) OutOfMemoryException 예외가 발생할까?

재현 가능한 예제 코드는 다음과 같습니다.

static void Main(string[] args)
{
    HashSet<long> t = new HashSet<long>();

    for (long i = 0; i < Int32.MaxValue; i++)
    {
        t.Add(i);
    }
}

x64 또는 AnyCPU 로 빌드하고 64비트 운영체제가 설치된 PC에서 실행하게 되면 다음과 같이 메모리를 소비하다가 이내 OutOfMemoryException 예외에 걸려 버립니다.

oom_dotnet_x64_at_2gbheap_1.png

이에 대한 원인을 다음의 글에서 아주 상세하게 설명해 주고 있습니다.

 BigArray<T>, getting around the 2GB array size limit 
; http://blogs.msdn.com/b/joshwil/archive/2005/08/10/450202.aspx

즉, CLR 객체 하나가 가질 수 있는 최대 메모리 용량이 2GB 로 제한되어 있기 때문입니다. 재미삼아서 확인해 볼까요? ^^

OutOfMemoryException 예외가 발생했을 때, windbg 를 연결하고 다음과 같이 명령을 내리면,

0:004> .loadby sos clr

0:004> !dumpheap -stat
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007feea3d3ef8        1           24 System.Collections.Generic.GenericEqualityComparer`1[[System.Int64, mscorlib]]
...[생략]...
000007fee99ec7e8       15    287976920 System.Int32[]
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 646 objects

용량이, 약 1.7GB 정도 되는 군요. 좀더 자세하게 살펴보면,

0:004> !dumpheap -mt 000007ff00056ce0
         Address               MT     Size
0000000046f11000 000007ff00056ce0 575949792     
000000007fff1000 000007ff00056ce0 1151900496     
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 2 objects

이제 주어진 Address 필드 값을 가지고 좀 더 자세히 보면,

0:004> !dumpobj 0000000046f11000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        575,949,792(0x22544be0) bytes
Array:       Rank 1, Number of elements 23997907, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

0:004> !dumpobj 000000007fff1000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        1,151,900,496(0x44a89b50) bytes
Array:       Rank 1, Number of elements 47995853, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

"HashSet`1+Slot" 타입의 인스턴스가 2개 할당되어 있고, 각각 용량이 575,949,792(0x22544be0) bytes, 1,151,900,496(0x44a89b50) bytes 로 되어 있는 것을 확인할 수 있습니다. 아니? 방금 전에는 개체 하나가 2GB로 제한되어 있어서 예외가 발생한다고 말했으면서 결과는 이와 다르니... 살짝 난감합니다. ^^;

자,,, 어쨌든 결과를 믿어야겠으니... 이야기를 꿰어맞춰 보도록 하겠습니다.

우선 단서가 있다면, HashSet 같은 자료 구조는 내부적으로 용량이 모자랄 때 그 크기를 증가시켜서 재할당한다는 것을... 모든 닷넷 프로그래머들은 잘 아실 것입니다. ^^

오호라... 가만 보니까, 575,949,792 bytes는 1,151,900,496 bytes 의 거의 절반에 가까운 값임을 눈짐작으로 가늠됩니다. 아하~~~ 그럼 설명이 되는 군요. 약 500 MB 짜리의 000000007fff1000 인스턴스가 위에서 보이는 것은 GC 가 되기 전이어서 살아 남아 있는 거라고 설명이 될 것 같고, 그러하니 현재 HashSet 인스턴스는 1GB 짜리의 000000007fff1000 가 될 것입니다. 그 용량이 모자라서 다시 Heap 에 2배수에 가까운 메모리를 할당하려는 데, 하필 그 용량이 2GB 를 넘었기 때문에 OutOfMemoryException 예외가 발생했다고... 이야기를 엮을 수 있겠습니다. (휴~~~ 왠지 들어맞는 것 같아서 다행입니다. ^^)

신빙성을 더하기 위해 소스 코드를 한번 들여다 볼까요? HashSet의 Add -> AddIfNotPresent 메서드를 거쳐서,

public bool Add(T item)
{
    return this.AddIfNotPresent(item);
}

private bool AddIfNotPresent(T value)
{
    int freeList;
    ...[생략]...
            this.IncreaseCapacity();
            index = hashCode % this.m_buckets.Length;
    ...[생략]...
    return true;
}

IncreaseCapacity 메서드를 들여다 보니... 답이 나왔습니다.

private void IncreaseCapacity()
{
    int min = this.m_count * 2;
    if (min < 0)
    {
        min = this.m_count;
    }
    int prime = HashHelpers.GetPrime(min);
    if (prime <= this.m_count)
    {
        throw new ArgumentException(SR.GetString("Arg_HSCapacityOverflow"));
    }
    Slot<T>[] destinationArray = new Slot<T>[prime];
    ...[생략]...
}

위의 소스 코드를 보니, DumpHeap 결과의 "System.Collections.Generic.HashSet`1+Slot" 에서 왜 "Slot"이 들어갔는지도 설명이 되는 군요.




문제는 일단 확인했고, 그렇다면 이를 극복하려면 어떻게 해야할까요?

역시 이에 대한 우회적인 해법도 소개해드린 글에서 제시하고 있습니다.

  1. x64 의 사용자 영역에 할당가능한 메모리가 8TB 인데, 과연 메모리가 그만큼 허용된다고 해서 하나의 컬렉션에서 시스템 전체의 심각한 성능 저해를 유발시키면서까지 메모리를 소비하는 것이 바람직한지를 심사숙고하시고, 응용 프로그램 설계를 다시 적절하게 하시길 바람!
  2. [또는] 역시 이런 경우의 해법은 C/C++ 임! P/Invoke 또는 C++/CLI 를 이용해서 해결하세요.
  3. [또는] 어차피 하나의 CLR 개체가 2GB 제한이 있는 것일 뿐, 응용 프로그램 수준에서는 제한이 없으므로 차라리 여러 개의 CLR 개체에 분배해서 사용하세요.

이 중에서 2번 항목을 선택해서 C++/CLI 예를 하나 들어볼까요?
기본 데이터 타입인 경우에는 어렵지 않습니다. 아래와 같이, C++에서 지원되는 자료 구조로 값을 넣어주는 래퍼 함수 정도만 정의하면 됩니다.

#pragma once

#include <atlcoll.h>
using namespace ATL;

using namespace System;
using namespace System::Collections;

namespace ClassLib 
{
    public ref class TestHash
    {
    public:
        TestHash(void)
        {
            test = new CAtlMap<__int64, bool>();
        }

        bool Add(__int64 value)
        {
            CAtlMap<__int64, bool>::CPair *found = test->Lookup(value);
            if (found == NULL)
            {
                test->SetAt(value, true);
                return true;
            }

            return false;
        }

    protected:
        ~TestHash()
        {
            delete test;
        }

    private:
        CAtlMap<__int64, bool> *test;
    };
}

그런 후에, C++/CLI 프로젝트를 C# 에서 바로 참조하고 다음과 같이 코드를 추가하시면 끝!

ClassLib.TestHash th = new ClassLib.TestHash();

for (long i = 0; i < Int32.MaxValue; i++)
{
    th.Add(i);
}

C++/CLI 가 나름 유용할만한 사례가 하나 추가되는 군요. ^^ (소스 코드 첨부)

(위의 C++/CLI 소스코드 빌드하느라고, 지난 번 글들 - 빌드오류 1, 빌드오류 2 - 이 씌여진 것입니다. ^^)





[이 토픽에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 8/12/2018 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2011-10-19 05시55분
[정세일(spowner)] 평소에 기고하신 글 잘 읽습니다. ^^

[손님]

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12074정성태12/10/201924디버깅 기술: 140. windbg/Visual Studio - 값이 변경된 경우를 위한 정지점(BP) 설정(Data Breakpoint)
12073정성태12/10/201926Linux: 24. Linux/C# - 실행 파일이 아닌 스크립트 형식의 명령어를 Process.Start로 실행하는 방법
12072정성태12/9/201935오류 유형: 583. iisreset 수행 시 "No such interface supported" 오류
12071정성태12/9/201937오류 유형: 582. 리눅스 디스크 공간 부족 및 safemode 부팅 방법
12070정성태12/9/201931오류 유형: 581. resize2fs: Bad magic number in super-block while trying to open /dev/.../root
12069정성태12/2/2019134디버깅 기술: 139. windbg - x64 덤프 분석 시 메서드의 인자 또는 로컬 변수의 값을 확인하는 방법
12068정성태11/28/2019154디버깅 기술: 138. windbg와 Win32 API로 알아보는 Windows Heap 정보 분석 [1]파일 다운로드2
12067정성태11/27/201997디버깅 기술: 137. 실제 사례를 통해 Debug Diagnostics 도구가 생성한 닷넷 웹 응용 프로그램의 성능 장애 보고서 설명파일 다운로드1
12066정성태11/27/201971디버깅 기술: 136. windbg - C# PInvoke 호출 시 마샬링을 담당하는 함수 분석 - OracleCommand.ExecuteReader에서 OpsSql.Prepare2 PInvoke 호출 분석
12065정성태11/25/201999디버깅 기술: 135. windbg - C# PInvoke 호출 시 마샬링을 담당하는 함수 분석파일 다운로드1
12064정성태11/25/201947오류 유형: 580. HTTP Error 500.0/500.33 - ANCM In-Process Handler Load Failure
12063정성태11/21/201999디버깅 기술: 134. windbg - RtlReportCriticalFailure로부터 parameters 정보 찾는 방법
12062정성태11/21/201993디버깅 기술: 133. windbg - CoTaskMemFree/FreeCoTaskMem에서 발생한 덤프 분석 사례 - 두 번째 이야기
12061정성태11/20/201989Windows: 165. CoTaskMemAlloc/CoTaskMemFree과 윈도우 Heap의 관계
12060정성태11/21/2019113디버깅 기술: 132. windbg/Visual Studio - HeapFree x64의 동작 분석
12059정성태11/20/2019118디버깅 기술: 131. windbg/Visual Studio - HeapFree x86의 동작 분석
12058정성태11/19/2019122디버깅 기술: 130. windbg - CoTaskMemFree/FreeCoTaskMem에서 발생한 덤프 분석 사례
12057정성태11/18/201971오류 유형: 579. Visual Studio - Memory 창에서 유효한 주소 영역임에도 "Unable to evaluate the expression." 오류 출력
12056정성태11/18/2019135개발 환경 구성: 464. "Microsoft Visual Studio Installer Projects" 프로젝트로 EXE 서명 및 MSI 파일 서명 방법파일 다운로드1
12055정성태11/17/201987개발 환경 구성: 463. Visual Studio의 Ctrl + Alt + M, 1 (Memory 1) 등의 단축키가 동작하지 않는 경우
12054정성태11/15/2019276.NET Framework: 869. C# - 일부러 GC Heap을 깨뜨려 GC 수행 시 비정상 종료시키는 예제
12053정성태11/15/201990Windows: 164. 윈도우 10 - 명령행 창(cmd.exe) 속성에 (DotumChe, GulimChe, GungsuhChe 등의) 한글 폰트가 없는 경우
12052정성태11/15/201963오류 유형: 578. Azure - 일정(schedule)에 등록한 runbook이 1년 후 실행이 안 되는 문제(Reason - The key used is expired.)
12051정성태12/2/2019126개발 환경 구성: 462. 시작하자마자 비정상 종료하는 프로세스의 메모리 덤프 - procdump
12050정성태11/14/2019113Windows: 163. AcLayers의 API 후킹과 FaultTolerantHeap
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...