Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일
.NET 64비트 응용 프로그램에서 왜 (2GB) OutOfMemoryException 예외가 발생할까?

재현 가능한 예제 코드는 다음과 같습니다.

static void Main(string[] args)
{
    HashSet<long> t = new HashSet<long>();

    for (long i = 0; i < Int32.MaxValue; i++)
    {
        t.Add(i);
    }
}

x64 또는 AnyCPU 로 빌드하고 64비트 운영체제가 설치된 PC에서 실행하게 되면 다음과 같이 메모리를 소비하다가 이내 OutOfMemoryException 예외에 걸려 버립니다.

oom_dotnet_x64_at_2gbheap_1.png

이에 대한 원인을 다음의 글에서 아주 상세하게 설명해 주고 있습니다.

 BigArray<T>, getting around the 2GB array size limit 
; http://blogs.msdn.com/b/joshwil/archive/2005/08/10/450202.aspx

즉, CLR 객체 하나가 가질 수 있는 최대 메모리 용량이 2GB 로 제한되어 있기 때문입니다. 재미삼아서 확인해 볼까요? ^^

OutOfMemoryException 예외가 발생했을 때, windbg 를 연결하고 다음과 같이 명령을 내리면,

0:004> .loadby sos clr

0:004> !dumpheap -stat
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007feea3d3ef8        1           24 System.Collections.Generic.GenericEqualityComparer`1[[System.Int64, mscorlib]]
...[생략]...
000007fee99ec7e8       15    287976920 System.Int32[]
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 646 objects

용량이, 약 1.7GB 정도 되는 군요. 좀더 자세하게 살펴보면,

0:004> !dumpheap -mt 000007ff00056ce0
         Address               MT     Size
0000000046f11000 000007ff00056ce0 575949792     
000000007fff1000 000007ff00056ce0 1151900496     
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 2 objects

이제 주어진 Address 필드 값을 가지고 좀 더 자세히 보면,

0:004> !dumpobj 0000000046f11000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        575,949,792(0x22544be0) bytes
Array:       Rank 1, Number of elements 23997907, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

0:004> !dumpobj 000000007fff1000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        1,151,900,496(0x44a89b50) bytes
Array:       Rank 1, Number of elements 47995853, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

"HashSet`1+Slot" 타입의 인스턴스가 2개 할당되어 있고, 각각 용량이 575,949,792(0x22544be0) bytes, 1,151,900,496(0x44a89b50) bytes 로 되어 있는 것을 확인할 수 있습니다. 아니? 방금 전에는 개체 하나가 2GB로 제한되어 있어서 예외가 발생한다고 말했으면서 결과는 이와 다르니... 살짝 난감합니다. ^^;

자,,, 어쨌든 결과를 믿어야겠으니... 이야기를 꿰어맞춰 보도록 하겠습니다.

우선 단서가 있다면, HashSet 같은 자료 구조는 내부적으로 용량이 모자랄 때 그 크기를 증가시켜서 재할당한다는 것을... 모든 닷넷 프로그래머들은 잘 아실 것입니다. ^^

오호라... 가만 보니까, 575,949,792 bytes는 1,151,900,496 bytes 의 거의 절반에 가까운 값임을 눈짐작으로 가늠됩니다. 아하~~~ 그럼 설명이 되는 군요. 약 500 MB 짜리의 000000007fff1000 인스턴스가 위에서 보이는 것은 GC 가 되기 전이어서 살아 남아 있는 거라고 설명이 될 것 같고, 그러하니 현재 HashSet 인스턴스는 1GB 짜리의 000000007fff1000 가 될 것입니다. 그 용량이 모자라서 다시 Heap 에 2배수에 가까운 메모리를 할당하려는 데, 하필 그 용량이 2GB 를 넘었기 때문에 OutOfMemoryException 예외가 발생했다고... 이야기를 엮을 수 있겠습니다. (휴~~~ 왠지 들어맞는 것 같아서 다행입니다. ^^)

신빙성을 더하기 위해 소스 코드를 한번 들여다 볼까요? HashSet의 Add -> AddIfNotPresent 메서드를 거쳐서,

public bool Add(T item)
{
    return this.AddIfNotPresent(item);
}

private bool AddIfNotPresent(T value)
{
    int freeList;
    ...[생략]...
            this.IncreaseCapacity();
            index = hashCode % this.m_buckets.Length;
    ...[생략]...
    return true;
}

IncreaseCapacity 메서드를 들여다 보니... 답이 나왔습니다.

private void IncreaseCapacity()
{
    int min = this.m_count * 2;
    if (min < 0)
    {
        min = this.m_count;
    }
    int prime = HashHelpers.GetPrime(min);
    if (prime <= this.m_count)
    {
        throw new ArgumentException(SR.GetString("Arg_HSCapacityOverflow"));
    }
    Slot<T>[] destinationArray = new Slot<T>[prime];
    ...[생략]...
}

위의 소스 코드를 보니, DumpHeap 결과의 "System.Collections.Generic.HashSet`1+Slot" 에서 왜 "Slot"이 들어갔는지도 설명이 되는 군요.




문제는 일단 확인했고, 그렇다면 이를 극복하려면 어떻게 해야할까요?

역시 이에 대한 우회적인 해법도 소개해드린 글에서 제시하고 있습니다.

  1. x64 의 사용자 영역에 할당가능한 메모리가 8TB 인데, 과연 메모리가 그만큼 허용된다고 해서 하나의 컬렉션에서 시스템 전체의 심각한 성능 저해를 유발시키면서까지 메모리를 소비하는 것이 바람직한지를 심사숙고하시고, 응용 프로그램 설계를 다시 적절하게 하시길 바람!
  2. [또는] 역시 이런 경우의 해법은 C/C++ 임! P/Invoke 또는 C++/CLI 를 이용해서 해결하세요.
  3. [또는] 어차피 하나의 CLR 개체가 2GB 제한이 있는 것일 뿐, 응용 프로그램 수준에서는 제한이 없으므로 차라리 여러 개의 CLR 개체에 분배해서 사용하세요.

이 중에서 2번 항목을 선택해서 C++/CLI 예를 하나 들어볼까요?
기본 데이터 타입인 경우에는 어렵지 않습니다. 아래와 같이, C++에서 지원되는 자료 구조로 값을 넣어주는 래퍼 함수 정도만 정의하면 됩니다.

#pragma once

#include <atlcoll.h>
using namespace ATL;

using namespace System;
using namespace System::Collections;

namespace ClassLib 
{
    public ref class TestHash
    {
    public:
        TestHash(void)
        {
            test = new CAtlMap<__int64, bool>();
        }

        bool Add(__int64 value)
        {
            CAtlMap<__int64, bool>::CPair *found = test->Lookup(value);
            if (found == NULL)
            {
                test->SetAt(value, true);
                return true;
            }

            return false;
        }

    protected:
        ~TestHash()
        {
            delete test;
        }

    private:
        CAtlMap<__int64, bool> *test;
    };
}

그런 후에, C++/CLI 프로젝트를 C# 에서 바로 참조하고 다음과 같이 코드를 추가하시면 끝!

ClassLib.TestHash th = new ClassLib.TestHash();

for (long i = 0; i < Int32.MaxValue; i++)
{
    th.Add(i);
}

C++/CLI 가 나름 유용할만한 사례가 하나 추가되는 군요. ^^ (소스 코드 첨부)

(위의 C++/CLI 소스코드 빌드하느라고, 지난 번 글들 - 빌드오류 1, 빌드오류 2 - 이 씌여진 것입니다. ^^)





[이 토픽에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 8/12/2018 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2011-10-19 05시55분
[정세일(spowner)] 평소에 기고하신 글 잘 읽습니다. ^^

[손님]

1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
11995정성태7/23/2019657.NET Framework: 848. C# - smtp.daum.net 서비스(Implicit SSL)를 이용해 메일 보내는 방법
11994정성태10/22/2019890개발 환경 구성: 454. Azure 가상 머신(VM)에서 SMTP 메일 전송하는 방법파일 다운로드1
11993정성태7/22/2019483오류 유형: 561. Dism.exe 수행 시 "Error: 2 - The system cannot find the file specified." 오류 발생
11992정성태7/22/2019605오류 유형: 560. 서비스 관리자 실행 시 "Windows was unable to open service control manager database on [...]. Error 5: Access is denied." 오류 발생
11991정성태7/18/2019511디버깅 기술: 128. windbg - x64 환경에서 닷넷 예외가 발생한 경우 인자를 확인할 수 없었던 사례
11990정성태7/18/2019967오류 유형: 559. Settings / Update & Security 화면 진입 시 프로그램 종료
11989정성태7/18/2019465Windows: 162. Windows Server 2019 빌드 17763부터 Alt + F4 입력시 곧바로 로그아웃하는 현상
11988정성태7/18/2019764개발 환경 구성: 453. 마이크로소프트가 지정한 모든 Root 인증서를 설치하는 방법
11987정성태7/17/20191238오류 유형: 558. 윈도우 - KMODE_EXCEPTION_NOT_HANDLED 블루스크린(BSOD) 문제
11986정성태7/18/2019552오류 유형: 557. 드라이브 문자를 할당하지 않은 파티션을 탐색기에서 드라이브 문자와 함께 보여주는 문제
11985정성태7/17/2019563개발 환경 구성: 452. msbuild - csproj에 환경 변수 조건 사용
11984정성태7/9/2019793개발 환경 구성: 451. Microsoft Edge (Chromium)을 대상으로 한 Selenium WebDriver 사용법
11983정성태7/8/2019550오류 유형: 556. nodemon - 'mocha' is not recognized as an internal or external command, operable program or batch file.
11982정성태7/8/2019583오류 유형: 555. Visual Studio 빌드 오류 - result: unexpected exception occured (-1002 - 0xfffffc16)
11981정성태7/7/2019805Math: 64. C# - 3층 구조의 신경망(분류)파일 다운로드1
11980정성태7/7/20191645개발 환경 구성: 450. Visual Studio Code의 Java 확장을 이용한 간단한 프로젝트 구축파일 다운로드1
11979정성태7/8/2019789개발 환경 구성: 449. TFS에서 gitlab/github등의 git 서버로 마이그레이션하는 방법
11978정성태7/6/2019835Windows: 161. 계정 정보가 동일하지 않은 PC 간의 인증을 수행하는 방법 [1]
11977정성태7/6/2019867오류 유형: 554. git push - error: RPC failed; HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large
11976정성태7/4/2019556오류 유형: 553. (잘못 인증 한 후) 원격 git repo 재인증 시 "remote: HTTP Basic: Access denied" 오류 발생
11975정성태7/4/2019961개발 환경 구성: 448. Visual Studio Code에서 콘솔 응용 프로그램 개발 시 "입력"받는 방법
11974정성태7/4/2019914Linux: 22. "Visual Studio Code + Remote Development"로 윈도우 환경에서 리눅스(CentOS 7) C/C++ 개발
11973정성태7/4/2019652Linux: 21. 리눅스에서 공유 라이브러리가 로드되지 않는다면?
11972정성태7/3/2019778.NET Framework: 847. JAVA와 .NET 간의 AES 암호화 연동파일 다운로드1
11971정성태7/3/2019776개발 환경 구성: 447. Visual Studio Code에서 OpenCvSharp 개발 환경 구성
11970정성태7/2/2019781오류 유형: 552. 웹 브라우저에서 파일 다운로드 후 "Running security scan"이 끝나지 않는 문제
1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...