Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일
.NET 64비트 응용 프로그램에서 왜 (2GB) OutOfMemoryException 예외가 발생할까?

재현 가능한 예제 코드는 다음과 같습니다.

static void Main(string[] args)
{
    HashSet<long> t = new HashSet<long>();

    for (long i = 0; i < Int32.MaxValue; i++)
    {
        t.Add(i);
    }
}

x64 또는 AnyCPU 로 빌드하고 64비트 운영체제가 설치된 PC에서 실행하게 되면 다음과 같이 메모리를 소비하다가 이내 OutOfMemoryException 예외에 걸려 버립니다.

oom_dotnet_x64_at_2gbheap_1.png

이에 대한 원인을 다음의 글에서 아주 상세하게 설명해 주고 있습니다.

 BigArray<T>, getting around the 2GB array size limit 
; http://blogs.msdn.com/b/joshwil/archive/2005/08/10/450202.aspx

즉, CLR 객체 하나가 가질 수 있는 최대 메모리 용량이 2GB 로 제한되어 있기 때문입니다. 재미삼아서 확인해 볼까요? ^^

OutOfMemoryException 예외가 발생했을 때, windbg 를 연결하고 다음과 같이 명령을 내리면,

0:004> .loadby sos clr

0:004> !dumpheap -stat
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007feea3d3ef8        1           24 System.Collections.Generic.GenericEqualityComparer`1[[System.Int64, mscorlib]]
...[생략]...
000007fee99ec7e8       15    287976920 System.Int32[]
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 646 objects

용량이, 약 1.7GB 정도 되는 군요. 좀더 자세하게 살펴보면,

0:004> !dumpheap -mt 000007ff00056ce0
         Address               MT     Size
0000000046f11000 000007ff00056ce0 575949792     
000000007fff1000 000007ff00056ce0 1151900496     
total 0 objects
Statistics:
              MT    Count    TotalSize Class Name
000007ff00056ce0        2   1727850288 System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
Total 2 objects

이제 주어진 Address 필드 값을 가지고 좀 더 자세히 보면,

0:004> !dumpobj 0000000046f11000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        575,949,792(0x22544be0) bytes
Array:       Rank 1, Number of elements 23997907, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

0:004> !dumpobj 000000007fff1000
Name:        System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]][]
MethodTable: 000007ff00056ce0
EEClass:     000007ff00056c38
Size:        1,151,900,496(0x44a89b50) bytes
Array:       Rank 1, Number of elements 47995853, Type VALUETYPE
Element Type:System.Collections.Generic.HashSet`1+Slot[[System.Int64, mscorlib]]
Fields:
None

"HashSet`1+Slot" 타입의 인스턴스가 2개 할당되어 있고, 각각 용량이 575,949,792(0x22544be0) bytes, 1,151,900,496(0x44a89b50) bytes 로 되어 있는 것을 확인할 수 있습니다. 아니? 방금 전에는 개체 하나가 2GB로 제한되어 있어서 예외가 발생한다고 말했으면서 결과는 이와 다르니... 살짝 난감합니다. ^^;

자,,, 어쨌든 결과를 믿어야겠으니... 이야기를 꿰어맞춰 보도록 하겠습니다.

우선 단서가 있다면, HashSet 같은 자료 구조는 내부적으로 용량이 모자랄 때 그 크기를 증가시켜서 재할당한다는 것을... 모든 닷넷 프로그래머들은 잘 아실 것입니다. ^^

오호라... 가만 보니까, 575,949,792 bytes는 1,151,900,496 bytes 의 거의 절반에 가까운 값임을 눈짐작으로 가늠됩니다. 아하~~~ 그럼 설명이 되는 군요. 약 500 MB 짜리의 000000007fff1000 인스턴스가 위에서 보이는 것은 GC 가 되기 전이어서 살아 남아 있는 거라고 설명이 될 것 같고, 그러하니 현재 HashSet 인스턴스는 1GB 짜리의 000000007fff1000 가 될 것입니다. 그 용량이 모자라서 다시 Heap 에 2배수에 가까운 메모리를 할당하려는 데, 하필 그 용량이 2GB 를 넘었기 때문에 OutOfMemoryException 예외가 발생했다고... 이야기를 엮을 수 있겠습니다. (휴~~~ 왠지 들어맞는 것 같아서 다행입니다. ^^)

신빙성을 더하기 위해 소스 코드를 한번 들여다 볼까요? HashSet의 Add -> AddIfNotPresent 메서드를 거쳐서,

public bool Add(T item)
{
    return this.AddIfNotPresent(item);
}

private bool AddIfNotPresent(T value)
{
    int freeList;
    ...[생략]...
            this.IncreaseCapacity();
            index = hashCode % this.m_buckets.Length;
    ...[생략]...
    return true;
}

IncreaseCapacity 메서드를 들여다 보니... 답이 나왔습니다.

private void IncreaseCapacity()
{
    int min = this.m_count * 2;
    if (min < 0)
    {
        min = this.m_count;
    }
    int prime = HashHelpers.GetPrime(min);
    if (prime <= this.m_count)
    {
        throw new ArgumentException(SR.GetString("Arg_HSCapacityOverflow"));
    }
    Slot<T>[] destinationArray = new Slot<T>[prime];
    ...[생략]...
}

위의 소스 코드를 보니, DumpHeap 결과의 "System.Collections.Generic.HashSet`1+Slot" 에서 왜 "Slot"이 들어갔는지도 설명이 되는 군요.




문제는 일단 확인했고, 그렇다면 이를 극복하려면 어떻게 해야할까요?

역시 이에 대한 우회적인 해법도 소개해드린 글에서 제시하고 있습니다.

  1. x64 의 사용자 영역에 할당가능한 메모리가 8TB 인데, 과연 메모리가 그만큼 허용된다고 해서 하나의 컬렉션에서 시스템 전체의 심각한 성능 저해를 유발시키면서까지 메모리를 소비하는 것이 바람직한지를 심사숙고하시고, 응용 프로그램 설계를 다시 적절하게 하시길 바람!
  2. [또는] 역시 이런 경우의 해법은 C/C++ 임! P/Invoke 또는 C++/CLI 를 이용해서 해결하세요.
  3. [또는] 어차피 하나의 CLR 개체가 2GB 제한이 있는 것일 뿐, 응용 프로그램 수준에서는 제한이 없으므로 차라리 여러 개의 CLR 개체에 분배해서 사용하세요.

이 중에서 2번 항목을 선택해서 C++/CLI 예를 하나 들어볼까요?
기본 데이터 타입인 경우에는 어렵지 않습니다. 아래와 같이, C++에서 지원되는 자료 구조로 값을 넣어주는 래퍼 함수 정도만 정의하면 됩니다.

#pragma once

#include <atlcoll.h>
using namespace ATL;

using namespace System;
using namespace System::Collections;

namespace ClassLib 
{
    public ref class TestHash
    {
    public:
        TestHash(void)
        {
            test = new CAtlMap<__int64, bool>();
        }

        bool Add(__int64 value)
        {
            CAtlMap<__int64, bool>::CPair *found = test->Lookup(value);
            if (found == NULL)
            {
                test->SetAt(value, true);
                return true;
            }

            return false;
        }

    protected:
        ~TestHash()
        {
            delete test;
        }

    private:
        CAtlMap<__int64, bool> *test;
    };
}

그런 후에, C++/CLI 프로젝트를 C# 에서 바로 참조하고 다음과 같이 코드를 추가하시면 끝!

ClassLib.TestHash th = new ClassLib.TestHash();

for (long i = 0; i < Int32.MaxValue; i++)
{
    th.Add(i);
}

C++/CLI 가 나름 유용할만한 사례가 하나 추가되는 군요. ^^ (소스 코드 첨부)

(위의 C++/CLI 소스코드 빌드하느라고, 지난 번 글들 - 빌드오류 1, 빌드오류 2 - 이 씌여진 것입니다. ^^)





[이 토픽에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 8/12/2018 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2011-10-19 05시55분
[정세일(spowner)] 평소에 기고하신 글 잘 읽습니다. ^^

[손님]

1  2  3  4  5  6  7  8  9  10  11  [12]  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
11929정성태6/5/2019965.NET Framework: 841. Windows Forms/C# - 클립보드에 RTF 텍스트를 복사 및 확인하는 방법
11928정성태6/5/2019989오류 유형: 543. PowerShell 확장 설치 시 "Catalog file '[...].cat' is not found in the contents of the module" 오류 발생
11927정성태6/5/20191206스크립트: 15. PowerShell ISE의 스크립트를 복사 후 PPT/Word에 붙여 넣으면 한글이 깨지는 문제 [1]
11926정성태6/4/20191335오류 유형: 542. Visual Studio - pointer to incomplete class type is not allowed
11925정성태6/4/20191334VC++: 131. Visual C++ - uuid 확장 속성과 __uuidof 확장 연산자파일 다운로드1
11924정성태5/30/20191416Math: 57. C# - 해석학적 방법을 이용한 최소 자승법 [1]파일 다운로드1
11923정성태5/30/20191183Math: 56. C# - 그래프 그리기로 알아보는 경사 하강법의 최소/최댓값 구하기파일 다운로드1
11922정성태5/30/2019853.NET Framework: 840. ML.NET 데이터 정규화파일 다운로드1
11921정성태5/28/20191295Math: 55. C# - 다항식을 위한 최소 자승법(Least Squares Method)파일 다운로드1
11920정성태5/28/2019969.NET Framework: 839. C# - PLplot 색상 제어
11919정성태5/27/20191235Math: 54. C# - 최소 자승법의 1차 함수에 대한 매개변수를 단순 for 문으로 구하는 방법 [1]파일 다운로드1
11918정성태5/27/20191350Math: 53. C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method)파일 다운로드1
11917정성태5/24/20191276Math: 52. MathNet을 이용한 간단한 통계 정보 처리 - 분산/표준편차파일 다운로드1
11916정성태5/24/2019899Math: 51. MathNET + OxyPlot을 이용한 간단한 통계 정보 처리 - Histogram파일 다운로드1
11915정성태5/24/2019972Linux: 11. 리눅스의 환경 변수 관련 함수 정리 - putenv, setenv, unsetenv
11914정성태5/24/20191435Linux: 10. 윈도우의 GetTickCount와 리눅스의 clock_gettime파일 다운로드1
11913정성태5/24/2019961.NET Framework: 838. C# - 숫자형 타입의 bit(2진) 문자열, 16진수 문자열 구하는 방법파일 다운로드1
11912정성태5/23/2019894VS.NET IDE: 137. Visual Studio 2019 버전 16.1부터 리눅스 C/C++ 프로젝트에 추가된 WSL 지원
11911정성태5/23/2019980VS.NET IDE: 136. Visual Studio 2019 - 리눅스 C/C++ 프로젝트에 인텔리센스가 동작하지 않는 경우
11910정성태5/24/20191920Math: 50. C# - MathNet.Numerics의 Matrix(행렬) 연산파일 다운로드1
11909정성태5/25/20191412.NET Framework: 837. C# - PLplot 사용 예제 [1]파일 다운로드1
11908정성태5/22/2019936.NET Framework: 836. C# - Python range 함수 구현파일 다운로드1
11907정성태6/4/2019752오류 유형: 541. msbuild - MSB4024 The imported project file "...targets" could not be loaded
11906정성태5/21/2019674.NET Framework: 835. .NET Core/C# - 리눅스 syslog에 로그 남기는 방법
11905정성태5/21/2019867.NET Framework: 834. C# - 폴더 경로 문자열에서 "..", "." 표기를 고려한 최종 문자열을 얻는 방법 - 두 번째 이야기
11904정성태5/21/20191723.NET Framework: 833. C# - Open Hardware Monitor를 이용한 CPU 온도 정보파일 다운로드1
1  2  3  4  5  6  7  8  9  10  11  [12]  13  14  15  ...