성태의 닷넷 이야기
홈 주인
모아 놓은 자료
프로그래밍
질문/답변
사용자 관리
사용자
메뉴
아티클
외부 아티클
유용한 코드
온라인 기능
MathJax 입력기
최근 덧글
[정성태] Roll A Lisp In C - Reading ; https...
[정성태] Java - How to use the Foreign Funct...
[정성태] 제가 큰 실수를 했군요. ^^; Delegate를 통한 Bein...
[정성태] Working with Rust Libraries from C#...
[정성태] Detecting blocking calls using asyn...
[정성태] 아쉽게도, 커뮤니티는 아니고 개인 블로그입니다. ^^
[정성태] 질문이 잘 이해가 안 됩니다. 우선, 해당 소스코드에서 ILis...
[양승조
] var대신 dinamic으로 선언해서 해결은 했습니다. 맞는 해...
[양승조
] 또 막혔습니다. ㅠㅠ var list = props[i].Ge...
[양승조
] 아. 감사합니다. 어제는 안됐던것 같은데....정신을 차려야겠네...
글쓰기
제목
이름
암호
전자우편
HTML
홈페이지
유형
제니퍼 .NET
닷넷
COM 개체 관련
스크립트
VC++
VS.NET IDE
Windows
Team Foundation Server
디버깅 기술
오류 유형
개발 환경 구성
웹
기타
Linux
Java
DDK
Math
Phone
Graphics
사물인터넷
부모글 보이기/감추기
내용
<div style='display: inline'> <h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>C# - 고성능이 필요한 환경에서 GC가 발생하지 않는 네이티브 힙 사용</h1> <p> 지난 발표에서,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > .NET Conf 2019 Korea - "닷넷 17년의 변화 정리 및 닷넷 코어 3.0" 발표 자료 ; <a target='tab' href='http://www.sysnet.pe.kr/2/0/12030'>http://www.sysnet.pe.kr/2/0/12030</a> </pre> <br /> Span을 설명하며 GC를 유발하지 않는 Native Heap 사용법을 소개했습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > public unsafe <a target='tab' href='http://www.sysnet.pe.kr/2/0/11530'>ref struct</a> NativeMemory<T> <a target='tab' href='http://www.sysnet.pe.kr/2/0/11558'>where T : unmanaged</a> { int _size; IntPtr _ptr; public NativeMemory(int size) { _size = size; long lSize = _size; lSize *= sizeof(T); IntPtr bufSize = new IntPtr(lSize); _ptr = <a target='tab' href='https://learn.microsoft.com/ko-kr/dotnet/api/system.runtime.interopservices.marshal.allochglobal?view=netframework-4.8'>Marshal.AllocHGlobal</a>(bufSize); } public <a target='tab' href='http://www.sysnet.pe.kr/2/0/11534'>Span<T></a> GetView() { return new Span<T>(_ptr.ToPointer(), _size); } // C# 8.0에서만 using과 함께 사용 가능 public void Dispose() { if (_ptr == IntPtr.Zero) { return; } <a target='tab' href='https://learn.microsoft.com/ko-kr/dotnet/api/system.runtime.interopservices.marshal.freehglobal?view=netframework-4.8'>Marshal.FreeHGlobal</a>(_ptr); _ptr = IntPtr.Zero; } } </pre> <br /> 그런데... 정작 PPT에는 설명이 없어 이렇게 글로 남깁니다. ^^<br /> <br /> <hr style='width: 50%' /><br /> <br /> 저렇게 Native Heap에 만들어 사용했을 때의 장점이 뭘까요? 우선, 당연한 이야기지만 GC로부터 힙을 할당받지 않았기 때문에 GC의 관리 밖에 있으므로 가비지 컬렉션 동작 시에 아무런 부하를 주지 않는다는 것을 들 수 있습니다.<br /> <br /> 이런 결과를 비교한 것이 <a target='tab' href='https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1505&boardid=331301885'>DotNetHistory17.zip</a>에 포함된 예제 코드의 내용인데요, 간단하게 다음과 같이 GC 횟수를 출력하는 스레드를 실행해 두고,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > static unsafe void Main(string[] args) { <span style='color: blue; font-weight: bold'>Thread t = new Thread(checkGCFunc);</span> t.IsBackground = true; t.Start(); // ...[생략]... } private static void checkGCFunc(object obj) { int old = 0; int checkCount = 0; // 5초마다 화면에 GC 횟수 출력 while (true) { int count = 0; for (int i = 0; i < GC.MaxGeneration; i++) { count += <a target='tab' href='https://learn.microsoft.com/ko-kr/dotnet/api/system.gc.collectioncount?view=netframework-4.8'>GC.CollectionCount</a>(i); } Console.WriteLine($"{checkCount++} : {(count - old)}"); old = count; Thread.Sleep(5000); } } </pre> <br /> GC Heap으로부터 할당받는 다음의 무한 루프 예제를 실행하면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > static unsafe void Main(string[] args) { Thread t = new Thread(checkGCFunc); t.IsBackground = true; t.Start(); // 무한 루프를 돌며, while (true) { // GC Heap, 즉 관리 힙으로부터 배열 메모리를 할당 int[] buf = new int[1024]; { for (int i = 0; i < buf.Length; i++) { buf[i] = i; } } } } </pre> <br /> 화면에는 5초마다 다음과 같은 식으로 GC 횟수가 평균 초당 2,000번 이상 실행되는 것을 확인할 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 0 : 0 1 : 2226 2 : 2149 3 : 2308 4 : 2279 5 : 2289 ... </pre> <br /> 반면, Native Heap으로부터 할당받는 NativeMemory 타입을 활용하면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > // 무한 루프를 돌며, while (true) { // Native Heap, 즉 비-관리 힙으로부터 배열 메모리 할당 using (<span style='color: blue; font-weight: bold'>NativeMemory<int></span> buf = new NativeMemory<int>(1024)) { Span<int> viewBuf = buf.GetView(); for (int i = 0; i < viewBuf.Length; i++) { <span style='color: blue; font-weight: bold'>viewBuf[i] = i;</span> } } } </pre> <br /> 5초마다 찍히는 출력에는 GC가 단 한 번도 발생하지 않는 것을 볼 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 0 : 0 1 : 0 2 : 0 3 : 0 ... </pre> <br /> <hr style='width: 50%' /><br /> <br /> 그런데, 사실 이런 식의 비-관리 메모리를 할당하는 것은 C# 초기 버전에서도 가능했습니다. 어차피 unsafe 문맥에서 포인터 구문이 가능했기 때문인데, 이에 대해서는 <a target='tab' href='http://www.sysnet.pe.kr/2/0/11142'>예전 글</a>을 통해 설명한 적이 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > int len = Int32.MaxValue; IntPtr pBuf = <a target='tab' href='https://learn.microsoft.com/ko-kr/dotnet/api/system.runtime.interopservices.marshal.alloccotaskmem?view=netframework-4.8'>Marshal.AllocCoTaskMem</a>(len); // 비-관리 힙을 할당받아, byte* ptr = (byte*)pBuf.ToPointer(); int i = 0; for (i = 0; i < len; i++) { *(ptr + i) = 10; // 배열처럼 접근 } Console.WriteLine(*(ptr + len - 1)); Console.WriteLine(); <a target='tab' href='https://learn.microsoft.com/ko-kr/dotnet/api/system.runtime.interopservices.marshal.freecotaskmem?view=netframework-4.8'>Marshal.FreeCoTaskMem</a>(pBuf); </pre> <br /> 그런데, 위와 같은 식으로 직접 Pointer 연산을 통해 접근하는 것은 자칫 인덱스 접근을 잘못하게 되는 경우 AV(Access Violation) 예외가 발생해 프로세스(EXE)의 비정상 종료 문제를 야기할 수 있습니다.<br /> <br /> 가령, AllocCoTaskMem으로 1,000 바이트를 할당받았는데 byte * 포인터의 "*ptr + 1001" 연산을 하면 확률(운)에 따라 AV 예외를 접하게 됩니다. 이로 인해 비-관리 메모리는 사실상 "관리 프로세스"의 안전함에 반하므로 가능한 쓰지 않는 것이 일반적이었는데, 이런 문제를 해결한 것이 바로 C# 7.2에 추가된 Span 타입입니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > C# 7.2 - Span<T> ; <a target='tab' href='http://www.sysnet.pe.kr/2/0/11534'>http://www.sysnet.pe.kr/2/0/11534</a> </pre> <br /> Span 타입은 비-관리 메모리에 대해 관리 포인터를 이용한 안정성을 제공하기 때문에 할당받은 Native Heap의 크기를 벗어나는 연산을 해도,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > IntPtr ptr = Marshal.AllocCoTaskMem(1000); // native heap으로부터 메모리를 할당받아, try { // Span 타입의 도움을 받으면, Span<byte> bytes = new Span<byte>(ptr.ToPointer(), size); bytes[1000 + 1] = 6; // 할당받은 native heap의 범위를 벗어나 지정해도, } catch (System.IndexOutOfRangeException ex) // 안전하게 예외 처리 { // "1000 + 1" 접근 시 예외 발생 } finally { Marshal.FreeCoTaskMem(ptr); } </pre> <br /> 안전하게 예외 처리가 됩니다. 따라서 Span 타입의 도입으로 비-관리 메모리를 안전한 영역으로 끌어냈기 때문에 C# 7.2부터는 관리 메모리와 별다른 차이 없이 - 개발자가 원한다면 얼마든지 사용해도 좋은 자원이 된 것입니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 그나저나, GC Heap을 사용하지 않으니 혹시 gcAllowVeryLargeObjects를 사용하지 않아도,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > <gcAllowVeryLargeObjects> Element ; <a target='tab' href='https://learn.microsoft.com/ko-kr/dotnet/framework/configure-apps/file-schema/runtime/gcallowverylargeobjects-element'>https://learn.microsoft.com/ko-kr/dotnet/framework/configure-apps/file-schema/runtime/gcallowverylargeobjects-element</a> </pre> <br /> NativeMemory와 같은 타입이라면 자유로운 배열 크기를 생성할 수 있지 않을까요? 일단 이전 글에서 설명한 것처럼,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 닷넷 - 배열 크기의 한계 ; <a target='tab' href='http://www.sysnet.pe.kr/2/0/11142'>http://www.sysnet.pe.kr/2/0/11142</a> 재현 코드) int arrCount = <span style='color: blue; font-weight: bold'>0X7FEFFFFF + 1</span>; int[] intarr1 = new int[arrCount]; // System.OutOfMemoryException: 'Array dimensions exceeded supported range.' </pre> <br /> 닷넷의 경우 배열 (크기가 아닌) 요소의 한계가 2,146,435,071 (0X7FEFFFFF)로 정해져 있습니다. 아쉽게도 이 한계는 NativeMemory 같은 식의 타입을 사용해 우회해도 극복할 수 없습니다. 왜냐하면 Span의 indexer 코드 자체가 이미 int 값을 인자로 받기 때문에,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > public readonly ref struct Span<T> { // ...[생략]... public ref T this[<span style='color: blue; font-weight: bold'>int index</span>] { get { throw null; } } // ...[생략]... } </pre> <br /> Int32.MaxValue 범위 밖의 요소를 지정할 수 없습니다. 그래도 그나마 위로할 수 있는 것은 0X7FEFFFFF이 아닌 Int32.MaxValue 범위까지 쪼끔 확장되었다는 정도가 되겠습니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 그런데, 이걸 사용하면 정말 빠를까요? 실제로 간단하게 테스트를 해보면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > class Program { static unsafe void Main(string[] args) { int bufSize = 1024; Action<int> a1 = (count) => { while (count-- > 0) { int[] buf = new int[bufSize]; buf[0] = 0; buf[bufSize - 1] = 0; } }; Action<int> a2 = (count) => { while (count-- > 0) { using (NativeMemory<int> buf = new NativeMemory<int>(bufSize)) { Span<int> viewBuf = buf.GetView(); viewBuf[0] = 0; viewBuf[bufSize - 1] = 0; } } }; Action<int, Action<int>> perfTest = (count, action) => { Stopwatch st = new Stopwatch(); st.Start(); action(count); st.Stop(); Console.WriteLine(st.ElapsedMilliseconds); }; perfTest(1, a1); perfTest(1, a2); perfTest(1000000, a1); perfTest(1000000, a2); } } </pre> <br /> 의외로 그냥 GC가 발생하도록 했을 때와 그다지 큰 차이는 없습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > [x64 + Release] 관리 힙 = 483 NativeHeap = 102 </pre> <br /> 왜냐하면, 이것은 해당 예제 코드가 그다지 복잡한 상황이 아니어서 2세대 GC까지 수행되지 않으므로 그런 것입니다. 2세대 GC가 발생하도록 위의 예제 코드에서 bufSize = 40960으로 바꾸면 다음과 같은 결과를 얻을 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > [x64 + Release] 관리 힙 = 8848 NativeHeap = 275 </pre> <br /> 관리 힙의 경우 2세대 GC 처리를 동반하면서 9초 가까운 실행 시간이 걸린 반면 비-관리 힙을 사용한 경우 275ms 내에 처리를 끝내고 있습니다. 이 정도면, Game Loop 등과 같은 고속 처리를 요구하는 환경 등에서 써먹으면 꽤나 성능 향상을 기대할 수 있을 것입니다.<br /> <br /> (<a target='tab' href='https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1509&boardid=331301885'>첨부 파일은 이 글의 예제 코드를 포함</a>합니다.)<br /> </p><br /> <br /><hr /><span style='color: Maroon'>[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]</span> </div>
첨부파일
스팸 방지용 인증 번호
2229
(왼쪽의 숫자를 입력해야 합니다.)