Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

작업 관리자에서의 "Commit size"가 가리키는 메모리의 의미

윈도우 개발자 중에 "VirtualAlloc" 관련 함수의 사용법을 아시는 분들이라면,

VirtualAlloc function
; https://docs.microsoft.com/en-us/windows/win32/api/memoryapi/nf-memoryapi-virtualalloc

가상 메모리의 "예약(Reserve)"과 "실제 할당(Commit)"의 차이점을 아실 것입니다. 이것이 사용되는 대표적인 활용예가 바로 "스레드의 스택(Stack)"인데요. 윈도우 프로그램에서 스레드 하나를 생성하면 그 스레드가 사용하게 될 스택을 위해 (기본값으로) 1MB 메모리를 사용하게 됩니다. (너무 크지 않나??? 하고 놀라는 분도 계실 듯 싶습니다.) 1MB라니! 따라서 32비트 윈도우 시스템에서 EXE 프로세스의 사용자 메모리 영역으로 2GB가 할당되어 있기 때문에 대략 2천개 정도의 스레드를 생성하면 개당 1MB 씩 계산해서 거의 2GB 가상 메모리를 모두 점유해 메모리 부족에 시달리게 됩니다.

그런데, 여기서 윈도우는 약간 똑똑한 작업을 합니다. 스레드 스택을 '가상 메모리'로써 연속된 주소를 보장하도록 1MB를 예약하긴 하지만 그 1MB 전부를 미리 할당(Commit)하지는 않습니다. 대신 (32비트 운영체제에서 기본값으로) 4KB 영역을 할당(commit)해서 사용하고 추가적으로 그 위의 4KB를 guard 접근 권한으로 미리 할당해서 최초 8KB를 할당하게 됩니다. 나머지 "1016KB = 1MB - 8KB" 영역은 가상 주소(virtual address) 상으로 점유만 하고 있을 뿐, 실제로 그 영역을 위해 물리 메모리나 디스크 상에 할당이 되는 것은 아닙니다.

그러다가, 스레드가 4KB 영역을 넘어서 guard 페이지로 할당된 메모리를 접근하는 순간 Fault 예외가 발생하고 윈도우 운영체제는 그 순간 guard 페이지를 응용 프로그램이 사용할 수 있는 평범한 Read/Write 페이지로 바꾸고 새로운 4KB 물리 메모리를 또다시 할당해 guard 페이지로 설정해 놓습니다. 그런 식으로 4KB씩 자라다가 "1020KB = 1MB - 4KB"가 넘는 순간 Stackoverflow 예외가 발생하는 것입니다. 왜냐하면 마지막 guard 페이지는 그 이후의 보호 장치를 걸어둘 수 없는 이유로 사용하지 않습니다. (참고로, 64비트에서는 8KB + 8KB로 해서 최초 16KB를 commit합니다.)

좀 더 자세한 사항은 다음의 글을 참고하세요. ^^

Pushing the Limits of Windows: Processes and Threads
; https://techcommunity.microsoft.com/t5/windows-blog-archive/pushing-the-limits-of-windows-processes-and-threads/ba-p/723824

이 때문에, 가상 메모리 상으로 예약(Reserved)된 메모리를 나타내는 "Virtual Memory Size"가 있고, 그 중에서도 실제 할당(Commit)까지 발생한 영역을 나타내는 "Virtual Commit Size"가 있습니다.

이 설명을 듣고 작업 관리자의 메모리 관련 컬럼을 보겠습니다.

  • Working Set (Memory)
  • Memory (Private Working Set)
  • Commit size

"Working Set"은 Commit된 것 중에서 물리 메모리(RAM)에 올려진 것을 말합니다. 당연히 RAM에 없는 것은 디스크로 페이징되어 있을 것이고요. 따라서 다음과 같은 관계가 성립합니다.

Virtual Size = Commit Size + 미할당된 예약 영역 크기
Commit Size = (RAM에 있는) Working Set + (디스크에 있는) 페이징된 Commit 메모리

또한, "Private"이라는 것은 해당 EXE가 전용으로 할당한 것을 의미합니다. 쉽게 말해 C/C++에서 "new" 연산자를 사용해 할당한 메모리는 전부 private에 해당합니다. 따라서 보통은 메모리 누수(Leak)가 나타나는 프로그램은 private 메모리의 사용량에 대한 증가 추세를 보고 짐작할 수 있게 됩니다.

여기까지만 듣고 보면, Commit size보다 큰 Working Set은 있을 수 없는 상황입니다. 그런데, 작업 관리자를 보다 보면 종종 (보통 dwm.exe 같은 프로세스에서) Commit Size보다 Working Set 컬럼의 값이 큰 것을 볼 수 있습니다.

왜냐하면, 작업 관리자에서의 "Commit size"는 가상 메모리와 연관된 의미에서의 할당(commit) 메모리를 가리키는 것이 아니고 "Private"하게 할당된 모든 메모리의 크기를 의미하기 때문입니다. 이를 확인하려면 Process Explorer가 도움이 됩니다.

mem_type_1.png

위에서 보는 것처럼, 작업 관리자(Task Manager)의 "Commit size"와 동일한 크기로 Process Explorer에서 "Private Bytes"로 표시되는 것을 볼 수 있습니다. 그리고, Process Explorer의 "Virtual Size"는 예약된 크기를 포함하는 가상 메모리 크기입니다. 그렇다면 가상 메모리 중에서 진짜로 commit된 크기는 어떻게 알 수 있을까요? 아쉽게도 이것은 작업 관리자와 Process Explorer 모두 보여주지 않습니다.

대신 VMMap 프로그램을 사용하면 가능합니다.

VMMap
; https://docs.microsoft.com/en-us/sysinternals/downloads/vmmap

이 프로그램을 실행시켜 출력된 "Committed"가 바로 그것입니다.

mem_type_2.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]


donaricano-btn



[최초 등록일: ]
[최종 수정일: 7/10/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 쓴 사람
 



2016-04-22 01시27분
[컴퓨터가] 버벅이는거랑 system commit이 큰거랑 상관이 없을까요?
왠지 너무크게 잡아먹고있는것처럼 보여서 검색하다보니 이글을 찾게되었네요
[손님]
2016-04-22 09시04분
"상관 관계"가 있는지에 대해서는 상황에 따라 다릅니다. 정말로 commit이 많아서 메모리가 부족해 swap 현상이 일어날 수도 있고, 윈도우 운영체제가 공격적으로 cache를 하면서 commit이 많아진 경우라면 버벅이는 현상이 거의 없을 것입니다.

윈도우 데스크탑 운영체제는 메모리가 크다면 가능한 그것을 충분히 활용하는 쪽으로 동작하게 되어 있습니다.

동일한 프로그램이라도, 4GB 메모리를 가진 PC에서와 8GB 메모리를 가진 PC에서 다른 commit 크기를 가질 수 있습니다. 예를 들어, 4GB 메모리인 경우 가용 메모리가 500MB로 줄어든다면 윈도우는 기존 프로그램들의 commit된 메모리 중에서 우선순위에 따라 메모리로부터 해제하고 페이징을 해버립니다. 물론, 이후 그 페이징된 메모리가 필요해지면 다시 메모리에 올려야 하기 때문에 이때 '버벅이는 현상'이 발생합니다. 하지만, 8GB 메모리를 가진 PC에서는 상대적으로 가용 메모리의 여유가 있을 상황이 많으므로 기존 프로그램의 commit 된 메모리를 굳이 페이징시킬 필요가 없어지는 것입니다.
정성태
2017-03-09 08시04분
[도미닉] 글 잘 읽었습니다. 어쩌다가 검색해서 오게 되었네요.
리소스 모니터의 'Cached' 항목과 성능 모니터 혹은 Process 모니터에서 보는 'Cached WS' 항목이 값이 달라서 왜 그런지 찾다가 여기까지 오게 되었네요....
[손님]
2021-03-23 01시50분
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12860정성태12/1/202128오류 유형: 767. SQL Server - 127.0.0.1로 접속하는 경우 "Access is denied"가 발생한다면?
12859정성태12/1/202135개발 환경 구성: 608. Hyper-V 가상 머신에 Console 모드로 로그인하는 방법
12858정성태11/30/2021211개발 환경 구성: 607. 로컬의 USB 장치를 원격 머신에 제공하는 방법 - usbip-win
12857정성태11/24/202186개발 환경 구성: 606. WSL Ubuntu 20.04에서 파이썬을 위한 uwsgi 설치 방법
12856정성태11/23/2021252.NET Framework: 1121. C# - 동일한 IP:Port로 바인딩 가능한 서버 소켓 [2]
12855정성태11/13/2021104개발 환경 구성: 605. Azure App Service - Kudu SSH 환경에서 FTP를 이용한 파일 전송
12854정성태11/13/2021217개발 환경 구성: 604. Azure - 윈도우 VM에서 FTP 여는 방법
12853정성태11/10/2021124오류 유형: 766. Azure App Service - JBoss 호스팅 생성 시 "This region has quota of 0 PremiumV3 instances for your subscription. Try selecting different region or SKU."
12851정성태11/1/2021228스크립트: 34. 파이썬 - MySQLdb 기본 예제 코드
12850정성태10/27/2021477오류 유형: 765. 우분투에서 pip install mysqlclient 실행 시 "OSError: mysql_config not found" 오류
12849정성태10/17/2021487스크립트: 33. JavaScript와 C#의 시간 변환
12848정성태10/17/2021434스크립트: 32. 파이썬 - sqlite3 기본 예제 코드
12847정성태10/14/2021395스크립트: 31. 파이썬 gunicorn - WORKER TIMEOUT 오류 발생
12846정성태10/7/2021499스크립트: 30. 파이썬 __debug__ 플래그 변수에 따른 코드 실행 제어
12845정성태10/6/2021869.NET Framework: 1120. C# - BufferBlock<T> 사용 예제 [4]파일 다운로드1
12844정성태10/3/2021418오류 유형: 764. MSI 설치 시 "... is accessible and not read-only." 오류 메시지
12843정성태10/3/2021459스크립트: 29. 파이썬 - fork 시 기존 클라이언트 소켓 및 스레드의 동작파일 다운로드1
12842정성태10/1/2021554오류 유형: 763. 파이썬 오류 - AttributeError: type object '...' has no attribute '...'
12841정성태10/1/2021530스크립트: 28. 모든 파이썬 프로세스에 올라오는 특별한 파일 - sitecustomize.py
12840정성태9/30/2021554.NET Framework: 1119. Entity Framework의 Join 사용 시 다중 칼럼에 대한 OR 조건 쿼리파일 다운로드1
12839정성태9/15/2021817.NET Framework: 1118. C# 10 - (17) 제네릭 타입의 특성 적용파일 다운로드1
12838정성태9/13/2021836.NET Framework: 1117. C# - Task에 전달한 Action, Func 유형에 따라 달라지는 async/await 비동기 처리 [2]파일 다운로드1
12837정성태9/11/2021530VC++: 151. Golang - fmt.Errorf, errors.Is, errors.As 설명
12836정성태9/10/2021537Linux: 45. 리눅스 - 실행 중인 다른 프로그램의 출력을 확인하는 방법
12835정성태9/7/2021483.NET Framework: 1116. C# 10 - (16) CallerArgumentExpression 특성 추가파일 다운로드1
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...