Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 13개 있습니다.)

작업 관리자에서의 "Commit size"가 가리키는 메모리의 의미

윈도우 개발자 중에 "VirtualAlloc" 관련 함수의 사용법을 아시는 분들이라면,

VirtualAlloc function
; https://learn.microsoft.com/en-us/windows/win32/api/memoryapi/nf-memoryapi-virtualalloc

가상 메모리의 "예약(Reserve)"과 "실제 할당(Commit)"의 차이점을 아실 것입니다. 이것이 사용되는 대표적인 활용예가 바로 "스레드의 스택(Stack)"인데요. 윈도우 프로그램에서 스레드 하나를 생성하면 그 스레드가 사용하게 될 스택을 위해 (기본값으로) 1MB 메모리를 사용하게 됩니다. (너무 크지 않나??? 하고 놀라는 분도 계실 듯 싶습니다.) 1MB라니! 따라서 32비트 윈도우 시스템에서 EXE 프로세스의 사용자 메모리 영역으로 2GB가 할당되어 있기 때문에 대략 2천개 정도의 스레드를 생성하면 개당 1MB 씩 계산해서 거의 2GB 가상 메모리를 모두 점유해 메모리 부족에 시달리게 됩니다.

그런데, 여기서 윈도우는 약간 똑똑한 작업을 합니다. 스레드 스택을 '가상 메모리'로써 연속된 주소를 보장하도록 1MB를 예약하긴 하지만 그 1MB 전부를 미리 할당(Commit)하지는 않습니다. 대신 (32비트 운영체제에서 기본값으로) 4KB 영역을 할당(commit)해서 사용하고 추가적으로 그 위의 4KB를 guard 접근 권한으로 미리 할당해서 최초 8KB를 할당하게 됩니다. 나머지 "1016KB = 1MB - 8KB" 영역은 가상 주소(virtual address) 상으로 점유만 하고 있을 뿐, 실제로 그 영역을 위해 물리 메모리나 디스크 상에 할당이 되는 것은 아닙니다.

그러다가, 스레드가 4KB 영역을 넘어서 guard 페이지로 할당된 메모리를 접근하는 순간 Fault 예외가 발생하고 윈도우 운영체제는 그 순간 guard 페이지를 응용 프로그램이 사용할 수 있는 평범한 Read/Write 페이지로 바꾸고 새로운 4KB 물리 메모리를 또다시 할당해 guard 페이지로 설정해 놓습니다. 그런 식으로 4KB씩 자라다가 "1020KB = 1MB - 4KB"가 넘는 순간 Stackoverflow 예외가 발생하는 것입니다. 왜냐하면 마지막 guard 페이지는 그 이후의 보호 장치를 걸어둘 수 없는 이유로 사용하지 않습니다. (참고로, 64비트에서는 8KB + 8KB로 해서 최초 16KB를 commit합니다.)

좀 더 자세한 사항은 다음의 글을 참고하세요. ^^

Pushing the Limits of Windows: Processes and Threads
; https://techcommunity.microsoft.com/t5/windows-blog-archive/pushing-the-limits-of-windows-processes-and-threads/ba-p/723824

이 때문에, 가상 메모리 상으로 예약(Reserved)된 메모리를 나타내는 "Virtual Memory Size"가 있고, 그중에서도 실제 할당(Commit)까지 발생한 영역을 나타내는 "Virtual Commit Size"가 있습니다.

이 설명을 듣고 작업 관리자의 메모리 관련 럼을 보겠습니다.

  • Working Set (Memory)
  • Memory (Private Working Set)
  • Commit size

"Working Set"은 Commit된 것 중에서 물리 메모리(RAM)에 올려진 것을 말합니다. 당연히 RAM에 없는 것은 디스크로 페이징되어 있을 것이고요. 따라서 다음과 같은 관계가 성립합니다.

Virtual Size = Commit Size + 미할당된 예약 영역 크기
Commit Size = (RAM에 있는) Working Set + (디스크에 있는) 페이징된 Commit 메모리

또한, "Private"이라는 것은 해당 EXE가 전용으로 할당한 것을 의미합니다. 쉽게 말해 C/C++에서 "new" 연산자를 사용해 할당한 메모리는 전부 private에 해당합니다. 따라서 보통은 메모리 누수(Leak)가 나타나는 프로그램은 private 메모리의 사용량에 대한 증가 추세를 보고 짐작할 수 있게 됩니다.

여기까지만 듣고 보면, Commit size보다 큰 Working Set은 있을 수 없는 상황입니다. 그런데, 작업 관리자를 보다 보면 종종 (보통 dwm.exe 같은 프로세스에서) Commit Size보다 Working Set 칼럼의 값이 큰 것을 볼 수 있습니다.

왜냐하면, 작업 관리자에서의 "Commit size"는 가상 메모리와 연관된 의미에서의 할당(commit) 메모리를 가리키는 것이 아니고 "Private"하게 할당된 모든 메모리의 크기를 의미하기 때문입니다. 이를 확인하려면 Process Explorer가 도움이 됩니다.

mem_type_1.png

위에서 보는 것처럼, 작업 관리자(Task Manager)의 "Commit size"와 동일한 크기로 Process Explorer에서 "Private Bytes"로 표시되는 것을 볼 수 있습니다. 그리고, Process Explorer의 "Virtual Size"는 예약된 크기를 포함하는 가상 메모리 크기입니다. 그렇다면 가상 메모리 중에서 진짜로 commit된 크기는 어떻게 알 수 있을까요? 아쉽게도 이것은 작업 관리자와 Process Explorer 모두 보여주지 않습니다.

대신 VMMap 프로그램을 사용하면 가능합니다.

VMMap
; https://learn.microsoft.com/en-us/sysinternals/downloads/vmmap

이 프로그램을 실행시켜 출력된 "Committed"가 바로 그것입니다.

mem_type_2.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 3/22/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2016-04-22 01시27분
[컴퓨터가] 버벅이는거랑 system commit이 큰거랑 상관이 없을까요?
왠지 너무크게 잡아먹고있는것처럼 보여서 검색하다보니 이글을 찾게되었네요
[guest]
2016-04-22 09시04분
"상관 관계"가 있는지에 대해서는 상황에 따라 다릅니다. 정말로 commit이 많아서 메모리가 부족해 swap 현상이 일어날 수도 있고, 윈도우 운영체제가 공격적으로 cache를 하면서 commit이 많아진 경우라면 버벅이는 현상이 거의 없을 것입니다.

윈도우 데스크톱 운영체제는 메모리가 크다면 가능한 그것을 충분히 활용하는 쪽으로 동작하게 되어 있습니다.

동일한 프로그램이라도, 4GB 메모리를 가진 PC에서와 8GB 메모리를 가진 PC에서 다른 working set 크기를 가질 수 있습니다. 예를 들어, 4GB 메모리인 경우 가용 메모리가 500MB로 줄어든다면 윈도우는 기존 프로그램들의 commit된 메모리 중에서 우선순위에 따라 메모리로부터 해제하고 페이징을 해버립니다. 물론, 이후 그 페이징된 메모리가 필요해지면 다시 메모리에 올려야 하기 때문에 이때 '버벅이는 현상'이 발생합니다. 하지만, 8GB 메모리를 가진 PC에서는 상대적으로 가용 메모리의 여유가 있을 상황이 많으므로 기존 프로그램의 commit 된 메모리를 굳이 페이징시킬 필요가 없어지는 것입니다.
정성태
2017-03-09 08시04분
[도미닉] 글 잘 읽었습니다. 어쩌다가 검색해서 오게 되었네요.
리소스 모니터의 'Cached' 항목과 성능 모니터 혹은 Process 모니터에서 보는 'Cached WS' 항목이 값이 달라서 왜 그런지 찾다가 여기까지 오게 되었네요....
[guest]
2021-03-23 01시50분
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13691정성태7/23/2024265디버깅 기술: 198. Windbg - 스레드의 Win32 Message Queue 정보 조회
13690정성태7/23/2024313오류 유형: 919. Visual C++ 리눅스 프로젝트 - error : ‘u8’ was not declared in this scope
13689정성태7/22/2024278디버깅 기술: 197. Windbg - PE 포맷의 Export Directory 탐색
13688정성태7/21/2024386닷넷: 2279. C# - Lock / Wait 상태에서도 일부 Win32 메시지 처리파일 다운로드1
13687정성태7/19/2024337닷넷: 2279. C# - PostThreadMessage로 보낸 메시지를 Windows Forms에서 수신하는 방법파일 다운로드1
13686정성태7/19/2024294오류 유형: 918. Visual Studio - ATL Simple Object 추가 시 error C2065: 'IDR_...': undeclared identifier
13685정성태7/19/2024359스크립트: 66. Windows 디렉터리 경로를 WSL의 /mnt 포맷으로 구하는 방법 - 두 번째 이야기
13684정성태7/19/2024385닷넷: 2278. C# - 문자열 보간식 사례
13683정성태7/18/2024388오류 유형: 917. ClrMD - Linux 환경의 .NET 5 덤프 분석 시 hang 현상
13682정성태7/18/2024537닷넷: 2277. WPF - 스레드에 종속되는 DependencyObject파일 다운로드1
13681정성태7/17/2024611닷넷: 2276. C# 13 - (2) 메서드 그룹의 자연 타입 개선 (메서드 추론 개선)파일 다운로드1
13680정성태7/16/2024695닷넷: 2275. C# - Method Group, Natural Type, function_type파일 다운로드1
13679정성태7/16/2024762Linux: 75. Linux - C++ (getaddrinfo 등을 담고 있는) libnss 정적 링크
13678정성태7/15/2024635VS.NET IDE: 191. Visual Studio 2022 - .NET 5 프로젝트를 Docker Support로 실행했을 때 오류
13677정성태7/15/2024761오류 유형: 916. MSBuild - CheckEolTargetFramework (warning NETSDK1138)
13676정성태7/14/2024719Linux: 75. gdb에서 glibc의 함수에 Breakpoint 걸기
13675정성태7/13/2024913C/C++: 166. C/C++ - DLL에서 template 함수를 export하는 방법파일 다운로드1
13674정성태7/13/2024997오류 유형: 915. Unhandled Exception: Microsoft.Diagnostics.NETCore.Client.ServerNotAvailableException: Unable to connect to Process
13673정성태7/11/20241027닷넷: 2274. C# 13 - (1) 신규 이스케이프 시퀀스 '\e'파일 다운로드1
13672정성태7/10/20241008닷넷: 2273. IIS - (프로세스 종료 없는) AppDomain Recycle
13671정성태7/10/2024864오류 유형: 914. Package ca-certificates is not installed.
13669정성태7/9/20241010오류 유형: 913. C# - AOT StaticExecutable 정적 링킹 시 빌드 오류
13668정성태7/8/2024995개발 환경 구성: 716. Hyper-V - Ubuntu 22.04 Generation 2 유형의 VM 설치
13667정성태7/7/2024941닷넷: 2272. C# - 리눅스 환경에서의 Hyper-V Socket 연동 (AF_VSOCK)파일 다운로드1
13666정성태7/7/20241181Linux: 74. C++ - Vsock 예제 (Hyper-V Socket 연동)파일 다운로드1
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...