Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

작업 관리자에서의 "Commit size"가 가리키는 메모리의 의미

윈도우 개발자 중에 "VirtualAlloc" 관련 함수의 사용법을 아시는 분들이라면,

VirtualAlloc function
; https://docs.microsoft.com/en-us/windows/win32/api/memoryapi/nf-memoryapi-virtualalloc

가상 메모리의 "예약(Reserve)"과 "실제 할당(Commit)"의 차이점을 아실 것입니다. 이것이 사용되는 대표적인 활용예가 바로 "스레드의 스택(Stack)"인데요. 윈도우 프로그램에서 스레드 하나를 생성하면 그 스레드가 사용하게 될 스택을 위해 (기본값으로) 1MB 메모리를 사용하게 됩니다. (너무 크지 않나??? 하고 놀라는 분도 계실 듯 싶습니다.) 1MB라니! 따라서 32비트 윈도우 시스템에서 EXE 프로세스의 사용자 메모리 영역으로 2GB가 할당되어 있기 때문에 대략 2천개 정도의 스레드를 생성하면 개당 1MB 씩 계산해서 거의 2GB 가상 메모리를 모두 점유해 메모리 부족에 시달리게 됩니다.

그런데, 여기서 윈도우는 약간 똑똑한 작업을 합니다. 스레드 스택을 '가상 메모리'로써 연속된 주소를 보장하도록 1MB를 예약하긴 하지만 그 1MB 전부를 미리 할당(Commit)하지는 않습니다. 대신 (32비트 운영체제에서 기본값으로) 4KB 영역을 할당(commit)해서 사용하고 추가적으로 그 위의 4KB를 guard 접근 권한으로 미리 할당해서 최초 8KB를 할당하게 됩니다. 나머지 "1016KB = 1MB - 8KB" 영역은 가상 주소(virtual address) 상으로 점유만 하고 있을 뿐, 실제로 그 영역을 위해 물리 메모리나 디스크 상에 할당이 되는 것은 아닙니다.

그러다가, 스레드가 4KB 영역을 넘어서 guard 페이지로 할당된 메모리를 접근하는 순간 Fault 예외가 발생하고 윈도우 운영체제는 그 순간 guard 페이지를 응용 프로그램이 사용할 수 있는 평범한 Read/Write 페이지로 바꾸고 새로운 4KB 물리 메모리를 또다시 할당해 guard 페이지로 설정해 놓습니다. 그런 식으로 4KB씩 자라다가 "1020KB = 1MB - 4KB"가 넘는 순간 Stackoverflow 예외가 발생하는 것입니다. 왜냐하면 마지막 guard 페이지는 그 이후의 보호 장치를 걸어둘 수 없는 이유로 사용하지 않습니다. (참고로, 64비트에서는 8KB + 8KB로 해서 최초 16KB를 commit합니다.)

좀 더 자세한 사항은 다음의 글을 참고하세요. ^^

Pushing the Limits of Windows: Processes and Threads
; https://techcommunity.microsoft.com/t5/windows-blog-archive/pushing-the-limits-of-windows-processes-and-threads/ba-p/723824

이 때문에, 가상 메모리 상으로 예약(Reserved)된 메모리를 나타내는 "Virtual Memory Size"가 있고, 그 중에서도 실제 할당(Commit)까지 발생한 영역을 나타내는 "Virtual Commit Size"가 있습니다.

이 설명을 듣고 작업 관리자의 메모리 관련 컬럼을 보겠습니다.

  • Working Set (Memory)
  • Memory (Private Working Set)
  • Commit size

"Working Set"은 Commit된 것 중에서 물리 메모리(RAM)에 올려진 것을 말합니다. 당연히 RAM에 없는 것은 디스크로 페이징되어 있을 것이고요. 따라서 다음과 같은 관계가 성립합니다.

Virtual Size = Commit Size + 미할당된 예약 영역 크기
Commit Size = (RAM에 있는) Working Set + (디스크에 있는) 페이징된 Commit 메모리

또한, "Private"이라는 것은 해당 EXE가 전용으로 할당한 것을 의미합니다. 쉽게 말해 C/C++에서 "new" 연산자를 사용해 할당한 메모리는 전부 private에 해당합니다. 따라서 보통은 메모리 누수(Leak)가 나타나는 프로그램은 private 메모리의 사용량에 대한 증가 추세를 보고 짐작할 수 있게 됩니다.

여기까지만 듣고 보면, Commit size보다 큰 Working Set은 있을 수 없는 상황입니다. 그런데, 작업 관리자를 보다 보면 종종 (보통 dwm.exe 같은 프로세스에서) Commit Size보다 Working Set 컬럼의 값이 큰 것을 볼 수 있습니다.

왜냐하면, 작업 관리자에서의 "Commit size"는 가상 메모리와 연관된 의미에서의 할당(commit) 메모리를 가리키는 것이 아니고 "Private"하게 할당된 모든 메모리의 크기를 의미하기 때문입니다. 이를 확인하려면 Process Explorer가 도움이 됩니다.

mem_type_1.png

위에서 보는 것처럼, 작업 관리자(Task Manager)의 "Commit size"와 동일한 크기로 Process Explorer에서 "Private Bytes"로 표시되는 것을 볼 수 있습니다. 그리고, Process Explorer의 "Virtual Size"는 예약된 크기를 포함하는 가상 메모리 크기입니다. 그렇다면 가상 메모리 중에서 진짜로 commit된 크기는 어떻게 알 수 있을까요? 아쉽게도 이것은 작업 관리자와 Process Explorer 모두 보여주지 않습니다.

대신 VMMap 프로그램을 사용하면 가능합니다.

VMMap
; https://docs.microsoft.com/en-us/sysinternals/downloads/vmmap

이 프로그램을 실행시켜 출력된 "Committed"가 바로 그것입니다.

mem_type_2.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 7/10/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2016-04-22 01시27분
[컴퓨터가] 버벅이는거랑 system commit이 큰거랑 상관이 없을까요?
왠지 너무크게 잡아먹고있는것처럼 보여서 검색하다보니 이글을 찾게되었네요
[손님]
2016-04-22 09시04분
"상관 관계"가 있는지에 대해서는 상황에 따라 다릅니다. 정말로 commit이 많아서 메모리가 부족해 swap 현상이 일어날 수도 있고, 윈도우 운영체제가 공격적으로 cache를 하면서 commit이 많아진 경우라면 버벅이는 현상이 거의 없을 것입니다.

윈도우 데스크탑 운영체제는 메모리가 크다면 가능한 그것을 충분히 활용하는 쪽으로 동작하게 되어 있습니다.

동일한 프로그램이라도, 4GB 메모리를 가진 PC에서와 8GB 메모리를 가진 PC에서 다른 commit 크기를 가질 수 있습니다. 예를 들어, 4GB 메모리인 경우 가용 메모리가 500MB로 줄어든다면 윈도우는 기존 프로그램들의 commit된 메모리 중에서 우선순위에 따라 메모리로부터 해제하고 페이징을 해버립니다. 물론, 이후 그 페이징된 메모리가 필요해지면 다시 메모리에 올려야 하기 때문에 이때 '버벅이는 현상'이 발생합니다. 하지만, 8GB 메모리를 가진 PC에서는 상대적으로 가용 메모리의 여유가 있을 상황이 많으므로 기존 프로그램의 commit 된 메모리를 굳이 페이징시킬 필요가 없어지는 것입니다.
정성태
2017-03-09 08시04분
[도미닉] 글 잘 읽었습니다. 어쩌다가 검색해서 오게 되었네요.
리소스 모니터의 'Cached' 항목과 성능 모니터 혹은 Process 모니터에서 보는 'Cached WS' 항목이 값이 달라서 왜 그런지 찾다가 여기까지 오게 되었네요....
[손님]
2021-03-23 01시50분
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13069정성태5/26/202220.NET Framework: 2019. C# - .NET에서 제공하는 3가지 Timer 비교
13068정성태5/24/2022108.NET Framework: 2018. C# - 일정 크기를 할당하는 동안 GC를 (가능한) 멈추는 방법파일 다운로드1
13067정성태5/23/202230Windows: 206. Outlook - 1년 이상 지난 메일이 기본적으로 안 보이는 문제
13066정성태5/23/202226Windows: 205. Windows 11 - Windows + S(또는 Q)로 뜨는 작업 표시줄의 검색 바가 동작하지 않는 경우
13065정성태5/20/2022236.NET Framework: 2017. C# - Windows I/O Ring 소개파일 다운로드1
13064정성태5/18/2022111.NET Framework: 2016. C# - JIT 컴파일러의 인라인 메서드 처리 유무
13063정성태5/18/2022136.NET Framework: 2015. C# - 인라인 메서드(inline methods)
13062정성태5/17/2022280.NET Framework: 2014. C# - async/await 그리고 스레드 (4) 비동기 I/O 재현파일 다운로드1
13061정성태5/16/2022103.NET Framework: 2013. C# - FILE_FLAG_OVERLAPPED가 적용된 파일의 읽기/쓰기 시 Position 관리파일 다운로드1
13060정성태5/15/2022182.NET Framework: 2012. C# - async/await 그리고 스레드 (3) Task.Delay 재현파일 다운로드1
13059정성태5/14/2022185.NET Framework: 2011. C# - CLR ThreadPool의 I/O 스레드에 작업을 맡기는 방법파일 다운로드1
13058정성태5/13/2022123.NET Framework: 2010. C# - ThreadPool.SetMaxThreads 사용법
13057정성태5/12/202281오류 유형: 812. 파이썬 - ImportError: cannot import name ...
13056정성태5/12/2022318.NET Framework: 2009. C# - async/await 그리고 스레드 (2) MyTask의 호출 흐름 [2]파일 다운로드1
13055정성태5/11/2022448.NET Framework: 2008. C# - async/await 그리고 스레드 (1) MyTask로 재현 [4]파일 다운로드1
13054정성태5/11/2022270.NET Framework: 2007. C# - 10진수 숫자를 담은 문자열을 숫자로 변환하는 방법 [9]파일 다운로드1
13053정성태5/10/2022135.NET Framework: 2006. C# - GC.KeepAlive 메서드의 역할
13052정성태5/9/2022201.NET Framework: 2005. C# - 생성한 참조 개체가 언제 GC의 정리 대상이 될까요?
13051정성태5/8/2022110.NET Framework: 2004. C# XingAPI - ACF 검색 결과로 구한 CSV 파일을 통해 퀀트 종목 찾기파일 다운로드1
13050정성태5/6/2022133.NET Framework: 2003. C# - COM 개체의 이벤트 핸들러에서 발생하는 예외에 대한 CLR의 특별 대우파일 다운로드1
13049정성태5/6/202268오류 유형: 811. GoLand - Error: Cannot find package
13048정성태5/6/202289오류 유형: 810. "ASUS TUF GAMING B550M-PLUS (WI-FI)" 모델에서 블루투스 장치가 인식이 안 되는 문제
13047정성태5/6/202263오류 유형: 809. Speech Recognition could not start
13046정성태5/5/2022128.NET Framework: 2002. C# XingAPI - ACF 파일을 이용한 퀀트 종목 찾기(t1857)
13045정성태5/5/2022116.NET Framework: 2001. C# XingAPI - 주식 종목에 따른 PBR, PER, ROE 구하는 방법(t3341 예제)
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...