Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

.NET Core 웹 앱을 호스팅하는 Azure App Services의 프로세스 메모리 덤프 및 windbg 분석 개요

Azure 웹 앱도 Full 메모리 덤프를 뜰 수 있습니다. 이에 대해서는 다음의 글에서 자세하게 설명하고 있는데요,

How to get a full memory dump in Azure App Services
; https://blogs.msdn.microsoft.com/jpsanders/2017/02/02/how-to-get-a-full-memory-dump-in-azure-app-services/

정리해 보면, App Service를 호스팅하는 윈도우 VM에는 다음과 같은 경로에 procdump.exe가 있습니다.

d:\devtools\sysinternals\procdump.exe

따라서 Kudu 서비스의 명령행을 이용해 현재 실행 중인 프로세스(예: pid == 6620)의 풀 메모리 덤프를 받을 수 있습니다.

d:\devtools\sysinternals\procdump -accepteula -ma 6620

"How to get a full memory dump in Azure App Services"의 덧글에 보면 Kudu 서비스의 "Process Explorer"에서 프로세스 속성 창을 들어가면 있는 하단의 "KILL" 과 "Download Dump" 버튼을 소개하는데, 저건 닷넷 응용 프로그램의 메모리 덤프 분석과 아무런 상관이 없으니 무시하셔도 됩니다.

참고로, 제 경우에 특정 동작을 하면 프로세스가 비정상 종료했는데요. 혹시나 그 시점에 어떤 예외가 발생하는지 알아내기 위해 다음의 글에 따라,

try/catch로 조용히 사라진 예외를 파악하고 싶다면?
; https://www.sysnet.pe.kr/2/0/10965

실행했더니 닷넷 예외가 아닌 ^^; ACCESS_VIOLATION을 볼 수 있었습니다.

D:\home> d:\devtools\sysinternals\procdump -accepteula -e 1 -f ""  6620

ProcDump v9.0 - Sysinternals process dump utility
Copyright (C) 2009-2017 Mark Russinovich and Andrew Richards
Sysinternals - www.sysinternals.com

Process:               dotnet.exe (6620)
Process image:         D:\Program Files (x86)\dotnet\dotnet.exe
CPU threshold:         n/a
Performance counter:   n/a
Commit threshold:      n/a
Threshold seconds:     n/a
Hung window check:     Disabled
Log debug strings:     Disabled
Exception monitor:     First Chance+Unhandled
Exception filter:      [Includes]
                       *
                       [Excludes]
                       *
Terminate monitor:     Disabled
Cloning type:          Disabled
Concurrent limit:      n/a
Avoid outage:          n/a
Number of dumps:       1
Dump folder:           D:\home\
Dump filename/mask:    PROCESSNAME_YYMMDD_HHMMSS
Queue to WER:          Disabled
Kill after dump:       Disabled


Press Ctrl-C to end monitoring without terminating the process.

CLR Version: v2.0.50727

[07:35:03] Exception: C0000005.ACCESS_VIOLATION
[07:35:03] Exception: 80000003.BREAKPOINT
[07:35:03] The process has exited.
[07:35:03] Dump count not reached.

그래서 그냥 예외가 발생할 때 덤프를 남기는 걸로 바꿨습니다.

D:\home> d:\devtools\sysinternals\procdump -accepteula -e 1 -ma 16908

ProcDump v9.0 - Sysinternals process dump utility
Copyright (C) 2009-2017 Mark Russinovich and Andrew Richards
Sysinternals - www.sysinternals.com

Process:               dotnet.exe (16908)
Process image:         D:\Program Files (x86)\dotnet\dotnet.exe
CPU threshold:         n/a
Performance counter:   n/a
Commit threshold:      n/a
Threshold seconds:     n/a
Hung window check:     Disabled
Log debug strings:     Disabled
Exception monitor:     First Chance+Unhandled
Exception filter:      [Includes]
                       *
                       [Excludes]
Terminate monitor:     Disabled
Cloning type:          Disabled
Concurrent limit:      n/a
Avoid outage:          n/a
Number of dumps:       1
Dump folder:           D:\home\
Dump filename/mask:    PROCESSNAME_YYMMDD_HHMMSS
Queue to WER:          Disabled
Kill after dump:       Disabled


Press Ctrl-C to end monitoring without terminating the process.

CLR Version: v2.0.50727

[07:41:31] Exception: C0000005.ACCESS_VIOLATION
[07:41:31] Dump 1 initiated: D:\home\dotnet.exe_190308_074131.dmp
[07:41:36] Dump 1 writing: Estimated dump file size is 186 MB.
[07:41:41] Dump 1 complete: 186 MB written in 10.6 seconds
[07:41:42] Dump count reached.

이제 덤프 파일을 내려받고 분석을 해야 하는데 일전에도 썼듯이 닷넷 응용 프로그램의 dmp를 다른 PC에서 분석하기 위해서는 sos.dll과 dac dll이 필요합니다.

windbg 의 mscordacwks DLL 로드 문제 - 세 번째 이야기
; https://www.sysnet.pe.kr/2/0/11231

이를 구하기 위해서는, App Services에서 운영 중인 응용 프로그램의 경우 일단 해당 닷넷 코어를 호스팅하는 바이너리의 경로부터 알아내야 합니다. 다른 어떤 좋은 방법이 있는지는 모르겠지만, 제가 선택한 방법은 "Kudu" 서비스의 "Process Explorer"로 들어가 dotnet.exe의 속성 창을 들어가면 "Handles" 탭에서 닷넷 코어 관련 DLL들의 경로를 알 수 있습니다. 가령 제 경우에는 다음과 같이 출력되었습니다.

D:\Program Files (x86)\dotnet\shared\Microsoft.NETCore.App\2.1.8\System.Private.CoreLib.dll

따라서 "D:\Program Files (x86)\dotnet\shared\Microsoft.NETCore.App\2.1.8" 경로를 들어가 다음의 2개 파일을 역시 내려받으면 됩니다.

  • sos.dll
  • mscordaccore.dll

자, 그럼 준비는 모두 끝났습니다. 모두 c:\temp에 저장했다고 가정하고 덤프를 windbg로 로드한 후 sos.dll 설정을 다음과 같이 끝내면,

.load c:\temp\sos.dll
.cordll -lp c:\temp

이제 여느 닷넷 프로그램과 마찬가지로 sos 명령어를 이용해 자유롭게 분석할 수 있습니다.

0:021> !clrstack
OS Thread Id: 0x28a4 (21)
Child SP       IP Call Site
2234eed8 65ee3b94 [InlinedCallFrame: 2234eed8] 
2234eed4 22ed4b4c DomainBoundILStubClass.IL_STUB_CLRtoCOM(IntPtr ByRef)
2234eed8 22ed4a12 [InlinedCallFrame: 2234eed8] TestApp.ICorRuntimeHost.EnumDomains(IntPtr ByRef)
2234ef30 22ed4a12 Error: Failed to load D:\Program Files (x86)\dotnet\shared\Microsoft.NETCore.App\2.1.8\coreclr.dll
TestApp.HeapUsage.GetAppDomainList()
2234f080 21d3bf0a TestApp.Run(System.Object)
2234f0a8 2052941f System.Threading.Thread.ThreadMain_ParameterizedThreadStart(System.Object) [E:\A\_work\321\s\corefx\src\System.Threading.Thread\src\System\Threading\Thread.cs @ 103]
2234f0b8 1dce1123 System.Threading.ThreadHelper.ThreadStart_Context(System.Object) [E:\A\_work\335\s\src\mscorlib\src\System\Threading\Thread.cs @ 62]
2234f0cc 1dce0f3b System.Threading.ExecutionContext.RunInternal(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object) [E:\A\_work\335\s\src\mscorlib\shared\System\Threading\ExecutionContext.cs @ 167]
2234f10c 20528e76 System.Threading.ThreadHelper.ThreadStart(System.Object) [E:\A\_work\335\s\src\mscorlib\src\System\Threading\Thread.cs @ 77]
2234f1f8 60bfb0ef [GCFrame: 2234f1f8] 
2234f388 60bfb0ef [DebuggerU2MCatchHandlerFrame: 2234f388] 




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 3/13/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2019-03-13 08시50분
Debug Azure with the Snapshot Debugger
; https://youtu.be/5ODiPOiNzMk
정성태
2020-01-17 10시35분
정성태
2020-09-09 12시22분
.NET Core 3.0 응용 프로그램부터는 sos.dll, mscordaccore.dll 파일은 내려받지 않아도 됩니다.

WinDbg Preview 버전부터 닷넷 코어 3.0 이후의 메모리 덤프에 대해 sos.dll 자동 로드
; https://www.sysnet.pe.kr/2/0/12316

정성태

1  [2]  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12407정성태11/9/2020102.NET Framework: 967. "clr!JIT_DbgIsJustMyCode" 호출이 뭘까요?
12406정성태11/22/2020219.NET Framework: 966. C# 9.0 - (15) 최상위 문(Top-level statements) [1]파일 다운로드1
12405정성태11/22/2020141.NET Framework: 965. C# 9.0 - (14) 부분 메서드에 대한 새로운 기능(New features for partial methods)파일 다운로드1
12404정성태11/22/2020136.NET Framework: 964. C# 9.0 - (13) 모듈 이니셜라이저(Module initializers)파일 다운로드1
12403정성태11/22/2020150.NET Framework: 963. C# 9.0 - (12) foreach 루프에 대한 GetEnumerator 확장 메서드 지원(Extension GetEnumerator)파일 다운로드1
12402정성태11/22/2020224.NET Framework: 962. C# 9.0 - (11) 공변 반환 형식(Covariant return types) [1]파일 다운로드1
12401정성태11/5/2020116VS.NET IDE: 153. 닷넷 응용 프로그램에서의 "My Code" 범위와 "Enable Just My Code"의 역할
12400정성태11/5/202043오류 유형: 679. Visual Studio - "Source Not Found" 창에 "Decompile source code" 링크가 없는 경우
12399정성태11/22/2020137.NET Framework: 961. C# 9.0 - (10) 대상으로 형식화된 조건식(Target-typed conditional expressions)파일 다운로드1
12398정성태11/4/202049오류 유형: 678. Windows Server 2008 R2 환경에서 Powershell을 psexec로 원격 실행할 때 hang이 발생하는 문제
12397정성태11/4/2020141.NET Framework: 960. C# - 조건 연산자(?:)를 사용하는 경우 달라지는 메서드 선택 사례파일 다운로드1
12396정성태11/3/2020119VS.NET IDE: 152. Visual Studio - "Tools" / "External Tools..."에 등록된 외부 명령어에 대한 단축키 설정 방법
12395정성태11/3/202048오류 유형: 677. SSMS로 DB 접근 시 The server principal "..." is not able to access the database "..." under the current security context.
12394정성태11/3/202040오류 유형: 676. cacls - The Recycle Bin on ... is corrupted. Do you want to empty the Recycle Bin for this drive?
12393정성태11/3/202055오류 유형: 675. Visual Studio - 닷넷 응용 프로그램 디버깅 시 Disassembly 창에서 BP 설정할 때 "Error while processing breakpoint." 오류
12392정성태11/22/2020270.NET Framework: 959. C# 9.0 - (9) 레코드(Records) [1]파일 다운로드1
12390정성태11/1/202091디버깅 기술: 173. windbg - System.Configuration.ConfigurationErrorsException 예외 분석 방법
12389정성태11/22/2020242.NET Framework: 958. C# 9.0 - (8) 정적 익명 함수 (static anonymous functions)파일 다운로드1
12388정성태10/29/2020121오류 유형: 674. 어느 순간부터 닷넷 응용 프로그램 실행 시 System.Configuration.ConfigurationErrorsException 예외가 발생한다면?
12387정성태10/29/2020246.NET Framework: 957. C# - static 필드의 정보가 GC Heap에 저장될까요?파일 다운로드1
12386정성태10/28/202082Linux: 34. 사용자 정보를 함께 출력하는 리눅스의 ps 명령어 사용 방법
12385정성태10/28/202067오류 유형: 673. openssl - req: No value provided for Subject Attribute CN, skipped
12384정성태10/27/202093오류 유형: 672. AllowPartiallyTrustedCallers 특성이 적용된 어셈블리의 struct 멤버 메서드를 재정의하면 System.Security.VerificationException 예외 발생
12383정성태11/22/2020264.NET Framework: 956. C# 9.0 - (7) 패턴 일치 개선 사항(Pattern matching enhancements) [1]파일 다운로드1
12382정성태11/13/202083오류 유형: 671. dotnet build - The local source '...' doesn't exist
12381정성태10/26/2020169VC++: 137. C++ stl map의 사용자 정의 타입을 key로 사용하는 방법파일 다운로드1
1  [2]  3  4  5  6  7  8  9  10  11  12  13  14  15  ...