Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 3개 있습니다.)
디버깅 기술: 39. DebugDiag 1.1을 사용한 덤프 분석
; https://www.sysnet.pe.kr/2/0/1026

디버깅 기술: 65. 프로세스 비정상 종료 시 "Debug Diagnostic Tool"를 이용해 덤프를 남기는 방법
; https://www.sysnet.pe.kr/2/0/1786

디버깅 기술: 137. 실제 사례를 통해 Debug Diagnostics 도구가 생성한 닷넷 웹 응용 프로그램의 성능 장애 보고서 설명
; https://www.sysnet.pe.kr/2/0/12067




실제 사례를 통해 Debug Diagnostics 도구가 생성한 닷넷 웹 응용 프로그램의 성능 장애 보고서 설명

최근에 고객사 덤프 분석을 하면서 의외로 "Debug Diagnostic" 도구의 결과물에 대해 너무 어렵다는 선입견을 보게 되었습니다.

DebugDiag 1.1을 사용한 덤프 분석
; https://www.sysnet.pe.kr/2/0/1026

Debug Diagnostic Tool v2 Update 3
; https://www.microsoft.com/en-us/download/details.aspx?id=58210

그런데, 실제로 사용해서 찬찬히 뜯어 보시면 충분히 일반적으로 인식할 수 있는 수준입니다. 여러분의 이해를 돕기 위해 이 글의 첨부 파일에 DebugDiag가 분석을 완료한 mht 출력 파일을 하나 올렸으니 그걸 보면서 설명해 보겠습니다. (실제 장애가 발생한 시점에 뜬 고객사 사례인데, 단지 메서드 등을 모두 TestWebApp이라든가 하는 식의 이름으로 바꾼 것입니다.)

dotnet_2_CrashHangAnalysis.mht
; https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1513&boardid=331301885

위의 파일을 열어서 보면 초기에 다음과 같은 내용을 볼 수 있습니다.

windbg_es_hang_1.png

딱 봐도 문제가 있는 듯하죠? ^^ 어쨌든 메시지를 보면 610개의 스레드가 "System.Threading.Monitor.Wait"로 대기하고 있음을 알려주고 있습니다. 나열된 번호는 대기 중인 Thread의 ID 목록입니다.

그리고 내용을 좀 더 내려 보면 "Thread Report"가 나오고 그중에서 같은 thread call stack을 가진 것들만 연속으로 함께 나열된 후 해당 사실을 다음과 같이 알려줍니다.

windbg_es_hang_2.png

311 Threads (46% of all threads) have this same call stack.
Note: Grouping of identical threads can be disabled in the 'Preferences' tab of the Analysis Options

위의 메시지에 따라 이후 311개의 스레드가 같은 스레드 call stack을 갖고 있지만 개별 스레드마다 생성 시간 등은 다르므로 다음과 같이 그런 정보들만 다시 나열하고,

Thread 48 - System ID 18376

    Entry point   coreclr!Thread::intermediateThreadProc 
    Create time   2018-05-23 오후 10:04:41 
    Time spent in user mode   0 Days 00:00:46.531 
    Time spent in kernel mode   0 Days 00:00:00.953 

    This thread is waiting in System.Threading.Monitor.Wait


Thread 49 - System ID 32492

    Entry point   coreclr!Thread::intermediateThreadProc 
    Create time   2018-05-23 오후 10:07:13 
    Time spent in user mode   0 Days 00:00:39.625 
    Time spent in kernel mode   0 Days 00:00:01.015 

    This thread is waiting in System.Threading.Monitor.Wait

...[생략]...

311개 스레드 정보의 마지막에 해당하는 (dotnet_2_CrashHangAnalysis.mht의 경우 664번) 스레드가 나올 때 어떤 call stack을 동일하게 갖고 있는지 비로소 보여주게 됩니다.

windbg_es_hang_3.png

이 정도면 그냥 눈에 들어오죠? 위의 내용을 보면 가장 상단은 "System.Threading.ManualResetEventSlim.Wait"이지만 약간만 내려가도 ElasticSearch 관련 호출이 나오는 것에서 결국 ElasticSearch 호출로 인해, 즉 ElasticSearch 서버가 정상적으로 호출을 처리해주지 못해 311개의 스레드가 대기 중이라는 것을 알 수 있습니다.

이후의 Thread 분석 결과도 유사합니다. 처음 보고에서 610개의 스레드가 blocking 상태였는데 그중 311개는 위와 같은 상태이고, 다른 300개 정도의 스레드도 중간에 호출되는 업무 메서드가 달라서 callstack이 다른 것일 뿐 결국 상단에는 Elasticsearch.Net.HttpConnection.Request가 자리 잡고 있습니다.




어떠신가요? 덤프 분석이 (windbg로 하려면 어려운 듯하지만) Debug Diagnostics로 기본적인 분석 결과만 돌려봐도 응용 프로그램의 성능 문제를 파악하는 데 그다지 어려움이 없습니다.

따라서 앞으로는 문제가 발생했을 때, 무작정 iisreset 또는 recycle을 하지 말고 그전에 덤프 파일을 생성해 둘 것을 권장합니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/28/2019]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2019-12-12 11시57분
[이광표] 부장님.. 덤프관련 내용 서치하다 글보고 댓글 남깁니다. 항시 도움 주셔서 감사합니다.
[guest]

... 181  182  183  184  185  186  187  188  189  190  191  192  193  194  [195]  ...
NoWriterDateCnt.TitleFile(s)
68정성태10/31/200421976.NET Framework: 17. Win32_NTLogEvent를 c#에서 wmi 쿼리할 때..에러..
67정성태10/22/200419182COM 개체 관련: 12. Microsoft.XMLHTTP 개체에서 Microsoft.XMLDOM 개체를 전송할 때 charset 지정 문제?
66정성태10/16/200420366.NET Framework: 16. [닷넷 리모팅] 프록시가 죽은 것을 원격 개체가 알 수 있는 방법은?
65정성태10/16/200419362VS.NET IDE: 8. Windows 가상 메모리 사용 해제
64정성태10/3/200423049.NET Framework: 15. ASP.NET에서 .NET COM+ 개체 등록 시 "Local System"이어야 하는 이유.
63정성태10/3/200423147.NET Framework: 14. Response.Cookies.Clear는 기존 설정된 Cookie 헤더를 삭제하는 것이 아닙니다.
62정성태10/3/200422134기타: 7. DB 트랜잭션에서 Lock이 걸릴 수 있는 전형적인 예.
61정성태10/3/200421692.NET Framework: 13. Main 메서드에 붙은 STAThread 의미
60정성태10/3/200420367.NET Framework: 12. IDispatch::GetIDsOfNames 역변환 메서드 작성 힌트 ( DISPID 로 메서드 이름 알아내는 것 )
58정성태10/3/200423479.NET Framework: 11. HttpContext의 간략이해
56정성태10/3/200419961.NET Framework: 10. [.NET 리모팅] 원격개체를 호출한 클라이언트의 연결이 유효한지 판단하는 방법.
55정성태10/3/200420703COM 개체 관련: 11. 내가 생각해 보는 COM의 현재 위치
54정성태8/30/200426360VC++: 10. 내가 생각해 보는 MFC OCX와 ATL DLL에 선택 기준
53정성태11/20/200525707VC++: 9. CFtpFileFind/FtpFileFind가 일부 Unix FTP 서버에서 목록을 제대로 못 가져오는 문제
184정성태11/23/200519364    답변글 VC++: 9.1. FTP 관련 토픽파일 다운로드1
51정성태6/24/200424292VC++: 8. BSTR 메모리 할당 및 해제(MSDN Library 발췌) [1]
50정성태6/16/200417655기타: 6. 1차 데스크톱 컴퓨터 사양
49정성태6/16/200418140기타: 5. 53만 원대 Second PC 마련. ^^
48정성태3/2/200420006.NET Framework: 9. 윈도우즈 발전사를 모아 둔 사이트. [1]
47정성태11/14/200518511VS.NET IDE: 7. 한글 OS에서 Internet Explorer 6.0 with SP1의 UI 언어 바꾸는 방법
45정성태1/26/200417876기타: 4. MCAD 시험
44정성태1/26/200418650VS.NET IDE: 6. 터미널 서비스 포트 변경 ( 서버 및 클라이언트 )
46정성태1/26/200423725    답변글 VS.NET IDE: 6.1. Windows 2003 터미널 서비스 라이센스 서버 없이 접속
114정성태11/14/200515146    답변글 VS.NET IDE: 6.2. [터미널 서버 라이센스] : 활성화 시 오류
43정성태12/23/200318354기타: 3. XP/2003 개인 방화벽 설정파일 다운로드1
40정성태7/23/200321825COM 개체 관련: 10. IE BHO 개체를 개발할 때, 인터넷 익스플로러가 아닌 탐색기에서 활성화 되는 문제 해결 [1]
... 181  182  183  184  185  186  187  188  189  190  191  192  193  194  [195]  ...