Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

제니퍼 닷넷 적용 사례 (9) - DB 서비스에 부하가 걸렸다?!

(지금은 종료한) 제니퍼 프로모션 기간 동안,

제니퍼 .Net, PHP, Python 무료 설치 프로모션_2022
; https://jennifersoft.com/ko/blog/event-blog/2022-06-13/

발생한 재미있는 사례가 하나 있어 소개합니다. 프로모션에 신청한 해당 고객사는 마침 "DB에 부하가 걸리는 현상들이 발생"하고 있다면서 실제로 문제가 발생한 시간을 특정하면서 그때 "DB Service가 먹통이 된 현상"을 겪었다고 합니다.

자, ^^ 제니퍼가 설치되었으니 그 시간대의 성능 관련 자료들을 조회해 보면 문제의 원인이 나오지 않을까요? ^^

이를 위해, 제니퍼 "분석" 메뉴의 "X-View" 조회 화면으로 들어가 고객 측에서 알려 준 시간의 요청 처리 상황을 확인했습니다.

[그림 1: 우측 상단의 "필터링" 조건에서 "ERROR가 포함된 트랜잭션만 표시"를 체크한 결과]
apm_post_mortem_diag_1.jpg

위의 화면은 그 시간대에 발생한 요청 중 "ERROR"가 발생한 경우만 보여주는데요, 왜냐하면 DB Service가 먹통이 되었으니 aspx에 대한 처리 중 예외가 발생했을 것이기 때문입니다.

보다시피, 저 시간대에만 약 22만 건에 해당하는 예외가 발생했고, 게다가 좌측 "애플리케이션" 목록에 (blur 처리되었지만) 나오는 것처럼 단 하나의 aspx 페이지 요청에 집중된 걸로 봐서, 분명한 장애 상황이 맞습니다. 자, 그럼 어떤 예외가 발생했는지 볼까요? ^^

위의 화면에서 빨간색 점들을 포함하도록 마우스를 이용해 드래그 동작으로 영역을 지정하면 해당 점들이 가진 프로파일 정보를 볼 수 있습니다. 아래는 그 프로파일 중, 예외 메시지를 포함하고 있는 항목입니다.

...[생략]...
[0003][14:47:37 361][    0][    0] EXTERNAL-CALL [HTTP] WebReq.http://192.168.100.5 [12 ms]
[0004][14:47:37 373][   12][    0] url=http://192.168.100.5/DB/ExcuteQuery,response=One or more errors occurred. (각 소켓 주소(프로토콜/네트워크 주소/포트)는 하나만 사용할 수 있습니다.)
...[생략]...

아마도, 오류가 발생한 aspx 페이지는 내부의 또 다른 API 서버를 HTTP 호출로 경유해 DB 접근을 하는 듯합니다. 그리고, 프로파일의 오류 메시지를 통해 장애의 결정적인 원인을 파악할 수 있습니다.




해당 오류 메시지는,

Only one usage of each socket address (protocol/network address/port) is normally permitted
각 소켓 주소(프로토콜/네트워크 주소/포트)는 하나만 사용할 수 있습니다.

동일한 포트로 소켓 바인딩을 하려고 할 때 발생합니다. 따라서, HTTP 호출에서 이런 오류가 발생했다는 것은 로컬의 TCP 포트가 모두 소진되었다는 것을 의미합니다. 결국 이런 문제가 발생하면 그 원인은 다음과 같이 나눌 수 있습니다.

1. 해당 웹 애플리케이션에서 HTTP 연결에 LEAK이 발생하는 경우
2. 해당 머신의 다른 응용 프로그램에서 문제가 있는 경우
    A. 그 시간에 실행이 되도록 스케줄링된 프로세스가 과다하게 연결을 사용한다거나,
    B. 혹은 기존 프로세스에서 과다하게 TCP 연결을 많이 (또는 역시 LEAK이 발생) 하고 있는 경우

아쉽지만, 저것들 중 어느 것이 원인인지는 제니퍼에서 알 수는 없습니다. 단지, 저것이 원인일 것이라는 단서가 나왔으므로 다음부터는 제니퍼 모니터링 중 저런 상황이 발생하면 "netstat -ano" 명령어를 실행해 어떤 프로세스가 과다하게 포트를 소진하고 있는지 특정할 수 있습니다.

혹은, 해당 서버에 설치된 응용 프로그램을 잘 알고 있다면 개별 응용 프로그램의 소스 코드를 살펴 LEAK의 원인이 있는지 확인해 오류를 해결할 수 있을 것입니다.

어쨌든 위의 내용을 포함한 분석 결과를 해당 고객사에 전달했고, 이후 그 고객사는 문제 해결에 큰 도움이 되었다는 회신을 보내왔습니다. (어떤 해결을 했는지 알려주셨으면 더 좋았을 텐데. ^^)




여기서 중요한 것은, 그동안 고객사는 "DB 서비스가 먹통"이라고 판단했다는 점입니다. 하지만, "측정"을 한 결과, 그것은 "DB"의 문제가 아니라 호출 측의 문제였다는 점!




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 11/22/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13529정성태1/15/20242921닷넷: 2202. C# - PublishAot의 glibc에 대한 정적 링킹하는 방법
13528정성태1/14/20243074Linux: 68. busybox 컨테이너에서 실행 가능한 C++, Go 프로그램 빌드
13527정성태1/14/20243033오류 유형: 892. Visual Studio - Failed to launch debug adapter. Additional information may be available in the output window.
13526정성태1/14/20243148닷넷: 2201. C# - Facebook 연동 / 사용자 탈퇴 처리 방법
13525정성태1/13/20242912오류 유형: 891. Visual Studio - Web Application을 실행하지 못하는 IISExpress
13524정성태1/12/20243000오류 유형: 890. 한국투자증권 KIS Developers OpenAPI - GW라우팅 중 오류가 발생했습니다.
13523정성태1/12/20242713오류 유형: 889. Visual Studio - error : A project with that name is already opened in the solution.
13522정성태1/11/20243088닷넷: 2200. C# - HttpClient.PostAsJsonAsync 호출 시 "Transfer-Encoding: chunked" 대신 "Content-Length" 헤더 처리
13521정성태1/11/20243235닷넷: 2199. C# - 한국투자증권 KIS Developers OpenAPI의 WebSocket Ping, Pong 처리
13520정성태1/10/20242896오류 유형: 888. C# - Unable to resolve service for type 'Microsoft.Extensions.ObjectPool.ObjectPool`....'
13519정성태1/10/20242878닷넷: 2198. C# - Reflection을 이용한 ClientWebSocket의 Ping 호출파일 다운로드1
13518정성태1/9/20243199닷넷: 2197. C# - ClientWebSocket의 Ping, Pong 처리
13517정성태1/8/20243046스크립트: 63. Python - 공개 패키지를 이용한 위성 이미지 생성 (pystac_client, odc.stac)
13516정성태1/7/20243049닷넷: 2196. IIS - AppPool의 "Disable Overlapped Recycle" 옵션의 부작용
13515정성태1/6/20243479닷넷: 2195. async 메서드 내에서 C# 7의 discard 구문 활용 사례 [1]
13514정성태1/5/20243074개발 환경 구성: 702. IIS - AppPool의 "Disable Overlapped Recycle" 옵션
13513정성태1/5/20243078닷넷: 2194. C# - WebActivatorEx / System.Web의 PreApplicationStartMethod 특성
13512정성태1/4/20243043개발 환경 구성: 701. IIS - w3wp.exe 프로세스의 ASP.NET 런타임을 항상 Warmup 모드로 유지하는 preload Enabled 설정
13511정성태1/4/20243095닷넷: 2193. C# - ASP.NET Web Application + OpenAPI(Swashbuckle) 스펙 제공
13510정성태1/3/20242902닷넷: 2192. C# - 특정 실행 파일이 있는지 확인하는 방법 (Linux)
13509정성태1/3/20243007오류 유형: 887. .NET Core 2 이하의 프로젝트에서 System.Runtime.CompilerServices.Unsafe doesn't support netcoreapp2.0.
13508정성태1/3/20242961오류 유형: 886. ORA-28000: the account is locked
13507정성태1/2/20243815닷넷: 2191. C# - IPGlobalProperties를 이용해 netstat처럼 사용 중인 Socket 목록 구하는 방법파일 다운로드1
13506정성태12/29/20233381닷넷: 2190. C# - 닷넷 코어/5+에서 달라지는 System.Text.Encoding 지원
13505정성태12/27/20234144닷넷: 2189. C# - WebSocket 클라이언트를 닷넷으로 구현하는 예제 (System.Net.WebSockets)파일 다운로드1
13504정성태12/27/20233568닷넷: 2188. C# - ASP.NET Core SignalR로 구현하는 채팅 서비스 예제파일 다운로드1
1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...