Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

제니퍼 닷넷 적용 사례 (9) - DB 서비스에 부하가 걸렸다?!

(지금은 종료한) 제니퍼 프로모션 기간 동안,

제니퍼 .Net, PHP, Python 무료 설치 프로모션_2022
; https://jennifersoft.com/ko/blog/event-blog/2022-06-13/

발생한 재미있는 사례가 하나 있어 소개합니다. 프로모션에 신청한 해당 고객사는 마침 "DB에 부하가 걸리는 현상들이 발생"하고 있다면서 실제로 문제가 발생한 시간을 특정하면서 그때 "DB Service가 먹통이 된 현상"을 겪었다고 합니다.

자, ^^ 제니퍼가 설치되었으니 그 시간대의 성능 관련 자료들을 조회해 보면 문제의 원인이 나오지 않을까요? ^^

이를 위해, 제니퍼 "분석" 메뉴의 "X-View" 조회 화면으로 들어가 고객 측에서 알려 준 시간의 요청 처리 상황을 확인했습니다.

[그림 1: 우측 상단의 "필터링" 조건에서 "ERROR가 포함된 트랜잭션만 표시"를 체크한 결과]
apm_post_mortem_diag_1.jpg

위의 화면은 그 시간대에 발생한 요청 중 "ERROR"가 발생한 경우만 보여주는데요, 왜냐하면 DB Service가 먹통이 되었으니 aspx에 대한 처리 중 예외가 발생했을 것이기 때문입니다.

보다시피, 저 시간대에만 약 22만 건에 해당하는 예외가 발생했고, 게다가 좌측 "애플리케이션" 목록에 (blur 처리되었지만) 나오는 것처럼 단 하나의 aspx 페이지 요청에 집중된 걸로 봐서, 분명한 장애 상황이 맞습니다. 자, 그럼 어떤 예외가 발생했는지 볼까요? ^^

위의 화면에서 빨간색 점들을 포함하도록 마우스를 이용해 드래그 동작으로 영역을 지정하면 해당 점들이 가진 프로파일 정보를 볼 수 있습니다. 아래는 그 프로파일 중, 예외 메시지를 포함하고 있는 항목입니다.

...[생략]...
[0003][14:47:37 361][    0][    0] EXTERNAL-CALL [HTTP] WebReq.http://192.168.100.5 [12 ms]
[0004][14:47:37 373][   12][    0] url=http://192.168.100.5/DB/ExcuteQuery,response=One or more errors occurred. (각 소켓 주소(프로토콜/네트워크 주소/포트)는 하나만 사용할 수 있습니다.)
...[생략]...

아마도, 오류가 발생한 aspx 페이지는 내부의 또 다른 API 서버를 HTTP 호출로 경유해 DB 접근을 하는 듯합니다. 그리고, 프로파일의 오류 메시지를 통해 장애의 결정적인 원인을 파악할 수 있습니다.




해당 오류 메시지는,

Only one usage of each socket address (protocol/network address/port) is normally permitted
각 소켓 주소(프로토콜/네트워크 주소/포트)는 하나만 사용할 수 있습니다.

동일한 포트로 소켓 바인딩을 하려고 할 때 발생합니다. 따라서, HTTP 호출에서 이런 오류가 발생했다는 것은 로컬의 TCP 포트가 모두 소진되었다는 것을 의미합니다. 결국 이런 문제가 발생하면 그 원인은 다음과 같이 나눌 수 있습니다.

1. 해당 웹 애플리케이션에서 HTTP 연결에 LEAK이 발생하는 경우
2. 해당 머신의 다른 응용 프로그램에서 문제가 있는 경우
    A. 그 시간에 실행이 되도록 스케줄링된 프로세스가 과다하게 연결을 사용한다거나,
    B. 혹은 기존 프로세스에서 과다하게 TCP 연결을 많이 (또는 역시 LEAK이 발생) 하고 있는 경우

아쉽지만, 저것들 중 어느 것이 원인인지는 제니퍼에서 알 수는 없습니다. 단지, 저것이 원인일 것이라는 단서가 나왔으므로 다음부터는 제니퍼 모니터링 중 저런 상황이 발생하면 "netstat -ano" 명령어를 실행해 어떤 프로세스가 과다하게 포트를 소진하고 있는지 특정할 수 있습니다.

혹은, 해당 서버에 설치된 응용 프로그램을 잘 알고 있다면 개별 응용 프로그램의 소스 코드를 살펴 LEAK의 원인이 있는지 확인해 오류를 해결할 수 있을 것입니다.

어쨌든 위의 내용을 포함한 분석 결과를 해당 고객사에 전달했고, 이후 그 고객사는 문제 해결에 큰 도움이 되었다는 회신을 보내왔습니다. (어떤 해결을 했는지 알려주셨으면 더 좋았을 텐데. ^^)




여기서 중요한 것은, 그동안 고객사는 "DB 서비스가 먹통"이라고 판단했다는 점입니다. 하지만, "측정"을 한 결과, 그것은 "DB"의 문제가 아니라 호출 측의 문제였다는 점!




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 11/22/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13240정성태2/1/202372디버깅 기술: 187. ASP.NET Web Application (.NET Framework) 프로젝트의 숨겨진 예외 - System.Web.HttpException
13239정성태2/1/202367디버깅 기술: 186. C# - CacheDependency의 숨겨진 예외 - System.Web.HttpException
13238정성태1/31/202369.NET Framework: 2092. IIS 웹 사이트를 TLS 1.2 또는 TLS 1.3 프로토콜로만 운영하는 방법
13237정성태1/30/2023121.NET Framework: 2091. C# - 웹 사이트가 어떤 버전의 TLS/SSL을 지원하는지 확인하는 방법
13236정성태1/29/2023116개발 환경 구성: 663. openssl을 이용해 인트라넷 IIS 사이트의 SSL 인증서 생성
13235정성태1/29/202396개발 환경 구성: 662. openssl - 윈도우 환경의 명령행에서 SAN 적용하는 방법
13234정성태1/28/2023115개발 환경 구성: 661. dnSpy를 이용해 소스 코드가 없는 .NET 어셈블리의 코드를 변경하는 방법
13233정성태1/28/2023107오류 유형: 840. C# - WebClient로 https 호출 시 "The request was aborted: Could not create SSL/TLS secure channel" 예외 발생
13232정성태1/27/202387스크립트: 43. uwsgi의 --processes와 --threads 옵션
13231정성태1/27/202387오류 유형: 839. python - TypeError: '...' object is not callable
13230정성태1/26/2023123개발 환경 구성: 660. WSL 2 내부로부터 호스트 측의 네트워크로 UDP 데이터가 1개의 패킷으로만 제한되는 문제
13229정성태1/25/2023180.NET Framework: 2090. C# - UDP Datagram의 최대 크기
13228정성태1/24/2023172.NET Framework: 2089. C# - WMI 논리 디스크가 속한 물리 디스크의 정보를 얻는 방법 [2]파일 다운로드1
13227정성태1/23/2023124개발 환경 구성: 659. Windows - IP MTU 값을 바꿀 수 있을까요?
13226정성태1/23/2023120.NET Framework: 2088. .NET 5부터 지원하는 GetRawSocketOption 사용 시 주의할 점
13225정성태1/21/2023149개발 환경 구성: 658. Windows에서 실행 중인 소켓 서버를 다른 PC 또는 WSL에서 접속할 수 없는 경우
13224정성태1/21/2023164Windows: 221. Windows - Private/Public/Domain이 아닌 네트워크 어댑터 단위로 방화벽을 on/off하는 방법
13223정성태1/20/2023166오류 유형: 838. RDP 연결 오류 - The two computers couldn't connect in the amount of time allotted
13222정성태1/20/2023125개발 환경 구성: 657. WSL - DockerDesktop.vhdx 파일 위치를 옮기는 방법
13221정성태1/19/2023165Linux: 57. C# - 리눅스 프로세스 메모리 정보파일 다운로드1
13220정성태1/19/2023121오류 유형: 837. NETSDK1045 The current .NET SDK does not support targeting .NET ...
13219정성태1/18/2023205Windows: 220. 네트워크의 인터넷 접속 가능 여부에 대한 판단 기준
13218정성태1/17/2023183VS.NET IDE: 178. Visual Studio 17.5 (Preview 2) - 포트 터널링을 이용한 웹 응용 프로그램의 외부 접근 허용
13217정성태1/13/2023229디버깅 기술: 185. windbg - 64비트 운영체제에서 작업 관리자로 뜬 32비트 프로세스의 덤프를 sos로 디버깅하는 방법
13216정성태1/12/2023168디버깅 기술: 184. windbg - 32비트 프로세스의 메모리 덤프인 경우 !peb 명령어로 나타나지 않는 환경 변수
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...