Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

제니퍼 닷넷 적용 사례 (9) - DB 서비스에 부하가 걸렸다?!

(지금은 종료한) 제니퍼 프로모션 기간 동안,

제니퍼 .Net, PHP, Python 무료 설치 프로모션_2022
; https://jennifersoft.com/ko/blog/event-blog/2022-06-13/

발생한 재미있는 사례가 하나 있어 소개합니다. 프로모션에 신청한 해당 고객사는 마침 "DB에 부하가 걸리는 현상들이 발생"하고 있다면서 실제로 문제가 발생한 시간을 특정하면서 그때 "DB Service가 먹통이 된 현상"을 겪었다고 합니다.

자, ^^ 제니퍼가 설치되었으니 그 시간대의 성능 관련 자료들을 조회해 보면 문제의 원인이 나오지 않을까요? ^^

이를 위해, 제니퍼 "분석" 메뉴의 "X-View" 조회 화면으로 들어가 고객 측에서 알려 준 시간의 요청 처리 상황을 확인했습니다.

[그림 1: 우측 상단의 "필터링" 조건에서 "ERROR가 포함된 트랜잭션만 표시"를 체크한 결과]
apm_post_mortem_diag_1.jpg

위의 화면은 그 시간대에 발생한 요청 중 "ERROR"가 발생한 경우만 보여주는데요, 왜냐하면 DB Service가 먹통이 되었으니 aspx에 대한 처리 중 예외가 발생했을 것이기 때문입니다.

보다시피, 저 시간대에만 약 22만 건에 해당하는 예외가 발생했고, 게다가 좌측 "애플리케이션" 목록에 (blur 처리되었지만) 나오는 것처럼 단 하나의 aspx 페이지 요청에 집중된 걸로 봐서, 분명한 장애 상황이 맞습니다. 자, 그럼 어떤 예외가 발생했는지 볼까요? ^^

위의 화면에서 빨간색 점들을 포함하도록 마우스를 이용해 드래그 동작으로 영역을 지정하면 해당 점들이 가진 프로파일 정보를 볼 수 있습니다. 아래는 그 프로파일 중, 예외 메시지를 포함하고 있는 항목입니다.

...[생략]...
[0003][14:47:37 361][    0][    0] EXTERNAL-CALL [HTTP] WebReq.http://192.168.100.5 [12 ms]
[0004][14:47:37 373][   12][    0] url=http://192.168.100.5/DB/ExcuteQuery,response=One or more errors occurred. (각 소켓 주소(프로토콜/네트워크 주소/포트)는 하나만 사용할 수 있습니다.)
...[생략]...

아마도, 오류가 발생한 aspx 페이지는 내부의 또 다른 API 서버를 HTTP 호출로 경유해 DB 접근을 하는 듯합니다. 그리고, 프로파일의 오류 메시지를 통해 장애의 결정적인 원인을 파악할 수 있습니다.




해당 오류 메시지는,

Only one usage of each socket address (protocol/network address/port) is normally permitted
각 소켓 주소(프로토콜/네트워크 주소/포트)는 하나만 사용할 수 있습니다.

동일한 포트로 소켓 바인딩을 하려고 할 때 발생합니다. 따라서, HTTP 호출에서 이런 오류가 발생했다는 것은 로컬의 TCP 포트가 모두 소진되었다는 것을 의미합니다. 결국 이런 문제가 발생하면 그 원인은 다음과 같이 나눌 수 있습니다.

1. 해당 웹 애플리케이션에서 HTTP 연결에 LEAK이 발생하는 경우
2. 해당 머신의 다른 응용 프로그램에서 문제가 있는 경우
    A. 그 시간에 실행이 되도록 스케줄링된 프로세스가 과다하게 연결을 사용한다거나,
    B. 혹은 기존 프로세스에서 과다하게 TCP 연결을 많이 (또는 역시 LEAK이 발생) 하고 있는 경우

아쉽지만, 저것들 중 어느 것이 원인인지는 제니퍼에서 알 수는 없습니다. 단지, 저것이 원인일 것이라는 단서가 나왔으므로 다음부터는 제니퍼 모니터링 중 저런 상황이 발생하면 "netstat -ano" 명령어를 실행해 어떤 프로세스가 과다하게 포트를 소진하고 있는지 특정할 수 있습니다.

혹은, 해당 서버에 설치된 응용 프로그램을 잘 알고 있다면 개별 응용 프로그램의 소스 코드를 살펴 LEAK의 원인이 있는지 확인해 오류를 해결할 수 있을 것입니다.

어쨌든 위의 내용을 포함한 분석 결과를 해당 고객사에 전달했고, 이후 그 고객사는 문제 해결에 큰 도움이 되었다는 회신을 보내왔습니다. (어떤 해결을 했는지 알려주셨으면 더 좋았을 텐데. ^^)




여기서 중요한 것은, 그동안 고객사는 "DB 서비스가 먹통"이라고 판단했다는 점입니다. 하지만, "측정"을 한 결과, 그것은 "DB"의 문제가 아니라 호출 측의 문제였다는 점!




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 11/22/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  9  10  11  [12]  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13287정성태3/16/20232995Windows: 229. Win32 - 대화창 템플릿의 2진 리소스를 읽어들여 윈도우를 직접 띄우는 방법파일 다운로드1
13286정성태3/15/20233470Windows: 228. Win32 - 리소스에 포함된 대화창 Template의 2진 코드 해석 방법
13285정성태3/14/20233044Windows: 227. Win32 C/C++ - Dialog Procedure를 재정의하는 방법파일 다운로드1
13284정성태3/13/20233196Windows: 226. Win32 C/C++ - Dialog에서 값을 반환하는 방법파일 다운로드1
13283정성태3/12/20232796오류 유형: 852. 파이썬 - TypeError: coercing to Unicode: need string or buffer, NoneType found
13282정성태3/12/20233132Linux: 58. WSL - nohup 옵션이 필요한 경우
13281정성태3/12/20233059Windows: 225. 윈도우 바탕화면의 아이콘들이 넓게 퍼지는 경우 [2]
13280정성태3/9/20233688개발 환경 구성: 670. WSL 2에서 호스팅 중인 TCP 서버를 외부에서 접근하는 방법
13279정성태3/9/20233365오류 유형: 851. 파이썬 ModuleNotFoundError: No module named '_cffi_backend'
13278정성태3/8/20233201개발 환경 구성: 669. WSL 2의 (init이 아닌) systemd 지원
13277정성태3/6/20233615개발 환경 구성: 668. 코드 사인용 인증서 신청 및 적용 방법(예: Digicert)
13276정성태3/5/20233607.NET Framework: 2102. C# 11 - ref struct/ref field를 위해 새롭게 도입된 scoped 예약어
13275정성태3/3/20233951.NET Framework: 2101. C# 11의 ref 필드 설명
13274정성태3/2/20233569.NET Framework: 2100. C# - ref 필드로 ref struct 타입을 허용하지 않는 이유
13273정성태2/28/20233258.NET Framework: 2099. C# - 관리 포인터로서의 ref 예약어 의미
13272정성태2/27/20233428오류 유형: 850. SSMS - mdf 파일을 Attach 시킬 때 Operating system error 5: "5(Access is denied.)" 에러
13271정성태2/25/20233476오류 유형: 849. Sql Server Configuration Manager가 시작 메뉴에 없는 경우
13270정성태2/24/20233057.NET Framework: 2098. dotnet build에 /p 옵션을 적용 시 유의점
13269정성태2/23/20233571스크립트: 46. 파이썬 - uvicorn의 콘솔 출력을 UDP로 전송
13268정성태2/22/20234062개발 환경 구성: 667. WSL 2 내부에서 열고 있는 UDP 서버를 호스트 측에서 접속하는 방법
13267정성태2/21/20234040.NET Framework: 2097. C# - 비동기 소켓 사용 시 메모리 해제가 finalizer 단계에서 발생하는 사례파일 다운로드1
13266정성태2/20/20233616오류 유형: 848. .NET Core/5+ - Process terminated. Couldn't find a valid ICU package installed on the system
13265정성태2/18/20233615.NET Framework: 2096. .NET Core/5+ - PublishSingleFile 유형에 대한 runtimeconfig.json 설정
13264정성태2/17/20234884스크립트: 45. 파이썬 - uvicorn 사용자 정의 Logger 작성
13263정성태2/16/20233210개발 환경 구성: 666. 최신 버전의 ilasm.exe/ildasm.exe 사용하는 방법
13262정성태2/15/20234297디버깅 기술: 191. dnSpy를 이용한 (소스 코드가 없는) 닷넷 응용 프로그램 디버깅 방법 [1]
1  2  3  4  5  6  7  8  9  10  11  [12]  13  14  15  ...