성태의 닷넷 이야기
홈 주인
모아 놓은 자료
프로그래밍
질문/답변
사용자 관리
사용자
메뉴
아티클
외부 아티클
유용한 코드
온라인 기능
MathJax 입력기
최근 덧글
[정성태] 제가 큰 실수를 했군요. ^^; Delegate를 통한 Bein...
[정성태] Working with Rust Libraries from C#...
[정성태] Detecting blocking calls using asyn...
[정성태] 아쉽게도, 커뮤니티는 아니고 개인 블로그입니다. ^^
[정성태] 질문이 잘 이해가 안 됩니다. 우선, 해당 소스코드에서 ILis...
[양승조
] var대신 dinamic으로 선언해서 해결은 했습니다. 맞는 해...
[양승조
] 또 막혔습니다. ㅠㅠ var list = props[i].Ge...
[양승조
] 아. 감사합니다. 어제는 안됐던것 같은데....정신을 차려야겠네...
[정성태] "props[i].GetValue(props[i])" 코드에서 ...
[정성태] 저렇게 조각 코드 말고, 실제로 재현이 되는 예제 프로젝트를 압...
글쓰기
제목
이름
암호
전자우편
HTML
홈페이지
유형
제니퍼 .NET
닷넷
COM 개체 관련
스크립트
VC++
VS.NET IDE
Windows
Team Foundation Server
디버깅 기술
오류 유형
개발 환경 구성
웹
기타
Linux
Java
DDK
Math
Phone
Graphics
사물인터넷
부모글 보이기/감추기
내용
<div style='display: inline'> <h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>프로세스가 종료된 후에도 소켓이 살아있다면?</h1> <p> 오호~~~ ^^ 재미있는 일이 하나 발생했습니다.<br /> <br /> "netstat -ano"로 TCP 포트가 LISTENING 상태에 있음을 확인했는데 함께 출력된 PID에 해당하는 프로세스는 작업관리자에서 보이지 않는 문제입니다. ^^<br /> <br /> 혹시나 싶어, Sysinternals의 <a target='tab' href='https://docs.microsoft.com/en-us/sysinternals/downloads/tcpview'>TCPView</a>를 통해서 보니 다음과 같은 식으로 출력되었습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > <span style='color: blue; font-weight: bold'><non-existent> 2928 TCP 0.0.0.0 8801 0.0.0.0 0 LISTENING</span> <non-existent> 2928 UDP 0.0.0.0 65262 * * <non-existent> 2928 UDP 0.0.0.0 65263 * * <non-existent> 2928 UDP 0.0.0.0 65264 * * <non-existent> 2928 UDP 0.0.0.0 65265 * * <non-existent> 2928 UDP 0.0.0.0 65266 * * <non-existent> 2928 UDP 0.0.0.0 65267 * * <non-existent> 2928 UDP 0.0.0.0 65268 * * <non-existent> 2928 UDP 0.0.0.0 65269 * * <non-existent> 2928 UDP 0.0.0.0 65270 * * <non-existent> 2928 UDP 0.0.0.0 65271 * * </pre> <br /> 보시는 바와 같이 2928 프로세스가 있어야 하는데 EXE 이름이 "non-existent"로 출력됩니다. 물론, <a target='tab' href='https://docs.microsoft.com/en-us/sysinternals/downloads/process-explorer'>Process Explorer</a>를 통해서 확인해도 2928 프로세스는 찾을 수 없었습니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 처음에 이 현상을 보고 제 머릿속에 떠 오른 것은 "Zombie Process"였습니다. <br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 좀비 프로세스를 찾아서… ; <a target='tab' href='http://www.jiniya.net/wp/archives/10585'>http://www.jiniya.net/wp/archives/10585</a> </pre> <br /> 운영체제 내부의 버그로, 또는 어떤 중복된 상황으로 인해 핸들이 닫히지 않아 저 상태로 남는 것이 아닐까 생각했는데요. 하지만 위의 글에 따라 직접 실습을 해도 저런 식의 프로세스는 TCP 소켓이 모두 닫힌 상태로 나왔습니다. 실제로 windbg로 <a target='tab' href='http://www.sysnet.pe.kr/2/0/934'>Local Kernel Debug</a>에서 프로세스를 확인해 보면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > lkd> !process 0 0 ServerSock.exe PROCESS fffffa8002885940 SessionId: 2 Cid: 0ec8 Peb: 7f95f000 ParentCid: 0fb8 DirBase: 52297000 ObjectTable: 00000000 <span style='color: blue; font-weight: bold'>HandleCount: 0</span>. Image: ServerSock.exe lkd> !process fffffa8002885940 PROCESS fffffa8002885940 SessionId: 2 Cid: 0ec8 Peb: 7f95f000 ParentCid: 0fb8 DirBase: 52297000 ObjectTable: 00000000 HandleCount: 0. Image: ServerSock.exe VadRoot 0000000000000000 Vads 0 Clone 0 Private 6. Modified 1. Locked 0. DeviceMap fffff8a00395eaf0 Token fffff8a006d15060 ElapsedTime 00:09:31.376 UserTime 00:00:00.000 KernelTime 00:00:00.015 QuotaPoolUsage[PagedPool] 0 QuotaPoolUsage[NonPagedPool] 0 Working Set Sizes (now,min,max) (5, 50, 345) (20KB, 200KB, 1380KB) PeakWorkingSetSize 758 VirtualSize 17592177657857 Mb PeakVirtualSize 17 Mb PageFaultCount 779 MemoryPriority BACKGROUND BasePriority 8 CommitCharge 0 Job fffffa8002939620 <span style='color: blue; font-weight: bold'>No active threads</span> </pre> <br /> 핸들 수도 0이고, Active Thread도 없으니 당연히 이런 현상이 나올 수밖에 없는 것입니다. ^^<br /> <br /> <hr style='width: 50%' /><br /> <br /> 자... 이제 검색을 해봤습니다. ^^ 다음과 같은 글이 나왔는데요.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > How do I kill a process that is dead but listening? ; <a target='tab' href='http://superuser.com/questions/215351/how-do-i-kill-a-process-that-is-dead-but-listening'>http://superuser.com/questions/215351/how-do-i-kill-a-process-that-is-dead-but-listening</a> </pre> <br /> 답변 중의 하나는 DrWatson 때문에 그렇다고 하지만,<br /> <br /> <div style='BACKGROUND-COLOR: #ccffcc; padding: 10px 10px 5px 10px; MARGIN: 0px 10px 10px 10px; FONT-FAMILY: Malgun Gothic, Consolas, Verdana; COLOR: #005555'> It turns out that the process was <span style='color: blue; font-weight: bold'>referenced by several DrWatson processes</span>. Killing those processes released the port. DrWatson is used to send memory dumps to Microsoft and this was taking several hours because the process that crashed held several tens of GBs of memory at the time. </div><br /> <br /> 아쉽게도 제 경우에는 이에 해당하지 않았습니다. 왜냐하면 현상이 발생한 서버에는 dw20.exe 등의 프로세스가 전혀 없었기 때문입니다.<br /> <br /> 그런데, 또 다른 답변 하나가 흥미롭습니다.<br /> <br /> <div style='BACKGROUND-COLOR: #ccffcc; padding: 10px 10px 5px 10px; MARGIN: 0px 10px 10px 10px; FONT-FAMILY: Malgun Gothic, Consolas, Verdana; COLOR: #005555'> The likely problem is that your process has started another <span style='color: blue; font-weight: bold'>(child) process which inherited the socket handle, and it is still running.</span> <br /> There are various ways to prevent this, for instance: ProcessStartInfo.UseShellExecute = true;<br /> </div><br /> <br /> 아하... ^^ 그랬던 것입니다. 실제로 해당 현상이 발생한 프로세스는 자식 프로세스를 생성했고, 부모 프로세스가 죽은 후에도 자식 프로세스가 계속 살아있는 경우가 있었습니다.<br /> <br /> 확실히 하기 위해 재현을 한번 해볼까요? ^^<br /> <br /> 코드는 간단합니다. 서버 소켓을 사용하면서 notepad.exe 같은 것을 핸들을 상속받도록 실행해 주면 됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > #include "stdafx.h" #include <Windows.h> #include <WinSock2.h> #pragma comment(lib, "Ws2_32.lib") int _tmain(int argc, _TCHAR* argv[]) { WSADATA wsaData; WSAStartup(MAKEWORD(2, 2), &wsaData); // PID를 출력하고, DWORD dwId = ::GetCurrentProcessId(); wprintf(L"Procss Id: %d\n", dwId); SOCKET socket = INVALID_SOCKET; do { sockaddr_in target; target.sin_family = AF_INET; target.sin_addr.s_addr = inet_addr("0.0.0.0"); target.sin_port = htons(11200); // 11200 포트로 대기하는 TCP 서버 소켓을 생성 socket = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); if (socket == INVALID_SOCKET) { wprintf(L"socket function failed with error: %ld\n", WSAGetLastError()); break; } int bindResult = ::bind(socket, (SOCKADDR *)&target, sizeof(target)); int listenResult = ::listen(socket, 10); LPTSTR szCmdLine = _wcsdup(TEXT("notepad.exe")); STARTUPINFO si = { sizeof(si) }; PROCESS_INFORMATION pi = { 0 }; // 자식 프로세스로 notepad.exe를 실행 // 이때, bInheritHandles에 해당하는 5번째 인자에 TRUE 값을 전달해서 핸들을 상속 BOOL bReult = ::CreateProcess(NULL, szCmdLine, NULL, NULL, <span style='color: blue; font-weight: bold'>TRUE,</span> 0, NULL, NULL, &si, &pi); sockaddr_in remote; int addrlen = 0; // 서버 소켓을 LISTENING 상태로 진입 ::accept(socket, NULL, NULL); } while (false); ::closesocket(socket); WSACleanup(); return 0; } </pre> <br /> 위의 프로그램을 실행하면 콘솔 응용 프로그램과 함께 notepad가 실행됩니다. 그 상태에서 콘솔 윈도우의 종료 버튼을 눌러서 강제로 프로그램을 닫은 후 netstat를 이용해서 11200 포트가 살아 있는지 확인하면 됩니다. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > C:\Windows\system32> <span style='color: blue; font-weight: bold'>netstat -ano | findstr 11200</span> TCP 0.0.0.0:11200 0.0.0.0:0 LISTENING 9132 </pre> <br /> 여전히 포트가 살아 있지만 작업관리자에서는 9132 프로세스가 보이지 않습니다. 물론, notepad.exe를 종료하면 소켓이 풀립니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 재현이 되었으니 이제 해결책을 알아 볼 차례입니다.<br /> <br /> 첫 번째 해결책은, 당연히 CreateProcess에서 핸들 상속을 FALSE로 바꿔주면 됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > ::CreateProcess(NULL, szCmdLine, NULL, NULL, <span style='color: blue; font-weight: bold'>FALSE,</span> 0, NULL, NULL, &si, &pi); </pre> <br /> 그런데, 항상 이것이 가능한 것은 아닙니다. 소스 코드를 수정할 수 없는 3rd-party 업체에 의해서 개발된 모듈이 함께 들어간 상태라면 다른 방법을 찾아야 합니다. 제 경우가 사실 그랬습니다. ^^<br /> <br /> 두 번째 해결책은, 소켓에 대해 상속하지 말라고 지정할 수 있습니다. 이런 목적으로 윈도우 7 SP1, Windows Server 2008 R2 SP1부터 WSA_FLAG_NO_HANDLE_INHERIT 옵션이 제공되는데요. 이를 이용해서 소켓을 다음과 같이 생성해 주면 됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > // 0x80: WSA_FLAG_NO_HANDLE_INHERIT SOCKET socket = ::WSASocket(AF_INET, SOCK_STREAM, IPPROTO_TCP, NULL, 0, 0x80); </pre> <br /> 주의할 것은, 이 옵션이 지원되지 않는 운영체제에서 WSA_FLAG_NO_HANDLE_INHERIT 옵션을 주어 소켓을 생성하려고 시도하면 10022(An invalid argument was supplied.) 오류가 발생한다는 점입니다.<br /> <br /> 괜찮습니다. ^^ 보다 안전한 세 번째 해결책이 있습니다. 바로 SetHandleInformation을 사용하는 방법입니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > socket = ::socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); ::SetHandleInformation((HANDLE)socket, 0x1, 0x0); </pre> <br /> 이 방법은 윈도우 XP에서도 사용할 수 있기 때문에 WSA_FLAG_NO_HANDLE_INHERIT 옵션이 허용되지 않는 일반적인 상황에서 사용할 수 있습니다. ^^<br /> <br /> <hr style='width: 50%' /><br /> <br /> 알아본 김에, C#으로도 테스트를 해볼까요? ^^ 간단하게 문제 재현은 다음과 같이 할 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > using System; using System.Net.Sockets; using System.Net; using System.Diagnostics; namespace ConsoleApplication1 { class Program { static void Main(string[] args) { Console.WriteLine("PID: " + Process.GetCurrentProcess().Id); using (Socket srvSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp)) { int port = 11200; IPEndPoint endPoint = new IPEndPoint(IPAddress.Any, port); srvSocket.Bind(endPoint); srvSocket.Listen(10); // 메모장 실행 ProcessStartInfo psi = new ProcessStartInfo(); psi.FileName = "notepad.exe"; <span style='color: blue; font-weight: bold'>psi.UseShellExecute = false;</span> Process.Start(psi); while (true) { srvSocket.Accept(); } } } } } </pre> <br /> "<a target='tab' href='http://superuser.com/questions/215351/how-do-i-kill-a-process-that-is-dead-but-listening'>How do I kill a process that is dead but listening?</a>" 답변에 나왔던 것처럼 ProcessStartInfo 타입의 UseShellExecute 속성을 true로 설정하면 이 문제가 해결되는데요. 사실, ProcessStartInfo는 생성자에서 UseShellExecute 속성을 기본값으로 true로 두기 때문에 위의 코드와 같이 명시적으로 false를 해주어야만 소켓 핸들이 상속되는 문제가 재현됩니다.<br /> <br /> UseShellExecute 옵션을 주는 이유는 .NET Reflector로 Process.Start를 살펴보면 금방 알 수 있는데요. UseShellExecute == false이면 ShellExecute가 아닌 CreateProcess API가 호출되는데 이에 전달되는 bInheritHandles 옵션이 true로 고정되어 있기 때문입니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > NativeMethods.CreateProcess(null, cmdLine, null, null, <span style='color: blue; font-weight: bold'>true</span>, creationFlags, zero, workingDirectory, lpStartupInfo, lpProcessInformation); </pre> <br /> 마찬가지로, C# 프로그램에서도 Process.Start를 제어할 수 없다면 어떻게 해야 할까요?<br /> <br /> 기본적으로 System.Net.Sockets.Socket은 WSASocket Win32 API를 호출하도록 되어 있긴 하지만 .NET Reflector로 확인해 보면 WSA_FLAG_NO_HANDLE_INHERIT 값을 주는 인자는 0으로 고정되어 있습니다.<br /> <br /> <div style='BACKGROUND-COLOR: #ccffcc; padding: 10px 10px 5px 10px; MARGIN: 0px 10px 10px 10px; FONT-FAMILY: Malgun Gothic, Consolas, Verdana; COLOR: #005555'> // 마지막 dwFlags 인자 값이 0으로 고정됨.<br /> SafeCloseSocket.InnerSafeCloseSocket socket = UnsafeNclNativeMethods.OSSOCK.WSASocket(System.Net.Sockets.AddressFamily.InterNetwork, System.Net.Sockets.SocketType.Dgram, System.Net.Sockets.ProtocolType.IP, IntPtr.Zero, 0, <span style='color: blue; font-weight: bold'>0</span>); </div><br /> <br /> 물론, WSASocket을 PInvoke로 해서 직접 WSA_FLAG_NO_HANDLE_INHERIT(0x80) 인자를 지정할 수 있지만,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > [DllImport("ws2_32.dll", CharSet = CharSet.Auto, SetLastError = true)] public static extern IntPtr WSASocket(AddressFamily addressFamily, SocketType socketType, ProtocolType protocolType, IntPtr protocolInfo, uint group, uint flags); IntPtr socketNotInherited = WSASocket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp, IntPtr.Zero, 0, <span style='color: blue; font-weight: bold'>0x80</span>); </pre> <br /> 아쉽게도 System.Net.Sockets.Socket 타입은 Handle 값으로부터 직접 생성하는 방법이 제공되지 않는 문제가 있습니다. (물론, ^^ Reflection을 이용하면 되겠지만.)<br /> <br /> 따라서, 닷넷에서는 WSA_FLAG_NO_HANDLE_INHERIT 방법이 지원되지 않는다고 보면 됩니다. 대신 SetHandleInformation의 경우에는 P/Invoke를 통해서 호출할 수 있으므로 그다지 큰 문제는 되지 않습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > [Flags] enum HANDLE_FLAGS { NONE = 0, INHERIT = 1, PROTECT_FROM_CLOSE = 2 } [DllImport("kernel32.dll", SetLastError = true)] static extern bool SetHandleInformation(IntPtr hObject, HANDLE_FLAGS dwMask, HANDLE_FLAGS dwFlags); using (Socket srvSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp)) { SetHandleInformation(srvSocket.Handle, HANDLE_FLAGS.INHERIT, HANDLE_FLAGS.NONE); // ...[생략]... } </pre> <br /> 개인적인 의견으로는, 특별한 이유가 없다면 기본적으로 상속하지 않는 것으로 명시하는 것이 좋은 습관이라고 생각됩니다. ^^<br /> <br /> (<a target='tab' href='http://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=785&boardid=331301885'>첨부 파일은 위의 코드들을 테스트한 프로젝트를 포함</a>하고 있습니다.)<br /> </p><br /> <br /><hr /><span style='color: Maroon'>[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]</span> </div>
첨부파일
스팸 방지용 인증 번호
6585
(왼쪽의 숫자를 입력해야 합니다.)