Microsoft MVP성태의 닷넷 이야기
Windows: 175. 윈도우 환경에서 클라이언트 소켓의 최대 접속 수 [링크 복사], [링크+제목 복사],
조회: 14251
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 9개 있습니다.)
개발 환경 구성: 92. 윈도우 서버 환경에서, 최대 생성 가능한 소켓(socket) 연결 수는 얼마일까?
; https://www.sysnet.pe.kr/2/0/964

Windows: 175. 윈도우 환경에서 클라이언트 소켓의 최대 접속 수
; https://www.sysnet.pe.kr/2/0/12350

Windows: 178. 윈도우 환경에서 클라이언트 소켓의 최대 접속 수 (2) - SO_REUSEADDR
; https://www.sysnet.pe.kr/2/0/12432

Windows: 179. 윈도우 환경에서 클라이언트 소켓의 최대 접속 수 (3) - SO_PORT_SCALABILITY
; https://www.sysnet.pe.kr/2/0/12433

Windows: 181. 윈도우 환경에서 클라이언트 소켓의 최대 접속 수 (4) - ReuseUnicastPort를 이용한 포트 고갈 문제 해결
; https://www.sysnet.pe.kr/2/0/12435

.NET Framework: 981. C# - HttpWebRequest, WebClient와 ephemeral port 재사용
; https://www.sysnet.pe.kr/2/0/12448

.NET Framework: 982. C# - HttpClient에서의 ephemeral port 재사용
; https://www.sysnet.pe.kr/2/0/12449

.NET Framework: 983. C# - TIME_WAIT과 ephemeral port 재사용
; https://www.sysnet.pe.kr/2/0/12450

Linux: 35. C# - 리눅스 환경에서 클라이언트 소켓의 ephemeral port 재사용
; https://www.sysnet.pe.kr/2/0/12459




윈도우 서버 환경에서 클라이언트 소켓의 최대 접속 수

예전 글에서,

윈도우 서버 환경에서, 최대 생성 가능한 소켓(socket) 연결 수는 얼마일까?
; https://www.sysnet.pe.kr/2/0/964

Configure the max limit for concurrent TCP connections
; http://smallvoid.com/article/winnt-tcpip-max-limit.html

윈도우에서 최대 TcpConnection 수를 알아봤는데요, 일단 마이크로소프트의 공식 문서에는 다음의 자료로 찾아볼 수 있습니다.

the Win32_NetworkAdapterConfiguration class
; https://learn.microsoft.com/en-us/windows/win32/cimwin32prov/settcpnumconnections-method-in-class-win32-networkadapterconfiguration

TcpNumConnections [in]
Maximum number of connections that TCP may have open simultaneously. The valid range of values is 0 - 0xFFFFFE.

윈도우는 내부적으로 저렇게 제한을 두는 것인데 다시 저 글을 읽어 보니 좀 의문이 남습니다. TCP 연결 구분을 [src_ip:port][dst_ip:port] 쌍으로 한다면 4바이트+2바이트+4바이트+2바이트이므로 296 정도가 되어야 하는데 왜 약 3바이트 정도에서 마무리했던 건지 뒷이야기가 궁금합니다. (물론 천6백만 개의 동시 연결이 결코 부족하다고 볼 수는 없지만!)




그건 그렇고, "윈도우 서버 환경에서, 최대 생성 가능한 소켓(socket) 연결 수는 얼마일까?" 글에 남긴 Luna 님의 의견은 클라이언트 소켓인 경우 순수하게 클라이언트 측의 "포트 범위"로 제약이 걸린다는 것입니다.

한 번 확인을 해볼까요? 절차는 다음과 같이 진행하면 될 듯합니다.

  1. TCP 서버를 15000, 15001 포트를 열고,
  2. 클라이언트에서 15000 서버로 포트가 소진될 만큼 열기를 시도하고,
  3. 2번 단계에서 더 이상 열 수 없을 때, 15001 포트로의 연결이 가능한가?

여기서 포트가 소진되는 것은 너무 많으면 테스트가 귀찮아지니, 그냥 MaxUserPort 레지스트리 값을 2000(0x7d0)으로 손봐서,

경로: HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\Tcpip\Parameters
이름: MaxUserPort
타입: DWORD
값: 7d0 (2000)

테스트를 할 텐데 그럼 1024번을 시작으로 2000번까지 총 977개의 포트가 가용한 것으로 나옵니다.

C:\WINDOWS\system32> netsh int ipv4 show dynamicport tcp

Protocol tcp Dynamic Port Range
---------------------------------
Start Port      : 1024
Number of Ports : 977

이제 서버 프로그램을 만들고,

using System;
using System.Collections.Generic;
using System.Net;
using System.Net.Sockets;
using System.Threading;

namespace ConsoleApp1
{
    class Program
    {
        static List<TcpClient> _cla15000 = new List<TcpClient>();
        static List<TcpClient> _cla15001 = new List<TcpClient>();

        static void Main(string[] args)
        {
            Thread t = new Thread(CountFunc);
            t.IsBackground = true;
            t.Start();

            Thread t15000 = new Thread(acceptFunc);
            t15000.IsBackground = true;
            t15000.Start(15000);

            Thread t15001 = new Thread(acceptFunc);
            t15001.IsBackground = true;
            t15001.Start(15001);

            Console.ReadLine();
        }

        private static void acceptFunc(object objPort)
        {
            int port = (int)objPort;

            TcpListener svr = new TcpListener(IPAddress.Any, port);
            {
                svr.Start();

                while (true)
                {
                    TcpClient client = svr.AcceptTcpClient();

                    if (port == 15000)
                    {
                        _cla15000.Add(client);
                    }
                    else
                    {
                        _cla15001.Add(client);
                    }
                }
            }
        }

        private static void CountFunc()
        {
            while (true)
            {
                Console.WriteLine($"# of 15000: {_cla15000.Count}, 15001: {_cla15001.Count}");
                Thread.Sleep(1000);
            }
        }
    }
}

클라이언트를 만들어,

using System;
using System.Collections.Generic;
using System.Net;
using System.Net.Sockets;

namespace ConsoleApp2
{
    class Program
    {
        static void Main(string[] args)
        {
            string ipAddr = args[0];
            int port = int.Parse(args[1]);
            int numberOf = int.Parse(args[2]);

            List<TcpClient> clients = new List<TcpClient>();

            try
            {
                for (int i = 0; i < numberOf; i++)
                {
                    TcpClient client = new TcpClient();
                    client.Connect(ipAddr, port);

                    clients.Add(client);
                }
            } catch { }

            Console.WriteLine(clients.Count);
            Console.ReadLine();
        }
    }
}

(첨부 파일은 이 글의 예제 코드를 포함합니다.)

실행해 보면,

C:\temp2> ConsoleApp1.exe
# of 15000: 0, 15001: 0
# of 15000: 0, 15001: 0
# of 15000: 0, 15001: 0
# of 15000: 0, 15001: 0
# of 15000: 0, 15001: 0
# of 15000: 966, 15001: 0
# of 15000: 966, 15001: 0

C:\temp2> ConsoleApp2 localhost 15000 1000
966

C:\temp2> ConsoleApp2 localhost 15001 10000
0

결과는, 클라이언트 용 소켓에 대해 dynamicport로 가용한 수를 모두 소진한 경우, 별도의 포트로 연결하지 못하고 있습니다. 즉, Luna 님의 의견대로 클라이언트 소켓의 경우 순수하게 포트 기준으로 제약을 가하고 있는 것입니다.




그런데, Luna 님의 마지막 덧글이 좀 혼란스럽군요. 레지스트리의 MaxUserPort 값을 건드리지 않은 5000 상태라고 했는데 그럼 1,024번부터 5,000번까지 3,977 개의 dynamicport 할당이 가능하고 따라서 그 숫자 내에서 ENOBUFS 오류가 발생해야 합니다. 하지만, 1만 개는 잘 되었고 2만 개 테스트 도중 해당 오류가 발생했다고 하니 이론상 맞지 않는데요.

이것은 아마도 MaxUserPort 값을 건드리지 않았다기보다는, 근래의 Windows 10에서는 MaxUserPort 값이 정의되어 있지 않아 dynamicport의 기본 값이 사용된 것으로 보입니다. net 명령어로 확인해 보면 다음과 같은 값이 나올 텐데요,

// MaxUserPort가 레지스트리에 없는 경우

C:\WINDOWS\system32> netsh int ipv4 show dynamicport tcp

Protocol tcp Dynamic Port Range
---------------------------------
Start Port      : 49152
Number of Ports : 16384

따라서 16,384 개의 클라이언트 소켓 연결을 할 수 있으므로, 두 번째 시도의 1만 개 테스트에서 ENOBUFS 오류가 발생했을 것으로 보입니다. (또한 당연하겠지만, 65,000여 개의 소켓 연결을 하고 싶다면 MaxUserPort 값을 65534로 높이면 됩니다. 그럼 "Number of Ports"의 값이 64511로 됩니다.)




참고로 문서 상으로는,

5000보다 큰 TCP 포트에서 연결하려고 하면 'WSAENOBUFS(10055)' 오류가 발생함
; https://support.microsoft.com/ko-kr/help/196271/when-you-try-to-connect-from-tcp-ports-greater-than-5000-you-receive-t

MaxUserPort의 유효 범위가 5000 ~ 65534라고 나오지만, 실제로 이 글에서 테스트한 것처럼 2,000도 허용이 되었습니다. (아마도, 위의 문서가 2003 버전 시절이라서 이후에 바뀌었을 듯합니다.)

또한 시험 삼아, MaxUserPort 값을 1000으로 낮췄더니 최소 시작은 1024번부터여서 그런지 이런 상태에서는 기본 범위로 잡는 것을 볼 수 있습니다.

// MaxUserPort == 1000으로 설정한 경우,

C:\WINDOWS\system32> netsh int ipv4 show dynamicport tcp

Protocol tcp Dynamic Port Range
---------------------------------
Start Port      : 49152
Number of Ports : 16384




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/2/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2020-11-13 01시43분
[Luna] 오랫만에 포트한도 문제에 대해서 복수의 NIC를 쓴다면 결과가 달라지는지 여부를 파악해보았씁니다.
실험결과는 달라지지 않더군요.

의심하였던 tcpip.sys 드라이버는 패킷처리 그 자체였나봅니다.
이 문제를 해결 하여야 하는 이유는 웹서버에 tcpip기반 리버스프록시로 구성한 경우에 제약이 되므로 마땅한 방법을 찾아야했습니다.
네트워크 기반에 로드벨런서 같은걸 써서 해결 할 수도 있겠고 쿠버네티스 같은 오케스트레이션 시스템을 사용 할 수도 있지요.

정말 많은 연결을 처리 하여야하는 프록시 서버라던가 VPN 서버를 구동한다면 쿠버네티스외에 방도가 딱히 없지 않겠나요.
[guest]
2020-12-01 11시46분
@Luna 님 다음의 글을 참고하세요.

윈도우 환경에서 클라이언트 소켓의 최대 접속 수 (4) - ReuseUnicastPort를 이용한 포트 고갈 문제 해결
; https://www.sysnet.pe.kr/2/0/12435
정성태

... [61]  62  63  64  65  66  67  68  69  70  71  72  73  74  75  ...
NoWriterDateCnt.TitleFile(s)
12110정성태1/11/202011915디버깅 기술: 154. Patch Guard로 인해 블루 스크린(BSOD)가 발생하는 사례 [5]파일 다운로드1
12109정성태1/10/20209814오류 유형: 588. Driver 프로젝트 빌드 오류 - Inf2Cat error -2: "Inf2Cat, signability test failed."
12108정성태1/10/20209833오류 유형: 587. Kernel Driver 시작 시 127(The specified procedure could not be found.) 오류 메시지 발생
12107정성태1/10/202010787.NET Framework: 877. C# - 프로세스의 모든 핸들을 열람 - 두 번째 이야기
12106정성태1/8/202012191VC++: 136. C++ - OSR Driver Loader와 같은 Legacy 커널 드라이버 설치 프로그램 제작 [1]
12105정성태1/8/202010860디버깅 기술: 153. C# - PEB를 조작해 로드된 DLL을 숨기는 방법
12104정성태1/7/202011541DDK: 9. 커널 메모리를 읽고 쓰는 NT Legacy driver와 C# 클라이언트 프로그램 [4]
12103정성태1/7/202014260DDK: 8. Visual Studio 2019 + WDK Legacy Driver 제작- Hello World 예제 [1]파일 다운로드2
12102정성태1/6/202011871디버깅 기술: 152. User 권한(Ring 3)의 프로그램에서 _ETHREAD 주소(및 커널 메모리를 읽을 수 있다면 _EPROCESS 주소) 구하는 방법
12101정성태1/5/202011202.NET Framework: 876. C# - PEB(Process Environment Block)를 통해 로드된 모듈 목록 열람
12100정성태1/3/20209238.NET Framework: 875. .NET 3.5 이하에서 IntPtr.Add 사용
12099정성태1/3/202011560디버깅 기술: 151. Windows 10 - Process Explorer로 확인한 Handle 정보를 windbg에서 조회 [1]
12098정성태1/2/202011130.NET Framework: 874. C# - 커널 구조체의 Offset 값을 하드 코딩하지 않고 사용하는 방법 [3]
12097정성태1/2/20209697디버깅 기술: 150. windbg - Wow64, x86, x64에서의 커널 구조체(예: TEB) 구조체 확인
12096정성태12/30/201911680디버깅 기술: 149. C# - DbgEng.dll을 이용한 간단한 디버거 제작 [1]
12095정성태12/27/201913099VC++: 135. C++ - string_view의 동작 방식
12094정성태12/26/201911272.NET Framework: 873. C# - 코드를 통해 PDB 심벌 파일 다운로드 방법
12093정성태12/26/201911286.NET Framework: 872. C# - 로딩된 Native DLL의 export 함수 목록 출력파일 다운로드1
12092정성태12/25/201910722디버깅 기술: 148. cdb.exe를 이용해 (ntdll.dll 등에 정의된) 커널 구조체 출력하는 방법
12091정성태12/25/201912210디버깅 기술: 147. pdb 파일을 다운로드하기 위한 symchk.exe 실행에 필요한 최소 파일 [1]
12090정성태12/24/201910883.NET Framework: 871. .NET AnyCPU로 빌드된 PE 헤더의 로딩 전/후 차이점 [1]파일 다운로드1
12089정성태12/23/201911569디버깅 기술: 146. gflags와 _CrtIsMemoryBlock을 이용한 Heap 메모리 손상 여부 체크
12088정성태12/23/201910549Linux: 28. Linux - 윈도우의 "Run as different user" 기능을 shell에서 실행하는 방법
12087정성태12/21/201911017디버깅 기술: 145. windbg/sos - Dictionary의 entries 배열 내용을 모두 덤프하는 방법 (do_hashtable.py) [1]
12086정성태12/20/201913064디버깅 기술: 144. windbg - Marshal.FreeHGlobal에서 발생한 덤프 분석 사례
12085정성태12/20/201910804오류 유형: 586. iisreset - The data is invalid. (2147942413, 8007000d) 오류 발생 - 두 번째 이야기 [1]
... [61]  62  63  64  65  66  67  68  69  70  71  72  73  74  75  ...