Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

ServicePointManager.DefaultConnectionLimit와 HttpClient의 관계

이전 글에서,

System.Net.ServicePointManager의 DefaultConnectionLimit 속성 설명
; https://www.sysnet.pe.kr/2/0/10927

ServicePointManager.DefaultConnectionLimit의 역할
; https://www.sysnet.pe.kr/2/0/10929

ServicePointManager.DefaultConnectionLimit 값이 마이크로소프트가 제공하는 HttpWebRequest(및 그것을 내부적으로 사용하는 WebClient) 객체 등에 일종의 풀링 효과를 갖는다고 설명했습니다. 이로 인해 ASP.NET 환경의 경우 CLR 버전에 따라 DefaultConnectionLimit 기본값 설정이 다음과 같이 되어 있는데,

[ASP.NET + CLR 2.0]
    CPU(코어) 수 * 12

[ASP.NET + CLR 4.0]
    2147483647

.NET Core 환경에서는 다시 그 값이 무조건 2로 바뀌었습니다. 아니... 왜 이렇게 작은 것일까요?




이것의 배경에는 새로 나온 HttpClient의 영향이 있는 듯합니다.

HttpClient Class
; https://docs.microsoft.com/en-us/dotnet/api/system.net.http.httpclient?view=netframework-4.8

개인적으로 이 클래스의 이름은 다소 오해의 소지가 있다고 보입니다. 왜냐하면 그것의 단일 인스턴스 하나가 내부적으로는 요청을 발생시키는 메서드 호출에 따라 각각의 소켓을 생성하기 때문인데, 따라서 미적 요인 없이 이름을 짓는다면 HttpClient_CreateSocketPerCall 정도로 이해하시면 됩니다.

덕분에 닷넷 응용 프로그램에서는 전역적으로 "static" HttpClient 인스턴스를 하나만 가지고 있어도 됩니다.

static HttpClient _httpClient = new HttpClient();

당연히 HttpClient의 멤버는 thread-safe하기 때문에 다음과 같이 다중 스레드에서도 안전하게 요청을 발생시킬 수 있습니다.

// 실행 환경: .NET Framework 4.8

static void Main(string[] args)
{
    for (int i = 0; i < 3; i++)
    {
        ThreadPool.QueueUserWorkItem(requestHttp, null);
    }
}

private static void requestHttp(object state)
{
    requestHttpAsync(state).GetAwaiter().GetResult();
}

private static async Task requestHttpAsync(object state)
{
    try
    {
        string result = await _httpClient.GetStringAsync("http://test.mypc.com:8035");
        Console.WriteLine(result);
    }
    catch { }
}

실제로 위의 코드를 실행하고 대상 웹 서버에서 요청 처리를 지연시키도록 만들어 그 사이 netstat로 소켓을 확인해 보면,

C:\Windows\System32> netstat -ano | findstr 8035
  TCP    127.0.0.1:2927         127.0.0.1:8035         ESTABLISHED     7764
  TCP    127.0.0.1:2928         127.0.0.1:8035         ESTABLISHED     7764
  TCP    127.0.0.1:2929         127.0.0.1:8035         ESTABLISHED     7764
...[생략]...

저렇게 3개의 Socket이 생성된 것을 볼 수 있습니다.




그렇다면 단일 HttpClient 인스턴스가 관리하는 동시 연결 제어는 어떻게 하는 걸까요? 아쉽게도 이것이 .NET Framework과 .NET Core 환경에 따라 다릅니다. 우선, .NET Framework는 기존의 ServicePointManager.DefaultConnectionLimit의 영향을 받도록 HttpClient가 만들어져 있습니다.

실제로 지난 글에서 예제 코드로 작성한 service_point_sample 프로젝트를 다음과 같이 HttpClient로 바꿔 테스트를 해보면,

static HttpClient _httpClient = new HttpClient();

static void Main(string[] args)
{
    // ...[생략]...

    _httpClient.DefaultRequestHeaders.Add("Delay", "5000");

    // ...[생략]...

    for (int i = 0; i < reqCount; i ++)
    {
        ThreadPool.QueueUserWorkItem(requestHttp, urls[i % urls.Length]);
    }

    // ...[생략]...
}

private static void requestHttp(object state)
{
    requestHttpAsync(state).GetAwaiter().GetResult();
}

private static async Task requestHttpAsync(object state)
{
    // ...[생략]...

    try
    {
        string result = await _httpClient.GetStringAsync(url);
    }
    catch { }
}

해당 프로젝트가 .NET Framework의 Console 환경이었기 때문에 ServicePointManager.DefaultConnectionLimit == 2이므로, HttpWebRequest를 사용했을 때와 동일하게 다음과 같이 3번째 요청이 5초 후에 처리되는 것을 확인할 수 있습니다.

[1]2019-09-17 오후 1:23:29
GET / HTTP/1.1
Delay: 5000
Host: test.mypc.com:8035
Connection: Keep-Alive

[2]2019-09-17 오후 1:23:29
GET / HTTP/1.1
Delay: 5000
Host: test.mypc.com:8035
Connection: Keep-Alive

[3]2019-09-17 오후 1:23:34
GET / HTTP/1.1
Delay: 5000
Host: test.mypc.com:8035

반면, HttpClient를 전역 static으로 사용하지 않고 개별적으로 생성해 사용하면,

private static async Task requestHttpAsync(object state)
{
    // ...[생략]...

    using (HttpClient httpClient = new HttpClient())
    {
        try
        {
            string result = await httpClient.GetStringAsync(url);
            Console.WriteLine("Ended");
        }
        catch { }
    }
}

(DefaultConnectionLimit 값에 따라 개별 인스턴스마다 2개의 동시 요청을 생성할 수 있기 때문에, 사실상 제약 없이) 다음과 같이 3개의 GET 통신이 동시에 발생한 것을 확인할 수 있습니다.

[2]2019-09-17 오후 1:27:33
GET / HTTP/1.1
Host: test.mypc.com:8035
Connection: Keep-Alive


[1]2019-09-17 오후 1:27:33
GET / HTTP/1.1
Host: test.mypc.com:8035
Connection: Keep-Alive


[3]2019-09-17 오후 1:27:33
GET / HTTP/1.1
Host: test.mypc.com:8035
Connection: Keep-Alive




동일한 프로그램을 .NET Core 프로젝트로 테스트해보면 어떤 결과가 나올까요?

static HttpClient 단일 인스턴스를 생성해 테스트해도 이번에는 무조건 3개의 GET 통신이 동시에 발생하는 것을 볼 수 있습니다. 왜냐하면 .NET Core의 HttpClient는 ServicePointManager.DefaultConnectionLimit의 영향을 받지 않기 때문입니다. 아마도, HttpClient는 .NET Core 1.0부터 지원했던 반면 ServicePointManager는 2.0부터 지원이 되었기 때문에 독립적으로 동작을 하게 된 것이 아닌가 짐작이 됩니다.

따라서, .NET Core의 HttpClient는 다른 방식으로 동시 연결 제어를 다뤄야 했는데, 그것이 바로 HttpClient의 생성자에 HttpClientHandler를 이용한 MaxConnectionsPerServer 속성입니다.

static HttpClient _httpClient = new HttpClient(new HttpClientHandler { MaxConnectionsPerServer = 2 });
// HttpClientHandler에 MaxConnectionsPerServer를 지정하지 않은 경우 기본값은 2147483647

위와 같이 설정한 _httpClient 인스턴스는 이제 .NET Framework 환경에서 ServicePointManager.DefaultConnectionLimit == 2를 지정했을 때와 동일하게 2개의 동시 연결만을 지원하도록 동작합니다.

그건 그렇고, 개인적으로 .NET Core 2.0에 구현된 ServicePointManager.DefaultConnectionLimit의 역할을 잘 모르겠습니다. (혹시 아시는 분은 덧글 부탁드립니다. ^^) 왜냐하면 .NET Core 환경에서는 HttpWebRequest(또는 그것을 내부적으로 사용하는 WebClient)가 내부적으로는 HttpClient를 생성하기 때문에 ServicePointManager.DefaultConnectionLimit와 무관하게 동작하며, 심지어 내부의 MaxConnectionsPerServer 값을 제어할 방법도 없기 때문에 무조건 동시 연결 제어 없이 동작합니다.

더군다나, 조심스럽긴 하지만 테스트해본 결과에 의하면 .NET Core의 HttpWebRequest는 HttpClient의 다중 소켓 지원을 받으므로 마찬가지로 단일 static 인스턴스로 다중 스레드에서 사용해도 오류 없이 잘 동작합니다.




HttpClient의 이렇게 복잡한 소켓 관리 기능으로 인해 전역적으로 사용하지 않고 개별 건마다 사용하는 경우에는 반드시 Dispose 메서드를 호출하는 것이 좋습니다.

using (HttpClient httpClient = new HttpClient())
{
    string result = await httpClient.GetStringAsync(url);
}

그렇지 않으면 내부에 생성한 자원들이 다음 번 GC되는 순간까지 지연되어 해제되기 때문에 경우에 따라 응용 프로그램에 심각한 성능 문제를 야기할 수 있습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 9/19/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12131정성태1/27/202029개발 환경 구성: 467. LocaleEmulator를 이용해 유니코드를 지원하지 않는(한글이 깨지는) 프로그램을 실행하는 방법
12130정성태1/26/202022VS.NET IDE: 142. Visual Studio에서 windbg의 "Open Executable..."처럼 EXE를 직접 열어 디버깅을 시작하는 방법
12129정성태1/26/202055.NET Framework: 882. C# - 키움 Open API+ 사용 시 Registry 등록 없이 KHOpenAPI.ocx 사용하는 방법
12128정성태1/26/20209오류 유형: 591. The code execution cannot proceed because mfc100.dll was not found. Reinstalling the program may fix this problem.
12127정성태1/25/202048.NET Framework: 881. C# DLL에서 제공하는 Win32 export 함수의 내부 동작 방식(VT Fix up Table)파일 다운로드1
12126정성태1/25/202049.NET Framework: 880. C# - PE 파일로부터 IMAGE_COR20_HEADER 및 VTableFixups 테이블 분석파일 다운로드1
12125정성태1/24/202014VS.NET IDE: 141. IDE0019 - Use pattern matching
12124정성태1/24/202021VS.NET IDE: 140. IDE1006 - Naming rule violation: These words must begin with upper case characters: ...
12123정성태1/23/202044웹: 39. Google Analytics - gtag 함수를 이용해 페이지 URL 수정 및 별도의 이벤트 생성 방법
12122정성태1/22/202074.NET Framework: 879. C/C++의 UNREFERENCED_PARAMETER 매크로를 C#에서 우회하는 방법(IDE0060 - Remove unused parameter '...')파일 다운로드1
12121정성태1/24/202049VS.NET IDE: 139. Visual Studio - Error List: "Could not find schema information for the ..."파일 다운로드1
12120정성태1/20/202096.NET Framework: 878. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 네 번째 이야기(IL 코드로 직접 구현)파일 다운로드1
12119정성태1/17/202085디버깅 기술: 160. Windbg 확장 DLL 만들기 (3) - C#으로 만드는 방법
12118정성태1/17/202099개발 환경 구성: 466. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 세 번째 이야기
12117정성태1/15/202066디버깅 기술: 159. C# - 디버깅 중인 프로세스를 강제로 다른 디버거에서 연결하는 방법파일 다운로드1
12116정성태1/15/202071디버깅 기술: 158. Visual Studio로 디버깅 시 sos.dll 확장 명령어를 (비롯한 windbg의 다양한 기능을) 수행하는 방법
12115정성태1/14/202045디버깅 기술: 157. C# - PEB.ProcessHeap을 이용해 디버깅 중인지 확인하는 방법파일 다운로드1
12114정성태1/13/2020107디버깅 기술: 156. C# - PDB 파일로부터 심벌(Symbol) 및 타입(Type) 정보 열거파일 다운로드3
12113정성태1/12/202075오류 유형: 590. Visual C++ 빌드 오류 - fatal error LNK1104: cannot open file 'atls.lib'
12112정성태1/12/202037오류 유형: 589. PowerShell - 원격 Invoke-Command 실행 시 "WinRM cannot complete the operation" 오류 발생
12111정성태1/12/2020117디버깅 기술: 155. C# - KernelMemoryIO 드라이버를 이용해 실행 프로그램을 숨기는 방법(DKOM: Direct Kernel Object Modification)
12110정성태1/12/202086디버깅 기술: 154. Patch Guard로 인해 블루 스크린(BSOD)가 발생하는 사례파일 다운로드1
12109정성태1/10/202032오류 유형: 588. Driver 프로젝트 빌드 오류 - Inf2Cat error -2: "Inf2Cat, signability test failed."
12108정성태1/10/202039오류 유형: 587. Kernel Driver 시작 시 127(The specified procedure could not be found.) 오류 메시지 발생
12107정성태1/10/2020122.NET Framework: 877. C# - 프로세스의 모든 핸들을 열람 - 두 번째 이야기
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...