Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2028. C# - HttpWebRequest의 POST 동작 방식 [링크 복사], [링크+제목 복사],
조회: 11929
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)

C# - HttpWebRequest의 POST 동작 방식

아래와 같은 질문이 있는데,

HttpWebRequest POST 전송 관련해서 질문 드립니다.
; https://www.sysnet.pe.kr/2/0/1430

답변에 앞서... 그나저나, "최소한의 재현 코드"를 작성하는 것이 그렇게 어려운 요구 사항인가요? ^^; 그냥 다음과 같은 식으로 재현 코드를 정리하면 얼마나 좋습니까?

using System;
using System.IO;
using System.Net;
using System.Net.Sockets;
using System.Text;
using System.Threading;

internal class Program
{
    static void Main(string[] args)
    {
        ThreadPool.QueueUserWorkItem(ServerProc);

        while (true)
        {
            ClientProc();

            Console.WriteLine("Press any key to send again....");
            Console.ReadLine();
        }
    }

    static void ClientProc()
    {
        HttpWebRequest httpWebRequest = (HttpWebRequest)WebRequest.Create("http://127.0.0.1:9982/");
        httpWebRequest.Method = "POST";

        string data = new string('c', 51);

        byte[] sendBuf = Encoding.UTF8.GetBytes(data);
        using (Stream dataStream = httpWebRequest.GetRequestStream())
        {
            dataStream.Write(sendBuf, 0, sendBuf.Length);
        }

        try
        {
            using (HttpWebResponse resp = (HttpWebResponse)httpWebRequest.GetResponse())
            {
                using (StreamReader streamReader = new StreamReader(resp.GetResponseStream()))
                {
                    string responseText = streamReader.ReadToEnd();

                    if (resp.StatusCode == HttpStatusCode.OK)
                    {
                        Console.WriteLine($"[Client] {responseText}");
                    }
                }
            }
        }
        catch (Exception e)
        {
            Console.WriteLine(e);
        }
    }

    static void ServerProc(object state)
    {
        // C# - IPv4, IPv6를 모두 지원하는 서버 소켓 생성 방법
        // https://www.sysnet.pe.kr/2/0/13091
        using (Socket serverSocket = new Socket(SocketType.Stream, ProtocolType.Tcp))
        {
            serverSocket.Bind(new IPEndPoint(IPAddress.IPv6Any, 9982));
            serverSocket.Listen(5);

            while (true)
            {
                Socket socket = serverSocket.Accept();
                ThreadPool.QueueUserWorkItem(processChildSocket, socket);
            }
        }
    }

    static void processChildSocket(object state)
    {
        using (Socket child = state as Socket)
        {
            byte[] buf = new byte[8192];
            int len = child.Receive(buf);

            string txt = Encoding.UTF8.GetString(buf, 0, len);
            Console.WriteLine($"[Server:{len}] {txt}");

            string body = "test";
            string header = "HTTP/1.1 200 OK\r\nContent-Type: application/json; charset=UTF-8\r\n\r\n";
            byte[] responseBuf = Encoding.UTF8.GetBytes(header + body);

            child.Send(responseBuf);
        }
    }
}

하나의 프로젝트로, 깔끔하게 그냥 실행시키면 재현이 되니 답변하는 사람 입장에서도 오로지 문제 분석에만 신경 쓸 수 있고, 질문자 입장에서도 문제의 원인을 가능한 축소시켰기에 훨씬 더 상황을 잘 설명할 수 있습니다.




자, 그럼 재현 코드도 잘 정리했으니 원인 분석을 해볼까요? ^^

저 코드를 .NET Framework (제 경우 4.8) 환경에서 실행하면 클라이언트에서 다음과 같은 예외가 (경우에 따라) 발생합니다.

System.IO.IOException: Unable to read data from the transport connection: An established connection was aborted by the software in your host machine. ---> System.Net.Sockets.SocketException: An established connection was aborted by the software in your host machine
   at System.Net.Sockets.Socket.Receive(Byte[] buffer, Int32 offset, Int32 size, SocketFlags socketFlags)
   at System.Net.Sockets.NetworkStream.Read(Byte[] buffer, Int32 offset, Int32 size)
   --- End of inner exception stack trace ---
   at System.Net.ConnectStream.Read(Byte[] buffer, Int32 offset, Int32 size)
   at System.IO.StreamReader.ReadBuffer()
   at System.IO.StreamReader.ReadToEnd()
   at Program.ClientProc() in C:\...\Program.cs:line 44

그런데, 이 예외가 발생하는 공통적인 상황이 있습니다. 바로, 서버에서 HttpWebRequest 클라이언트가 보낸 데이터를 Socket.Receive로 받았을 때 다음과 같은 내용만 출력이 된다는 점입니다.

[Server:154] POST / HTTP/1.1
Host: 127.0.0.1:9982
Content-Length: 51
Expect: 100-continue
Connection: Keep-Alive

반면, 예외가 발생하지 않을 때는 이런 출력 결과가 나옵니다.

[Server:181] POST / HTTP/1.1
Host: 127.0.0.1:9982
Content-Length: 51
Expect: 100-continue

ccccccccccccccccccccccccccccccccccccccccccccccccccc

이 현상을 예전에 한 번 설명한 적이 있습니다.

모바일용 웹 사이트에서 발생하는 응답 시간 지연 현상
; https://www.sysnet.pe.kr/2/0/1430#header_body

HttpWebRequest는 Send(Header) + Send(Body)로 나눠서 전송을 하는 것입니다. 이것을 서버 소켓에서 읽을 때 확률적으로 Receive(All)이 될 수도 있고, Receive(Header) + Receive(Body)가 될 수도 있는 것입니다.

즉, 예외 없이 발생한 상황에서는 HttpWebRequest가 보낸 Send(Header) + Send(Body) 데이터를 TCP Stream의 특성상 Receive(All)로 받아버린 경우입니다. 반면, 예외가 발생한 상황에서는 Receive(Header)만을 읽었기 때문에 아직 HttpWebRequest가 보낸 Body 데이터를 읽지 않은 경우입니다.

그렇다면, 이제 후자의 상황, 즉 Header만을 읽은 상황에서 왜 예외가 발생하는 것일까요?

역시 이에 대해서도 예전에 한 번 설명한 적이 있습니다.

socket - shutdown 호출이 필요한 사례
; https://www.sysnet.pe.kr/2/0/11037

그러니까, 아직 읽어야 할 데이터가 있는 상황인데 서버에서 "child.Close"를 했으므로 TCP 연결을 닫는 동작이 RST 패킷 전송을 하게 된 것입니다. 결국, 클라이언트 측에서는 GetResponseStream을 통해 데이터를 읽으려고 시도하는 과정에서 RST 패킷이 도착했으므로 "An established connection was aborted by the software in your host machine" 오류 메시지를 내고 마는 것입니다.




이 문제에 대한 근본적인 원인은, 서버가 제대로 클라이언트가 보낸 모든 데이터를 읽지 않은 것입니다. 따라서, 서버의 Receive 코드를 다음과 같이 바꾸면 해결이 됩니다.

static void processChildSocket(object state)
{
    using (Socket child = state as Socket)
    {
        string txt = ReceiveAll(child);

        // ...[생략]...
    }
}

private static string ReceiveAll(Socket child)
{
    byte[] buf = new byte[8192];

    int contentLengthPos = -1;
    int bodyStart = -1;
    string text = "";
    string contentLengthHeader = "Content-Length";
    int readLen = 0;

    // 대개의 경우 한 번의 Read에 적어도 HTTP Header는 읽힘
    // 이 코드는 HTTP Header가 큰 경우는 가정하지 않음.
    {
        readLen = child.Receive(buf);

        text = Encoding.UTF8.GetString(buf, 0, readLen);
        contentLengthPos = text.IndexOf(contentLengthHeader, 0, StringComparison.OrdinalIgnoreCase);
        bodyStart = text.IndexOf("\r\n\r\n", contentLengthPos);
    }

    // HTTP Body를 보냈는지 확인하고,
    int contentLength = 0;

    if (contentLengthPos > 0)
    {
        int startPos = contentLengthPos + contentLengthHeader.Length;
        int endPos = text.IndexOf("\r\n", startPos);
        if (endPos != -1)
        {
            string contentLengthText = text.Substring(startPos, endPos - startPos).Trim(' ', ':');
            contentLength = int.Parse(contentLengthText);
        }
    }

    int remains = (bodyStart + 4 + contentLength) - readLen;

    if (remains == 0)
    {
        return text;
    }

    // 이 코드는 HTTP Body가 문자열로 이뤄졌다고 가정
    StringBuilder sb = new StringBuilder();

    while (remains > 0)
    {
        int len = child.Receive(buf);
        if (len <= 0)
        {
            break;
        }

        remains -= len;

        sb.Append(Encoding.UTF8.GetString(buf, 0, len));
    }

    return text + sb.ToString();
}

(첨부 파일은 이 글의 예제 코드를 포함합니다.)

참고로, 이런 식의 HTTP Header 처리가 번거롭다면 애당초 HttpListener 등을 이용하는 것이 더 좋은 선택입니다.

IIS의 80 포트를 공유하는 응용 프로그램 만드는 방법
; https://www.sysnet.pe.kr/2/0/1555

C# - HttpListener를 이용한 HTTPS 통신 방법
; https://www.sysnet.pe.kr/2/0/12012




위의 HttpWebRequest 동작은 .NET Core (제가 테스트한 버전은 .NET 6)에서 다소 바뀐 듯합니다. 동일한 예제를 .NET 6 환경에서 실행해 보면, HttpWebRequest가 보낸 데이터를 언제나 Receive(All) 유형으로만 받게 되는 것을 볼 수 있습니다.

아마도 HttpWebRequest가 Send(Header) + Send(Body)로 나눠서 보내는 것이 아닌, 한 번에 Send(Header + Body)를 보내는 방식으로 바뀐 듯합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 7/4/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 61  62  63  64  65  66  [67]  68  69  70  71  72  73  74  75  ...
NoWriterDateCnt.TitleFile(s)
12135정성태2/6/202017371개발 환경 구성: 468. Nuget 패키지의 로컬 보관 폴더를 옮기는 방법 [2]
12134정성태2/5/202016733.NET Framework: 884. eBEST XingAPI의 C# 래퍼 버전 - XingAPINet Nuget 패키지 [5]파일 다운로드1
12133정성태2/5/202014003디버깅 기술: 161. Windbg 환경에서 확인해 본 .NET 메서드 JIT 컴파일 전과 후 - 두 번째 이야기
12132정성태1/28/202016870.NET Framework: 883. C#으로 구현하는 Win32 API 후킹(예: Sleep 호출 가로채기) [1]파일 다운로드1
12131정성태1/27/202015823개발 환경 구성: 467. LocaleEmulator를 이용해 유니코드를 지원하지 않는(한글이 깨지는) 프로그램을 실행하는 방법 [1]
12130정성태1/26/202013057VS.NET IDE: 142. Visual Studio에서 windbg의 "Open Executable..."처럼 EXE를 직접 열어 디버깅을 시작하는 방법
12129정성태1/26/202018719.NET Framework: 882. C# - 키움 Open API+ 사용 시 Registry 등록 없이 KHOpenAPI.ocx 사용하는 방법 [3]
12128정성태1/26/202013465오류 유형: 591. The code execution cannot proceed because mfc100.dll was not found. Reinstalling the program may fix this problem.
12127정성태1/25/202013297.NET Framework: 881. C# DLL에서 제공하는 Win32 export 함수의 내부 동작 방식(VT Fix up Table)파일 다운로드1
12126정성태1/25/202014399.NET Framework: 880. C# - PE 파일로부터 IMAGE_COR20_HEADER 및 VTableFixups 테이블 분석파일 다운로드1
12125정성태1/24/202011745VS.NET IDE: 141. IDE0019 - Use pattern matching
12124정성태1/23/202013588VS.NET IDE: 140. IDE1006 - Naming rule violation: These words must begin with upper case characters: ...
12123정성태1/23/202015394웹: 39. Google Analytics - gtag 함수를 이용해 페이지 URL 수정 및 별도의 이벤트 생성 방법 [2]
12122정성태1/20/202011796.NET Framework: 879. C/C++의 UNREFERENCED_PARAMETER 매크로를 C#에서 우회하는 방법(IDE0060 - Remove unused parameter '...')파일 다운로드1
12121정성태1/20/202012699VS.NET IDE: 139. Visual Studio - Error List: "Could not find schema information for the ..."파일 다운로드1
12120정성태1/19/202014356.NET Framework: 878. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 네 번째 이야기(IL 코드로 직접 구현)파일 다운로드1
12119정성태1/17/202014523디버깅 기술: 160. Windbg 확장 DLL 만들기 (3) - C#으로 만드는 방법
12118정성태1/17/202015200개발 환경 구성: 466. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 세 번째 이야기 [1]
12117정성태1/15/202014096디버깅 기술: 159. C# - 디버깅 중인 프로세스를 강제로 다른 디버거에서 연결하는 방법파일 다운로드1
12116정성태1/15/202014598디버깅 기술: 158. Visual Studio로 디버깅 시 sos.dll 확장 명령어를 (비롯한 windbg의 다양한 기능을) 수행하는 방법
12115정성태1/14/202015085디버깅 기술: 157. C# - PEB.ProcessHeap을 이용해 디버깅 중인지 확인하는 방법파일 다운로드1
12114정성태1/13/202017038디버깅 기술: 156. C# - PDB 파일로부터 심벌(Symbol) 및 타입(Type) 정보 열거 [1]파일 다운로드3
12113정성태1/12/202016814오류 유형: 590. Visual C++ 빌드 오류 - fatal error LNK1104: cannot open file 'atls.lib' [1]
12112정성태1/12/202013074오류 유형: 589. PowerShell - 원격 Invoke-Command 실행 시 "WinRM cannot complete the operation" 오류 발생
12111정성태1/12/202016639디버깅 기술: 155. C# - KernelMemoryIO 드라이버를 이용해 실행 프로그램을 숨기는 방법(DKOM: Direct Kernel Object Modification) [16]파일 다운로드1
12110정성태1/11/202015313디버깅 기술: 154. Patch Guard로 인해 블루 스크린(BSOD)가 발생하는 사례 [5]파일 다운로드1
... 61  62  63  64  65  66  [67]  68  69  70  71  72  73  74  75  ...