Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)
개발자가 선택할 수 있는 윈도우에서의 네트워크 프로그래밍 기술

인터넷과 함께 네트워크 프로그래밍은 꽤나 매력적인 분야가 된지 오래인데요. 그야말로 요소 기술도 아주 다양합니다. 개인적으로 윈도우에서 꼽을 수 있는 네트워크 기술 요소는 아래와 같다고 대답할 수 있겠군요. ^^

  • TDI / NDIS 드라이버
  • Winsock - Layered Service Provider
  • Winsock - Raw Socket
  • Proxy 서버
  • ... 기타

여러분이 어떤 식의 "제어 또는 보기"를 원하느냐에 따라서 선택해야 할 기술들이 달라지는데요. 오늘은 이 부분에 대해서 간략하게 설명해 보겠습니다.

기타 - BHO, APP, ...


만약, 모니터링 대상이 HTTP의 웹 페이지 단위로 발생하는 요청이고, 그러한 요청들의 GET/POST 데이터에만 관심이 있다면? 또한 그런 조건하에서 적용되는 범위가 "Internet Explorer"로 한정된다면 "BHO(Browser Helper Object)"와 같은 COM 개체를 만들어서 구현하는 것이 좋습니다. 이에 대한 대표적인 사용예로는 "알패스"와 같은 자동 로그인 프로그램들이 해당합니다.

그런데, BHO에서는 한 가지 제약이 있습니다. "웹 페이지" 단위로는 요청 패킷을 가로챌 수 있지만 페이지 내부에서 또다시 요청되는 이미지나 Ajax 호출 등은 모니터링이 안됩니다. 만약 이 부분을 해결하고 싶다면 http용으로 등록된 "APP(Asynchronous pluggable protocols)"을 변경하는 방법이 있습니다. 이에 대해서는 다음과 같은 토픽이 있습니다.

The most complete C# Webbrowser wrapper control
; http://www.codeproject.com/KB/miscctrl/csEXWB.aspx

현재는 위의 소스가 동작하지 않고 있으며 내부를 보면 http/https에 대한 IInternetProtocol 인터페이스의 vtable을 가로채는 것으로 보아 Microsoft에서 제공되는 정규 방식은 아닙니다. 하지만, 어쨌든 이와 같은 방법도 있다는 것!

Proxy 서버

그런데, 만약 Internet Explorer 제한을 벗어나고 싶다면 어떻게 해야 할까요? 만약, 특정 응용 프로그램들의 소켓 연결에 대해 Proxy를 지정할 수 있는 경우라면 프록시 서버를 구현하는 것도 좋은 선택 방법입니다. 예를 들어, 웹 브라우저에 상관없이 모든 웹 요청들을 중간에서 모니터링/변경하고 싶다면 프록시를 만들어서 해결할 수 있습니다.

프록시에 대해서는 더 설명이 필요 없겠죠. ^^

Winsock - Layered Service Provider


LSP는 Transport Provider와 Namespace Provider로 나뉩니다. Namespace Provider는 쉽게 얘기해 도메인 이름을 제어하는 것이 가능하다고 합니다. Transport Provider는 다시 IFS와 non-IFS로 나뉘는데요. IFS LSP는 소켓의 Overlapped 동작을 하는 부분은 제어를 못하는 반면 non-IFS는 모든 제어를 할 수 있습니다. 상대적으로 IFS LSP가 구현하기도 간단하고 영향력이 최소화될 수 있기 때문에 마이크로소프트는 요구 사항에 적합하다면 가능한 IFS LSP로 만들 것을 권장하고 있습니다. 예를 들어, 특정 IP로의 연결을 필터링한다거나 하는 것들은 IFS로 가능한 부분입니다.

이렇게 non-IFS가 실제로 Winsock API에 대한 모든 제어를 할 수 있는 기술인데요. 대단히 복잡합니다. 사실, 마이크로소프트가 만들어서 공개한 예제가 없었다면, 바닥부터 API들의 지식 조합을 통해 만든다는 것은 불가능하다고도 여겨질 정도입니다.

프록시와 비교해볼까요? 프록시의 경우에는, 프록시를 경유하도록 설정된 소켓만이 영향을 받게 되는 반면 (non-IFS) LSP DLL은 ws2_32.dll에서 제공되는 API와 하위 Base Provider 사이에 층을 이루기 때문에 소켓을 쓰는 모든 프로그램에 대한 모니터링 및 변경이 가능합니다.

이에 대한 좀 더 자세한 설명은 다음의 글을 참고하세요.
Winsock 2 Layered Service Provider - Visual Studio 2010용 프로젝트
; https://www.sysnet.pe.kr/2/0/969


Raw Socket


Raw Socket으로는, "변경"을 하진 못하지만 "모니터링"이 가능합니다. SIO_RCVALL(닷넷에서는 IOControlCode.ReceiveAll)이라는 옵션으로 설정을 해주면 이후 모든 Receive 호출에 대해 해당 네트워크 인터페이스로 들어온 IP 패킷을 받을 수 있습니다.

이것은 IP 수준에서 받는 것이기 때문에 TCP Control Flow까지 모두 포함하게 됩니다. 이 때문에 버려지는 패킷에 해당되거나 재전송된 패킷 등이 발생해서 같은 데이터를 가진 패킷이 2번 나올 수도 있습니다. 심지어, 보낸 패킷보다 받은 패킷이 먼저 모니터링되는 경우도 있습니다.

소켓을 연결하는 3-way handshaking 단계의 모니터링은 가능하지만, 소켓을 연결한 체로 프로세스가 종료되어 사라지는 소켓의 경우에는 모니터링이 되지 않습니다. 때로는 Receive가 늦게 호출되면 패킷이 유실되기도 합니다.

이런저런 이유로 인해 이 단계에서부터는 하나의 소켓 연결에서 발생하는 온전한 한 쌍의 요청/반환을 조립하는 것이 쉽지 않아서 HTTP 요청/반환 데이터를 모니터링한다는 식의 목적으로 활용하기에는 적절하지 않습니다. 즉, 패킷 모니터링이나 부하 감지 등의 목적으로나 쓰일 수 있을 것입니다.

참고로, Layer 3 IP 레벨에서의 모니터링이기 때문에 Ethernet Frame 헤더와 같이 Layer 2 단계의 전송 헤더들은 제거된 상태이고 IP 레벨에 속하지 않는 ARP / NETBIOS 패킷 등은 잡히질 않습니다.

TDI / NDIS 드라이버

이전까지는 SDK 영역이었다면, 이제부터는 DDK 영역입니다. 그만큼 기술이 어려워진다는 것을 의미합니다. 일단 TDI 계층의 드라이버는 TDI 필터를 만든다고 하지만 개인적으로 접해본 적이 없어서 통과! ^^

NDIS는 NIC과 직접적으로 통신하는 미니포트 드라이버, 프로토콜을 구현한 프로토콜 드라이버, 미니포트와 프로토콜 사이에 놓이는 Intermediate 드라이버가 있습니다. 미니포트 드라이버는 하드웨어 제작 업체와 맞물리므로 논외이고, 여기서는 프로토콜 드라이버와 Intermediate 드라이버가 관심 대상이 되겠습니다.

우선, 프로토콜 드라이버는 기존의 TCP/IP, IPX 등이 이미 설치되어 있고 별도의 사용자 정의 프로토콜 드라이버를 설치하면 Miniport Driver로부터 전송되는 (TCP/IP, IPX 등을 포함한) 모든 패킷을 "받는 것"이 가능합니다. 따라서 별도의 "프로토콜"을 만드는 의미에서가 아니라 "모니터링"을 하는 의미에서 드라이버를 만들기도 합니다. 물론, SDK 개발자가 이에 대해 만드는 것은 다소 어렵기 때문에 공개된 프로토콜 드라이버를 사용하는 것이 좋은데, 바로 "WinPcap"이 그러한 상황에 대한 해결책으로 적절한 선택이 될 수 있습니다.

만약, "모니터링"이 아니라 패킷에 대한 "변경"을 하고 싶다면 특정 프로토콜 드라이버와 Miniport 드라이버 사이에 위치한 "Intermediate" 드라이버를 만들어야 합니다. 개념 자체는 Winsock과 Base Provier 사이에 위치한 LSP와 비슷하다고 보면 되겠습니다.

그럼, 이것과 Raw Socket을 이용한 모니터링 차이는 뭘까요?

주요한 차이점은 DDK 단계에서는 Frame 헤더까지 모두 얻을 수 있습니다. 또한, 해당 컴퓨터의 IP로 지정되어 들어온 패킷과 무관하게 일단 Network 카드에 신호가 잡힌 모든 패킷들을 모니터링하는 것이 가능합니다.




주마간산 격으로 알아보긴 했지만, 대강 자신이 원하는 부분에 따라 적절한 기술 선택에 도움이 될 수 있을 것입니다. 자~~~ 이제 공부만 하시면 되겠군요. ^^



[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 7/29/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2021-05-11 09시00분
eBPF가 Windows 10과 서버로는 2016 이상에 도입된다고 하는군요. ^^

Making eBPF work on Windows
; https://cloudblogs.microsoft.com/opensource/2021/05/10/making-ebpf-work-on-windows
정성태
2021-07-29 09시27분
PowerShell Script To Output Network Traffic in Real Time
; https://chentiangemalc.wordpress.com/2021/07/28/powershell-script-to-output-network-traffic-in-real-time/
; https://github.com/chentiangemalc/PowerShellScripts/blob/master/Start-NetworkMonitor.ps1

Powershell 스크립트로 raw socket을 이용해 패킷 캡처를 만들었군요. ^^
정성태

... 31  32  33  34  [35]  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
12776정성태8/12/20217442오류 유형: 753. gunicorn과 uwsgi 함께 사용 시 ERR_CONNECTION_REFUSED
12775정성태8/12/202118849스크립트: 22. 파이썬 - 윈도우 환경에서 개발한 Django 앱을 WSL 환경의 gunicorn을 이용해 실행
12774정성태8/11/20219142.NET Framework: 1087. C# - Collection 개체의 다중 스레드 접근 시 "Operations that change non-concurrent collections must have exclusive access" 예외 발생
12773정성태8/11/20218328개발 환경 구성: 595. PyCharm - WSL과 연동해 Django App을 윈도우에서 리눅스 대상으로 개발
12772정성태8/11/20219759스크립트: 21. 파이썬 - 윈도우 환경에서 개발한 Django 앱을 WSL 환경의 uwsgi를 이용해 실행 [1]
12771정성태8/11/20218226Windows: 196. "Microsoft Windows Subsystem for Linux Background Host" / "Vmmem"을 종료하는 방법
12770정성태8/11/20219028.NET Framework: 1086. C# - Windows Forms 응용 프로그램의 자식 컨트롤 부하파일 다운로드1
12769정성태8/11/20216806오류 유형: 752. Python - ImportError: No module named pip._internal.cli.main 두 번째 이야기
12768정성태8/10/20217928.NET Framework: 1085. .NET 6에 포함된 신규 BCL API [1]파일 다운로드1
12767정성태8/10/20218978오류 유형: 752. Python - ImportError: No module named pip._internal.cli.main
12766정성태8/9/20217412Java: 32. closing inbound before receiving peer's close_notify
12765정성태8/9/20216758Java: 31. Cannot load JDBC driver class 'org.mysql.jdbc.Driver'
12764정성태8/9/202145231Java: 30. XML document from ServletContext resource [/WEB-INF/applicationContext.xml] is invalid
12763정성태8/9/20218266Java: 29. java.lang.NullPointerException - com.mysql.jdbc.ConnectionImpl.getServerCharset
12762정성태8/8/202111795Java: 28. IntelliJ - Unable to open debugger port 오류
12761정성태8/8/20218960Java: 27. IntelliJ - java: package javax.inject does not exist [2]
12760정성태8/8/20216286개발 환경 구성: 594. 전용 "Command Prompt for ..." 단축 아이콘 만들기
12759정성태8/8/20219536Java: 26. IntelliJ + Spring Framework + 새로운 Controller 추가 [2]파일 다운로드1
12758정성태8/7/20218874오류 유형: 751. Error assembling WAR: webxml attribute is required (or pre-existing WEB-INF/web.xml if executing in update mode)
12757정성태8/7/20219579Java: 25. IntelliJ + Spring Framework 프로젝트 생성
12756정성태8/6/20218293.NET Framework: 1084. C# - .NET Core Web API 단위 테스트 방법 [1]파일 다운로드1
12755정성태8/5/20217524개발 환경 구성: 593. MSTest - 단위 테스트에 static/instance 유형의 private 멤버 접근 방법파일 다운로드1
12754정성태8/5/20218375오류 유형: 750. manage.py - Your project may not work properly until you apply the migrations for app(s): admin, auth, contenttypes, sessions.
12753정성태8/5/20218647오류 유형: 749. PyCharm - Error: Django is not importable in this environment
12752정성태8/4/20216714개발 환경 구성: 592. JetBrains의 IDE(예를 들어, PyCharm)에서 Visual Studio 키보드 매핑 적용
12751정성태8/4/20219795개발 환경 구성: 591. Windows 10 WSL2 환경에서 docker-compose 빌드하는 방법
... 31  32  33  34  [35]  36  37  38  39  40  41  42  43  44  45  ...