Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 3개 있습니다.)
Linux: 44. 윈도우 개발자를 위한 리눅스 fork 동작 방식 설명 (파이썬 코드)
; https://www.sysnet.pe.kr/2/0/12811

스크립트: 29. 파이썬 - fork 시 기존 클라이언트 소켓 및 스레드의 동작
; https://www.sysnet.pe.kr/2/0/12843

C/C++: 167. Visual C++ - 윈도우 환경에서 _execv 동작
; https://www.sysnet.pe.kr/2/0/13716




파이썬 - fork 시 기존 클라이언트 소켓 및 스레드의 동작

지난 글에 설명한 것처럼,

윈도우 개발자를 위한 리눅스 fork 동작 방식 설명 (파이썬 코드)
; https://www.sysnet.pe.kr/2/0/12811

fork는 현재 프로세스의 메모리 그대로 복사해 실행하는데, 그렇다면 해당 프로세스에서 이미 연결해 두었던 클라이언트 소켓은 어떻게 되는 걸까요? 이론상으로는 fork된 프로세스에서도 유효한 소켓 descriptor이기 때문에 부모 프로세스와 전혀 다르지 않게 통신을 해야 할 것입니다.

정말 그런지 테스트를 해볼까요? ^^

이를 위해 다음과 같이 간단하게 파이썬 예제 코드를 만들고,

import os
import socket
import struct
import time
from threading import Thread, Timer

log_socket = None


class LogSocket:
    def __init__(self, port, address=None):
        self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

        if address is None:
            address = "127.0.0.1"

        self.address = address
        self.port = port

        self.sock.connect((self.address, self.port))
        pid = os.getpid()
        buf = struct.pack('i', pid)
        self.sock.send(buf)

    def log(self, text):
        buf = struct.pack('i', len(text))
        self.sock.send(buf)

        self.sock.send(text.encode('utf-8'))

    def close(self):
        self.sock.close()


log_socket = LogSocket(39999)
pid = os.fork()

if pid > 0:
    print('부모 프로세스의 실행 흐름', os.getpid())
elif pid == 0:
    print('자식 프로세스의 실행 흐름', os.getpid())
else:  # pid < 0
    print('fork 오류')

while True:
    time.sleep(1)
    log_socket.log("current pid: " + str(os.getpid()))

(첨부 파일로 포함한 C# TCP 서버 프로그램을 마련한 후) 실행해 TCP 서버 측에서 수신하는 데이터를 보면,

$ python main.py
부모 프로세스의 실행 흐름 17120
자식 프로세스의 실행 흐름 17121

/*
pstree -p | grep main.py
*/

// TCP 서버 측 수신 데이터

current pid: 17120
current pid: 17121
...[이하 반복]...

단일 소켓 연결을 사용해 (fork 중인) 부모와 자식 프로세스 모두 TCP 서버와 통신하는 것을 확인할 수 있습니다.




fork로 인한 부모/자식이 소켓 하나를 공유해 사용하고 있지만, 네트워크의 특성을 고려해 저것이 2개로 나뉠 수 있다는 것을 감안해야 합니다.

가령, fork 이후 서버 측과의 소켓 통신이 끊겨서 재연결을 하는 경우라고 가정해 보겠습니다. 그렇다면, 기존에는 1개의 소켓을 공유했지만, 소켓이 끊기게 되면 이후 부모/자식 프로세스가 모두 각각 소켓 통신을 열게 되므로 2개의 소켓이 사용될 수 있습니다.

역시 간단하게 이전에 사용한 코드 중 LogSocket 관련 코드만 다음과 같이 바꾸고,

class LogSocket:
    def __init__(self, port, address=None):
        self.sock = None
        self.address = address
        self.port = port

        self.reconnect()

    def reconnect(self):
        self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

        if self.address is None:
            self.address = "127.0.0.1"

        self.sock.connect((self.address, self.port))
        process_id = os.getpid()
        buf = struct.pack('i', process_id)
        self.sock.send(buf)

    def log(self, text):

        try:
            buf = struct.pack('i', len(text))
            self.sock.send(buf)

            self.sock.send(text.encode('utf-8'))
        except:
            self.reconnect()

    def close(self):
        self.sock.close()

테스트하면, 최초 실행 시 1개의 소켓으로 공유하는 중에 서버 측에서 강제로 해당 연결을 끊어버리면 fork의 부모/자식 프로세스가 reconnect 함수를 각각 실행하면서 별도의 소켓 연결을 가져가게 됩니다.

사실, fork의 이런 동작은 전체적인 프로그램에 대한 코드 실행 경로를 자칫 난해하게 만들 수 있으므로 사용하는 유형이 정해져 있습니다. 대표적인 사례로 TCP 서버에서 클라이언트가 접속했을 때 해당 소켓과 통신하는 전용 프로세스를 fork로 만들어 떼어내는 것입니다.

또한 전에도 언급했지만, 파이썬의 경우 유독 GIL(Global Interpreter Lock)로 인해 fork와 친해질 수밖에 없는 구조입니다. 이로 인해 Django를 호스팅하는 uwsgigunicorn에서 요청이 오면 그것을 처리하기 위한 (별도 스레드가 아닌) fork로 자식 프로세스를 만들게 된 것입니다. (물론, gunicorn이라면 --worker-class=gthread 옵션이 있지만!)




그렇다면 스레드는 어떻게 될까요? 원칙상으로 보면, 소켓이나 스레드와 같은 커널 자원이 fork로 자식 프로세스에 복제되는 것은 엄밀히 핸들 값에 불과할 뿐입니다. 그렇기 때문에 소켓의 경우는 부모/자식에서 모두 사용할 수 있었지만, 스레드의 경우에는 fork된 자식 프로세스에서 딱히 역할을 하지 않습니다.

역시 간단하게 이전의 파이썬 코드에서 스레드만 추가해 다음과 같이 확인할 수 있습니다.

import os
import socket
import struct
import threading
import time
from threading import Thread, Timer

log_socket = None


class LogSocket:
    def __init__(self, port, address=None):
        self.sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

        if address is None:
            address = "127.0.0.1"

        self.address = address
        self.port = port

        self.sock.connect((self.address, self.port))
        pid = os.getpid()
        buf = struct.pack('i', pid)
        self.sock.send(buf)

    def log(self, text):
        buf = struct.pack('i', len(text))
        self.sock.send(buf)

        self.sock.send(text.encode('utf-8'))

    def close(self):
        self.sock.close()


def run_thread():
    def handler():
        global log_socket

        while True:
            log_socket.log("current pid: " + str(os.getpid()) + ", " + str(threading.get_native_id()))
            time.sleep(1)

    t = Thread(target=handler)
    t.daemon = True
    t.start()
    return t


log_socket = LogSocket(39999)
run_thread()

pid = os.fork()

if pid > 0:
    print('부모 프로세스의 실행 흐름', os.getpid())
elif pid == 0:
    print('자식 프로세스의 실행 흐름', os.getpid())
else:  # pid < 0
    print('fork 오류')

while True:
    time.sleep(1)

실행해 보면 파이썬 콘솔에는 2개의 프로세스 id가 보이고 TCP 서버에서는 단일 소켓으로 1초마다 들어오는 메시지를 확인할 수 있습니다.

$ python main.py
부모 프로세스의 실행 흐름 17109
자식 프로세스의 실행 흐름 17111

// TCP 서버 측 수신 데이터

current pid: 17109, 17110
current pid: 17109, 17110
...[이하 반복]...

pid를 보면 알겠지만, 부모 프로세스가 17109이고 그 프로세스에서 생성한 스레드가 17110, 마지막으로 fork 프로세스가 17111로 할당돼 있습니다.

(첨부 파일은 이 글에서 사용한 파이썬 예제 코드와 C# TCP 서버를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 2/8/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 46  47  [48]  49  50  51  52  53  54  55  56  57  58  59  60  ...
NoWriterDateCnt.TitleFile(s)
12614정성태4/24/202113408개발 환경 구성: 570. C# - Azure AD 인증을 지원하는 ASP.NET Core/5+ 웹 애플리케이션 예제 구성 [4]파일 다운로드1
12613정성태4/23/202112161.NET Framework: 1048. C# - ETW 이벤트의 Keywords에 속한 EventId 구하는 방법 (2) 관리 코드파일 다운로드1
12612정성태4/23/202112163.NET Framework: 1047. C# - ETW 이벤트의 Keywords에 속한 EventId 구하는 방법 (1) PInvoke파일 다운로드1
12611정성태4/22/202111673오류 유형: 711. 닷넷 EXE 실행 오류 - Mixed mode assembly is build against version 'v2.0.50727' of the runtime
12610정성태4/22/202111652.NET Framework: 1046. C# - 컴파일 시점에 참조할 수 없는 타입을 포함한 이벤트 핸들러를 Reflection을 이용해 구독하는 방법파일 다운로드1
12609정성태4/22/202112982.NET Framework: 1045. C# - 런타임 시점에 이벤트 핸들러를 만들어 Reflection을 이용해 구독하는 방법파일 다운로드1
12608정성태4/21/202113811.NET Framework: 1044. C# - Generic Host를 이용해 .NET 5로 리눅스 daemon 프로그램 만드는 방법 [9]파일 다운로드1
12607정성태4/21/202112155.NET Framework: 1043. C# - 실행 시점에 동적으로 Delegate 타입을 만드는 방법파일 다운로드1
12606정성태4/21/202116979.NET Framework: 1042. C# - enum 값을 int로 암시적(implicit) 형변환하는 방법? [2]파일 다운로드1
12605정성태4/18/202112371.NET Framework: 1041. C# - AssemblyID, ModuleID를 관리 코드에서 구하는 방법파일 다운로드1
12604정성태4/18/202110556VS.NET IDE: 163. 비주얼 스튜디오 속성 창의 "Build(빌드)" / "Configuration(구성)"에서의 "활성" 의미
12603정성태4/16/202111951VS.NET IDE: 162. 비주얼 스튜디오 - 상속받은 컨트롤이 디자인 창에서 지원되지 않는 문제
12602정성태4/16/202113142VS.NET IDE: 161. x64 DLL 프로젝트의 컨트롤이 Visual Studio의 Designer에서 보이지 않는 문제 [1]
12601정성태4/15/202112187.NET Framework: 1040. C# - REST API 대신 github 클라이언트 라이브러리를 통해 프로그래밍으로 접근
12600정성태4/15/202112272.NET Framework: 1039. C# - Kubeconfig의 token 설정 및 인증서 구성을 자동화하는 프로그램
12599정성태4/14/202113216.NET Framework: 1038. C# - 인증서 및 키 파일로부터 pfx/p12 파일을 생성하는 방법파일 다운로드1
12598정성태4/14/202113154.NET Framework: 1037. openssl의 PEM 개인키 파일을 .NET RSACryptoServiceProvider에서 사용하는 방법 (2)파일 다운로드1
12597정성태4/13/202113558개발 환경 구성: 569. csproj의 내용을 공통 설정할 수 있는 Directory.Build.targets / Directory.Build.props 파일
12596정성태4/12/202113064개발 환경 구성: 568. Windows의 80 포트 점유를 해제하는 방법
12595정성태4/12/202112304.NET Framework: 1036. SQL 서버 - varbinary 타입에 대한 문자열의 CAST, CONVERT 변환을 C# 코드로 구현
12594정성태4/11/202111701.NET Framework: 1035. C# - kubectl 명령어 또는 REST API 대신 Kubernetes 클라이언트 라이브러리를 통해 프로그래밍으로 접근 [1]파일 다운로드1
12593정성태4/10/202112972개발 환경 구성: 567. Docker Desktop for Windows - kubectl proxy 없이 k8s 대시보드 접근 방법
12592정성태4/10/202112781개발 환경 구성: 566. Docker Desktop for Windows - k8s dashboard의 Kubeconfig 로그인 및 Skip 방법
12591정성태4/9/202116255.NET Framework: 1034. C# - byte 배열을 Hex(16진수) 문자열로 고속 변환하는 방법 [2]파일 다운로드1
12590정성태4/9/202112409.NET Framework: 1033. C# - .NET 4.0 이하에서 Console.IsInputRedirected 구현 [1]
12589정성태4/8/202113975.NET Framework: 1032. C# - Environment.OSVersion의 문제점 및 윈도우 운영체제의 버전을 구하는 다양한 방법 [1]
... 46  47  [48]  49  50  51  52  53  54  55  56  57  58  59  60  ...