Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)

파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)

아무래도 GIL(Global Interpreter Lock)의 영향으로 multiprocessing 패키지를 쓰게 될 수 있는데요,

multiprocessing — Process-based parallelism
; https://docs.python.org/3/library/multiprocessing.html

운영체제마다 프로세스를 생성하는 기본 방식이 다른 것에는 주의를 해야 합니다. 가령 아래의 소스 코드를 윈도우 버전의 파이썬에서 실행하면,

from multiprocessing import Pool

g_var = 0

def f(x):
    
    return g_var

if __name__ == '__main__':
    g_var = 5

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

spawn으로 자식 프로세스를 생성하므로 출력이 "[0, 0, 0]"으로 나오지만, 리눅스에서 실행하면 fork 방식이기 때문에 "[5, 5, 5]"로 나옵니다. 일관성을 위해 리눅스의 경우에도 명시적으로 spawn으로 바꾸고 싶다면 이런 식으로 변경할 수 있습니다. (기본값은 파이썬 버전마다도 달라질 수 있습니다.)

from multiprocessing import Pool, get_context

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    # Why your multiprocessing Pool is stuck
    # https://pythonspeed.com/articles/python-multiprocessing/
    with get_context('spawn').Pool() as pool:
        print(pool.map(f, [1, 2, 3]))  # 리눅스/윈도우 - 출력 결과: [0, 0, 0]

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 리눅스 - 출력 결과: [5, 5, 5]
                                    # 윈도우 - 출력 결과: [0, 0, 0]

혹은, Pool을 사용하기 전에 set_start_method() 함수를 사용하여 전역 설정을 변경할 수도 있습니다.

from multiprocessing import Pool, get_context, set_start_method
import os

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    set_start_method("spawn")

    if os.name != "nt":
        with get_context('fork').Pool() as pool:  # 리눅스 - 출력 결과: [5, 5, 5]
            print(pool.map(f, [1, 2, 3]))         # 윈도우 환경에서 fork 문맥을 사용하면 "ValueError: cannot find context for 'fork'" 오류 발생

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 윈도우/리눅스 - 출력 결과: [0, 0, 0]




Pool의 경우 지정한 개수만큼 프로세스를 생성하고, map 함수에 전달한 인자를 배분하게 됩니다. 가령, 아래와 같이 코딩하면,

from multiprocessing import Pool
import time
import os

def f(x):
    return os.getpid(), x*x

if __name__ == '__main__':
    print('this process id', os.getpid())

    with Pool(5) as p:  # 윈도우 spawn, 리눅스 fork
        print(p.map(f, [1, 2, 3]))

"with Pool"의 문맥에 있는 동안은 "python" 프로세스가 총 6개(부모 프로세스 1개 + 자식 프로세스 5개)가 생성돼 있고, with 문맥을 벗어나는 순간 다시 1개로 줄어듭니다. 다시 말해, 전달한 3개의 인자 수와는 무관하게 무조건 Pool에 지정한 개수만큼 프로세스를 미리 생성하게 됩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 1/24/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13883정성태2/12/2025189닷넷: 2317. C# - Memory Mapped I/O를 이용한 PCI Configuration Space 정보 열람파일 다운로드1
13882정성태2/10/2025582스크립트: 70. 파이썬 - oracledb 패키지 연동 시 Thin / Thick 모드
13881정성태2/7/2025894닷넷: 2316. C# - Port I/O를 이용한 PCI Configuration Space 정보 열람파일 다운로드1
13880정성태2/5/2025869오류 유형: 947. sshd - Failed to start OpenSSH server daemon.
13879정성태2/5/20251107오류 유형: 946. Ubuntu - N: Updating from such a repository can't be done securely, and is therefore disabled by default.
13878정성태2/3/2025987오류 유형: 945. Windows - 최대 절전 모드 시 DRIVER_POWER_STATE_FAILURE 발생 (pacer.sys)
13877정성태1/25/20251082닷넷: 2315. C# - PCI 장치 열거 (레지스트리, SetupAPI)파일 다운로드1
13876정성태1/25/20251274닷넷: 2314. C# - ProcessStartInfo 타입의 Arguments와 ArgumentList파일 다운로드1
13875정성태1/24/20251264스크립트: 69. 파이썬 - multiprocessing 패키지의 spawn 모드로 동작하는 uvicorn의 workers
13874정성태1/24/20251211스크립트: 68. 파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)
13873정성태1/23/20251107디버깅 기술: 217. WinDbg - PCI 장치 열거
13872정성태1/23/20251089오류 유형: 944. WinDbg - 원격 커널 디버깅이 연결은 되지만 Break (Ctrl + Break) 키를 눌러도 멈추지 않는 현상
13871정성태1/22/20251201Windows: 278. Windows - 윈도우를 다른 모니터 화면으로 이동시키는 단축키 (Window + Shift + 화살표)
13870정성태1/18/20251274개발 환경 구성: 741. WinDbg - 네트워크 커널 디버깅이 가능한 NIC 카드 지원 확대
13869정성태1/18/20251329개발 환경 구성: 740. WinDbg - _NT_SYMBOL_PATH 환경 변수에 설정한 경로로 심벌 파일을 다운로드하지 않는 경우
13868정성태1/17/20251233Windows: 277. Hyper-V - Windows 11 VM의 Enhanced Session 모드로 로그인을 할 수 없는 문제
13867정성태1/17/20251396오류 유형: 943. Hyper-V에 Windows 11 설치 시 "This PC doesn't currently meet Windows 11 system requirements" 오류
13866정성태1/16/20251359개발 환경 구성: 739. Windows 10부터 바뀐 device driver 서명 방법
13865정성태1/15/20251477오류 유형: 942. C# - .NET Framework 4.5.2 이하의 버전에서 HttpWebRequest로 https 호출 시 "System.Net.WebException" 예외 발생
13864정성태1/15/20251427Linux: 114. eBPF를 위해 필요한 SELinux 보안 정책
13863정성태1/14/20251320Linux: 113. Linux - 프로세스를 위한 전용 SELinux 보안 문맥 지정
13862정성태1/13/20251283Linux: 112. Linux - 데몬을 위한 SELinux 보안 정책 설정
13861정성태1/11/20251792Windows: 276. 명령행에서 원격 서비스를 동기/비동기로 시작/중지
13860정성태1/10/20251740디버깅 기술: 216. WinDbg - 2가지 유형의 식 평가 방법(MASM, C++)
13859정성태1/9/20251850디버깅 기술: 215. Windbg - syscall 이후 실행되는 KiSystemCall64 함수 및 SSDT 디버깅
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...