Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

(시리즈 글이 2개 있습니다.)
스크립트: 68. 파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)
; https://www.sysnet.pe.kr/2/0/13874

스크립트: 69. 파이썬 - multiprocessing 패키지의 spawn 모드로 동작하는 uvicorn의 workers
; https://www.sysnet.pe.kr/2/0/13875




파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)

아무래도 GIL(Global Interpreter Lock)의 영향으로 multiprocessing 패키지를 쓰게 될 수 있는데요,

multiprocessing — Process-based parallelism
; https://docs.python.org/3/library/multiprocessing.html

운영체제마다 프로세스를 생성하는 기본 방식이 다른 것에는 주의를 해야 합니다. 가령 아래의 소스 코드를 윈도우 버전의 파이썬에서 실행하면,

from multiprocessing import Pool

g_var = 0

def f(x):
    
    return g_var

if __name__ == '__main__':
    g_var = 5

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

spawn으로 자식 프로세스를 생성하므로 출력이 "[0, 0, 0]"으로 나오지만, 리눅스에서 실행하면 fork 방식이기 때문에 "[5, 5, 5]"로 나옵니다. 일관성을 위해 리눅스의 경우에도 명시적으로 spawn으로 바꾸고 싶다면 이런 식으로 변경할 수 있습니다. (기본값은 파이썬 버전마다도 달라질 수 있습니다.)

from multiprocessing import Pool, get_context

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    # Why your multiprocessing Pool is stuck
    # https://pythonspeed.com/articles/python-multiprocessing/
    with get_context('spawn').Pool() as pool:
        print(pool.map(f, [1, 2, 3]))  # 리눅스/윈도우 - 출력 결과: [0, 0, 0]

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 리눅스 - 출력 결과: [5, 5, 5]
                                    # 윈도우 - 출력 결과: [0, 0, 0]

혹은, Pool을 사용하기 전에 set_start_method() 함수를 사용하여 전역 설정을 변경할 수도 있습니다.

from multiprocessing import Pool, get_context, set_start_method
import os

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    set_start_method("spawn")

    if os.name != "nt":
        with get_context('fork').Pool() as pool:  # 리눅스 - 출력 결과: [5, 5, 5]
            print(pool.map(f, [1, 2, 3]))         # 윈도우 환경에서 fork 문맥을 사용하면 "ValueError: cannot find context for 'fork'" 오류 발생

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 윈도우/리눅스 - 출력 결과: [0, 0, 0]




Pool의 경우 지정한 개수만큼 프로세스를 생성하고, map 함수에 전달한 인자를 배분하게 됩니다. 가령, 아래와 같이 코딩하면,

from multiprocessing import Pool
import time
import os

def f(x):
    return os.getpid(), x*x

if __name__ == '__main__':
    print('this process id', os.getpid())

    with Pool(5) as p:  # 윈도우 spawn, 리눅스 fork
        print(p.map(f, [1, 2, 3]))

"with Pool"의 문맥에 있는 동안은 "python" 프로세스가 총 6개(부모 프로세스 1개 + 자식 프로세스 5개)가 생성돼 있고, with 문맥을 벗어나는 순간 다시 1개로 줄어듭니다. 다시 말해, 전달한 3개의 인자 수와는 무관하게 무조건 Pool에 지정한 개수만큼 프로세스를 미리 생성하게 됩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 1/24/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 151  152  153  154  [155]  156  157  158  159  160  161  162  163  164  165  ...
NoWriterDateCnt.TitleFile(s)
1214정성태1/3/201226137제니퍼 .NET: 19. 제니퍼 닷넷 설치/제거 방법 - IIS
1213정성태12/31/201126130.NET Framework: 290. WCF - 접속된 클라이언트의 IP 주소 알아내는 방법 - 두 번째 이야기
1212정성태12/31/201126164오류 유형: 145. The trust relationship between this workstation and the primary domain failed.
1211정성태12/31/201130958.NET Framework: 289. WindowsFormsHost를 사용하는 XBAP 응용 프로그램파일 다운로드1
1210정성태12/30/201149841.NET Framework: 288. FFmpeg.exe를 이용한 C# 동영상 인코더 예제 [9]파일 다운로드1
1209정성태12/29/201124574개발 환경 구성: 138. BizTalk 2006 설치 방법
1208정성태12/28/201148176.NET Framework: 287. Excel Sheet를 WinForm에서 사용하는 방법 [8]파일 다운로드2
1207정성태12/26/201126930.NET Framework: 286. x86/x64로 구분된 코드를 포함하는 경우, 다중으로 어셈블리를 만들어야 할까요?파일 다운로드1
1206정성태12/25/201127641.NET Framework: 285. Shader 강좌와 함께 배워보는 XNA Framework (3) - 텍스처 매핑 예제파일 다운로드1
1205정성태12/25/201133707.NET Framework: 284. Thread 개체의 Interrupt와 Abort의 차이점파일 다운로드1
1204정성태12/22/201127215.NET Framework: 283. MEF를 ASP.NET에 성능 손실 없이 적용하려면? [7]
1203정성태12/21/201127606제니퍼 .NET: 18. MEF가 적용된 ASP.NET 웹 사이트를 제니퍼 닷넷으로 모니터링 해본 결과! [6]
1202정성태12/21/201128018오류 유형: 144. The database '...' cannot be opened because it is version 661.
1201정성태12/14/201143015디버깅 기술: 47. .NET Reflector를 이용한 "소스 코드가 없는" 어셈블리 디버깅 [4]
1200정성태12/11/201128845디버깅 기술: 46. Windbg 확장 DLL 만들기 (2) - Debugger Extension API 사용파일 다운로드1
1199정성태12/11/201130041VC++: 55. JNI DLL 컴파일 시 x86과 x64의 Export된 함수의 이름이 왜 다를까요? [2]파일 다운로드1
1198정성태12/9/201133810디버깅 기술: 45. Windbg 확장 DLL 만들기 (1) - 스레드를 강제 종료시키는 명령어 [2]파일 다운로드1
1197정성태12/9/201132018.NET Framework: 282. Shader 강좌와 함께 배워보는 XNA Framework (2) - RenderMonkey의 Shader/Model 파일 연동파일 다운로드2
1196정성태12/9/201135503.NET Framework: 281. Shader 강좌와 함께 배워보는 XNA Framework (1) - 기초 프로그램 구조 [3]파일 다운로드2
1195정성태12/8/201149634오류 유형: 143. DXSDK_Jun10.exe 설치 시 "Error Code: S1023" 오류 해결하는 방법 [4]
1194정성태12/8/201137429개발 환경 구성: 137. Visual C++ 런타임 구성요소에 대한 디버그 버전 설치하는 방법
1193정성태12/8/201124511오류 유형: 142. Windows Phone SDK 7.1 설치 시 Expression Blend 제거를 요구하는 경우
1192정성태12/8/201127500개발 환경 구성: 136. Windows 7 SP1의 IIS에서 사용자 프로파일을 로드하는 방법
1191정성태12/6/201128561.NET Framework: 280. MVC3에서 JavaScriptSerializer 재정의하는 방법파일 다운로드1
1190정성태12/6/201131642오류 유형: 141. Visual C++ 컴파일 오류 - error C2275: 'xxxxx' : illegal use of this type as an expression [1]
1189정성태12/6/201139053VS.NET IDE: 70. Visual Studio에서 프로젝트 로드가 안된다면?
... 151  152  153  154  [155]  156  157  158  159  160  161  162  163  164  165  ...