Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

(시리즈 글이 2개 있습니다.)
스크립트: 68. 파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)
; https://www.sysnet.pe.kr/2/0/13874

스크립트: 69. 파이썬 - multiprocessing 패키지의 spawn 모드로 동작하는 uvicorn의 workers
; https://www.sysnet.pe.kr/2/0/13875




파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)

아무래도 GIL(Global Interpreter Lock)의 영향으로 multiprocessing 패키지를 쓰게 될 수 있는데요,

multiprocessing — Process-based parallelism
; https://docs.python.org/3/library/multiprocessing.html

운영체제마다 프로세스를 생성하는 기본 방식이 다른 것에는 주의를 해야 합니다. 가령 아래의 소스 코드를 윈도우 버전의 파이썬에서 실행하면,

from multiprocessing import Pool

g_var = 0

def f(x):
    
    return g_var

if __name__ == '__main__':
    g_var = 5

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

spawn으로 자식 프로세스를 생성하므로 출력이 "[0, 0, 0]"으로 나오지만, 리눅스에서 실행하면 fork 방식이기 때문에 "[5, 5, 5]"로 나옵니다. 일관성을 위해 리눅스의 경우에도 명시적으로 spawn으로 바꾸고 싶다면 이런 식으로 변경할 수 있습니다. (기본값은 파이썬 버전마다도 달라질 수 있습니다.)

from multiprocessing import Pool, get_context

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    # Why your multiprocessing Pool is stuck
    # https://pythonspeed.com/articles/python-multiprocessing/
    with get_context('spawn').Pool() as pool:
        print(pool.map(f, [1, 2, 3]))  # 리눅스/윈도우 - 출력 결과: [0, 0, 0]

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 리눅스 - 출력 결과: [5, 5, 5]
                                    # 윈도우 - 출력 결과: [0, 0, 0]

혹은, Pool을 사용하기 전에 set_start_method() 함수를 사용하여 전역 설정을 변경할 수도 있습니다.

from multiprocessing import Pool, get_context, set_start_method
import os

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    set_start_method("spawn")

    if os.name != "nt":
        with get_context('fork').Pool() as pool:  # 리눅스 - 출력 결과: [5, 5, 5]
            print(pool.map(f, [1, 2, 3]))         # 윈도우 환경에서 fork 문맥을 사용하면 "ValueError: cannot find context for 'fork'" 오류 발생

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 윈도우/리눅스 - 출력 결과: [0, 0, 0]




Pool의 경우 지정한 개수만큼 프로세스를 생성하고, map 함수에 전달한 인자를 배분하게 됩니다. 가령, 아래와 같이 코딩하면,

from multiprocessing import Pool
import time
import os

def f(x):
    return os.getpid(), x*x

if __name__ == '__main__':
    print('this process id', os.getpid())

    with Pool(5) as p:  # 윈도우 spawn, 리눅스 fork
        print(p.map(f, [1, 2, 3]))

"with Pool"의 문맥에 있는 동안은 "python" 프로세스가 총 6개(부모 프로세스 1개 + 자식 프로세스 5개)가 생성돼 있고, with 문맥을 벗어나는 순간 다시 1개로 줄어듭니다. 다시 말해, 전달한 3개의 인자 수와는 무관하게 무조건 Pool에 지정한 개수만큼 프로세스를 미리 생성하게 됩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 1/24/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 91  92  93  94  95  96  97  98  [99]  100  101  102  103  104  105  ...
NoWriterDateCnt.TitleFile(s)
11457정성태2/17/201824007.NET Framework: 732. C# - Task.ContinueWith 설명 [1]파일 다운로드1
11456정성태2/17/201829767.NET Framework: 731. C# - await을 Task 타입이 아닌 사용자 정의 타입에 적용하는 방법 [7]파일 다운로드1
11455정성태2/17/201818656오류 유형: 451. ASP.NET Core - An error occurred during the compilation of a resource required to process this request.
11454정성태2/12/201827537기타: 71. 만료된 Office 제품 키를 변경하는 방법
11453정성태1/31/201819496오류 유형: 450. Azure Cloud Services(classic) 배포 시 "Certificate with thumbprint ... doesn't exist." 오류 발생
11452정성태1/31/201825012기타: 70. 재현 가능한 최소한의 예제 프로젝트란? [3]파일 다운로드1
11451정성태1/24/201819240디버깅 기술: 111. windbg - x86 메모리 덤프 분석 시 닷넷 메서드의 호출 인자 값 확인
11450정성태1/24/201834517Windows: 146. PowerShell로 원격 프로세스(EXE, BAT) 실행하는 방법 [1]
11449정성태1/23/201821888오류 유형: 449. 단위 테스트 - Could not load file or assembly 'Microsoft.VisualStudio.QualityTools.VideoRecorderEngine' or one of its dependencies. [1]
11448정성태1/20/201819403오류 유형: 448. Fakes를 포함한 단위 테스트 프로젝트를 빌드 시 CS0619 관련 오류 발생
11447정성태1/20/201820736.NET Framework: 730. dotnet user-secrets 명령어 [2]파일 다운로드1
11446정성태1/20/201821757.NET Framework: 729. windbg로 살펴보는 GC heap의 Segment 구조 [2]파일 다운로드1
11445정성태1/20/201819631.NET Framework: 728. windbg - 눈으로 확인하는 Workstation GC / Server GC
11444정성태1/19/201819725VS.NET IDE: 125. Visual Studio에서 Selenium WebDriver를 이용한 웹 브라우저 단위 테스트 구성파일 다운로드1
11443정성태1/18/201820317VC++: 124. libuv 모듈 살펴 보기
11442정성태1/18/201818118개발 환경 구성: 353. ASP.NET Core 프로젝트의 "Enable unmanaged code debugging" 옵션 켜는 방법
11441정성태1/18/201816637오류 유형: 447. ASP.NET Core 배포 오류 - Ensure that restore has run and that you have included '...' in the TargetFrameworks for your project.
11440정성태1/17/201819919.NET Framework: 727. ASP.NET의 HttpContext.Current 구현에 대응하는 ASP.NET Core의 IHttpContextAccessor/HttpContextAccessor 사용법파일 다운로드1
11439정성태1/17/201824757기타: 69. C# - CPU 100% 부하 주는 프로그램파일 다운로드1
11438정성태1/17/201819500오류 유형: 446. Error CS0234 The type or namespace name 'ITuple' does not exist in the namespace
11437정성태1/17/201818827VS.NET IDE: 124. Platform Toolset 설정에 따른 Visual C++의 헤더 파일 기본 디렉터리
11436정성태1/16/201821073개발 환경 구성: 352. ASP.NET Core (EXE) 프로세스가 IIS에서 호스팅되는 방법 - ASP.NET Core Module(AspNetCoreModule) [4]
11435정성태1/16/201822173개발 환경 구성: 351. OWIN 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11434정성태1/15/201822546개발 환경 구성: 350. 사용자 정의 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11433정성태1/15/201820626개발 환경 구성: 349. dotnet ef 명령어 사용을 위한 준비
11432정성태1/11/201826379.NET Framework: 726. WPF + Direct2D + SharpDX 출력 C# 예제파일 다운로드2
... 91  92  93  94  95  96  97  98  [99]  100  101  102  103  104  105  ...