Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

(시리즈 글이 2개 있습니다.)
스크립트: 68. 파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)
; https://www.sysnet.pe.kr/2/0/13874

스크립트: 69. 파이썬 - multiprocessing 패키지의 spawn 모드로 동작하는 uvicorn의 workers
; https://www.sysnet.pe.kr/2/0/13875




파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)

아무래도 GIL(Global Interpreter Lock)의 영향으로 multiprocessing 패키지를 쓰게 될 수 있는데요,

multiprocessing — Process-based parallelism
; https://docs.python.org/3/library/multiprocessing.html

운영체제마다 프로세스를 생성하는 기본 방식이 다른 것에는 주의를 해야 합니다. 가령 아래의 소스 코드를 윈도우 버전의 파이썬에서 실행하면,

from multiprocessing import Pool

g_var = 0

def f(x):
    
    return g_var

if __name__ == '__main__':
    g_var = 5

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))

spawn으로 자식 프로세스를 생성하므로 출력이 "[0, 0, 0]"으로 나오지만, 리눅스에서 실행하면 fork 방식이기 때문에 "[5, 5, 5]"로 나옵니다. 일관성을 위해 리눅스의 경우에도 명시적으로 spawn으로 바꾸고 싶다면 이런 식으로 변경할 수 있습니다. (기본값은 파이썬 버전마다도 달라질 수 있습니다.)

from multiprocessing import Pool, get_context

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    # Why your multiprocessing Pool is stuck
    # https://pythonspeed.com/articles/python-multiprocessing/
    with get_context('spawn').Pool() as pool:
        print(pool.map(f, [1, 2, 3]))  # 리눅스/윈도우 - 출력 결과: [0, 0, 0]

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 리눅스 - 출력 결과: [5, 5, 5]
                                    # 윈도우 - 출력 결과: [0, 0, 0]

혹은, Pool을 사용하기 전에 set_start_method() 함수를 사용하여 전역 설정을 변경할 수도 있습니다.

from multiprocessing import Pool, get_context, set_start_method
import os

g_var = 0

def f(x):
    return g_var

if __name__ == '__main__':
    g_var = 5

    set_start_method("spawn")

    if os.name != "nt":
        with get_context('fork').Pool() as pool:  # 리눅스 - 출력 결과: [5, 5, 5]
            print(pool.map(f, [1, 2, 3]))         # 윈도우 환경에서 fork 문맥을 사용하면 "ValueError: cannot find context for 'fork'" 오류 발생

    with Pool(5) as p:
        print(p.map(f, [1, 2, 3]))  # 윈도우/리눅스 - 출력 결과: [0, 0, 0]




Pool의 경우 지정한 개수만큼 프로세스를 생성하고, map 함수에 전달한 인자를 배분하게 됩니다. 가령, 아래와 같이 코딩하면,

from multiprocessing import Pool
import time
import os

def f(x):
    return os.getpid(), x*x

if __name__ == '__main__':
    print('this process id', os.getpid())

    with Pool(5) as p:  # 윈도우 spawn, 리눅스 fork
        print(p.map(f, [1, 2, 3]))

"with Pool"의 문맥에 있는 동안은 "python" 프로세스가 총 6개(부모 프로세스 1개 + 자식 프로세스 5개)가 생성돼 있고, with 문맥을 벗어나는 순간 다시 1개로 줄어듭니다. 다시 말해, 전달한 3개의 인자 수와는 무관하게 무조건 Pool에 지정한 개수만큼 프로세스를 미리 생성하게 됩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 1/24/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
13208정성태1/3/202316776.NET Framework: 2086. C# - Windows 운영체제의 2MB Large 페이지 크기 할당 방법파일 다운로드1
13207정성태12/26/202217442.NET Framework: 2085. C# - gpedit.msc의 "User Rights Assignment" 특권을 코드로 설정/해제하는 방법 [1]파일 다운로드1
13206정성태12/24/202217510.NET Framework: 2084. C# - GetTokenInformation으로 사용자 SID(Security identifiers) 구하는 방법 [4]파일 다운로드1
13205정성태12/24/202215579.NET Framework: 2083. C# - C++과의 연동을 위한 구조체의 fixed 배열 필드 사용 (2)파일 다운로드1
13204정성태12/22/202214555.NET Framework: 2082. C# - (LSA_UNICODE_STRING 예제로) CustomMarshaler 사용법파일 다운로드1
13203정성태12/22/202214756.NET Framework: 2081. C# Interop 예제 - (LSA_UNICODE_STRING 예제로) 구조체를 C++에 전달하는 방법파일 다운로드1
13202정성태12/21/202217812기타: 84. 직렬화로 설명하는 Little/Big Endian파일 다운로드1
13201정성태12/20/202219580오류 유형: 835. PyCharm 사용 시 C 드라이브 용량 부족
13200정성태12/19/202216497오류 유형: 834. 이벤트 로그 - SSL Certificate Settings created by an admin process for endpoint
13199정성태12/19/202217269개발 환경 구성: 656. Internal Network 유형의 스위치로 공유한 Hyper-V의 VM과 호스트가 통신이 안 되는 경우
13198정성태12/18/202217415.NET Framework: 2080. C# - Microsoft.XmlSerializer.Generator 처리 없이 XmlSerializer 생성자를 예외 없이 사용하고 싶다면?파일 다운로드1
13197정성태12/17/202217036.NET Framework: 2079. .NET Core/5+ 환경에서 XmlSerializer 사용 시 System.IO.FileNotFoundException 예외 발생하는 경우파일 다운로드1
13196정성태12/16/202217624.NET Framework: 2078. .NET Core/5+를 위한 SGen(Microsoft.XmlSerializer.Generator) 사용법
13195정성태12/15/202217700개발 환경 구성: 655. docker - bridge 네트워크 모드에서 컨테이너 간 통신 시 --link 옵션 권장 이유
13194정성태12/14/202216813오류 유형: 833. warning C4747: Calling managed 'DllMain': Managed code may not be run under loader lock파일 다운로드1
13193정성태12/14/202217642오류 유형: 832. error C7681: two-phase name lookup is not supported for C++/CLI or C++/CX; use /Zc:twoPhase-
13192정성태12/13/202217897Linux: 55. 리눅스 - bash shell에서 실수 연산
13191정성태12/11/202219243.NET Framework: 2077. C# - 직접 만들어 보는 SynchronizationContext파일 다운로드1
13190정성태12/9/202222154.NET Framework: 2076. C# - SynchronizationContext 기본 사용법파일 다운로드1
13189정성태12/9/202219942오류 유형: 831. Visual Studio - Windows Forms 디자이너의 도구 상자에 컨트롤이 보이지 않는 문제
13188정성태12/9/202220967.NET Framework: 2075. C# - 직접 만들어 보는 TaskScheduler 실습 (SingleThreadTaskScheduler) [1]파일 다운로드1
13187정성태12/8/202219903개발 환경 구성: 654. openssl - CA로부터 인증받은 새로운 인증서를 생성하는 방법 (2)
13186정성태12/6/202218141오류 유형: 831. The framework 'Microsoft.AspNetCore.App', version '...' was not found.
13185정성태12/6/202218432개발 환경 구성: 653. Windows 환경에서의 Hello World x64 어셈블리 예제 (NASM 버전)
13184정성태12/5/202215404개발 환경 구성: 652. ml64.exe와 link.exe x64 실행 환경 구성 [1]
13183정성태12/4/202215587오류 유형: 830. MASM + CRT 함수를 사용하는 경우 발생하는 컴파일 오류 정리 [1]
... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...