파이썬 - multiprocessing Pool의 기본 프로세스 시작 모드(spawn, fork)
아무래도 GIL(Global Interpreter Lock)의 영향으로 multiprocessing 패키지를 쓰게 될 수 있는데요,
multiprocessing — Process-based parallelism
; https://docs.python.org/3/library/multiprocessing.html
운영체제마다 프로세스를 생성하는 기본 방식이 다른 것에는 주의를 해야 합니다. 가령 아래의 소스 코드를 윈도우 버전의 파이썬에서 실행하면,
from multiprocessing import Pool
g_var = 0
def f(x):
return g_var
if __name__ == '__main__':
g_var = 5
with Pool(5) as p:
print(p.map(f, [1, 2, 3]))
spawn으로 자식 프로세스를 생성하므로 출력이 "[0, 0, 0]"으로 나오지만, 리눅스에서 실행하면 fork 방식이기 때문에 "[5, 5, 5]"로 나옵니다. 일관성을 위해 리눅스의 경우에도 명시적으로 spawn으로 바꾸고 싶다면 이런 식으로 변경할 수 있습니다. (기본값은 파이썬 버전마다도 달라질 수 있습니다.)
from multiprocessing import Pool, get_context
g_var = 0
def f(x):
return g_var
if __name__ == '__main__':
g_var = 5
# Why your multiprocessing Pool is stuck
# https://pythonspeed.com/articles/python-multiprocessing/
with get_context('spawn').Pool() as pool:
print(pool.map(f, [1, 2, 3])) # 리눅스/윈도우 - 출력 결과: [0, 0, 0]
with Pool(5) as p:
print(p.map(f, [1, 2, 3])) # 리눅스 - 출력 결과: [5, 5, 5]
# 윈도우 - 출력 결과: [0, 0, 0]
혹은, Pool을 사용하기 전에 set_start_method() 함수를 사용하여 전역 설정을 변경할 수도 있습니다.
from multiprocessing import Pool, get_context, set_start_method
import os
g_var = 0
def f(x):
return g_var
if __name__ == '__main__':
g_var = 5
set_start_method("spawn")
if os.name != "nt":
with get_context('fork').Pool() as pool: # 리눅스 - 출력 결과: [5, 5, 5]
print(pool.map(f, [1, 2, 3])) # 윈도우 환경에서 fork 문맥을 사용하면 "ValueError: cannot find context for 'fork'" 오류 발생
with Pool(5) as p:
print(p.map(f, [1, 2, 3])) # 윈도우/리눅스 - 출력 결과: [0, 0, 0]
Pool의 경우 지정한 개수만큼 프로세스를 생성하고, map 함수에 전달한 인자를 배분하게 됩니다. 가령, 아래와 같이 코딩하면,
from multiprocessing import Pool
import time
import os
def f(x):
return os.getpid(), x*x
if __name__ == '__main__':
print('this process id', os.getpid())
with Pool(5) as p: # 윈도우 spawn, 리눅스 fork
print(p.map(f, [1, 2, 3]))
"with Pool"의 문맥에 있는 동안은 "python" 프로세스가 총 6개(부모 프로세스 1개 + 자식 프로세스 5개)가 생성돼 있고, with 문맥을 벗어나는 순간 다시 1개로 줄어듭니다. 다시 말해, 전달한 3개의 인자 수와는 무관하게 무조건 Pool에 지정한 개수만큼 프로세스를 미리 생성하게 됩니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]