Microsoft MVP성태의 닷넷 이야기
스크립트: 71. 파이썬 - asyncio의 ContextVar 전달 [링크 복사], [링크+제목 복사],
조회: 2635
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

(시리즈 글이 3개 있습니다.)
스크립트: 58. 파이썬 - async/await 기본 사용법
; https://www.sysnet.pe.kr/2/0/13423

스크립트: 59. 파이썬 - 비동기 호출 함수(run_until_complete, run_in_executor, create_task, run_in_threadpool)
; https://www.sysnet.pe.kr/2/0/13426

스크립트: 71. 파이썬 - asyncio의 ContextVar 전달
; https://www.sysnet.pe.kr/2/0/13899




파이썬- asyncio의 ContextVar 전달

asyncio는 현재 스레드의 ContextVar와 연동해 대상 함수를 실행하지만,

PEP 567 – Context Variables
; https://peps.python.org/pep-0567/

event loop를 통해 실행하는 경우에는 ContextVar를 처리해 주지 않습니다. 이에 대한 코드를 다음과 같이 테스트할 수 있는데요,

import asyncio
import contextvars
import os


print(f'[{os.getpid()}] in main.py')
ctx_var = contextvars.ContextVar('myctx', default='(null)')


async def total1(numbers):
    print(f'[{os.getpid()}] total1 in create_task:', ctx_var.get(), sum(numbers))


def total2(numbers):
    print(f'[{os.getpid()}] total2 in run_in_executor:', ctx_var.get(), sum(numbers))


async def main():
    ctx_var.set('root-main')

    task1 = asyncio.create_task(total1([1, 2]))
    await asyncio.wait({task1})

    default_loop = asyncio.get_event_loop()
    await default_loop.run_in_executor(None, total2, [3, 4])


asyncio.run(main())

/* 실행 결과:
[48428] in main.py
[48428] total1 in create_task: root-main 3
[48428] total2 in run_in_executor: (null) 7
*/

보는 바와 같이 asyncio.create_task는 ContextVar를 전달하지만, loop.run_in_executor인 경우에는 전달되지 않고 있습니다.

이와 관련해 아래의 이슈가 있는데요,

loop.run_in_executor should propagate current contextvars #78195
; https://github.com/python/cpython/issues/78195

create_task는 언제나 스레드를 통해 대상을 실행하지만, run_in_executor는 전달하는 Executor에 따라 별도의 [스레드 또는 프로세스]로 실행하기 때문에 ContextVar를 전달하지 못한다고 합니다. 닷넷의 경험과는 좀 다른데요, 직렬화에 따라 ContextVar를 전달하는 것을 나눠도 되기 때문입니다.

게다가, 이 설명이 좀 맞지 않는 것이, run_in_executor에 오히려 ProcessPoolExecutor를 전달하면,

from concurrent.futures import ProcessPoolExecutor

executor = ProcessPoolExecutor()
await default_loop.run_in_executor(executor, total2, [3, 4])

/* 실행 결과:
[1051213] in main.py
[1051213] total1 in create_task: root-main 3
[1051214] total2 in run_in_executor: root-main 7
*/

ContextVar가 잘 전달됩니다. 즉, ThreadPoolExecutor 내부에서 ContextVar에 대한 전파를 하지 않는 것입니다.

executor = ThreadPoolExecutor()
await default_loop.run_in_executor(executor, total2, [3, 4])

// 실행 결과: total2 in run_in_executor: (null) 7

이외에도 이상한 점이 하나 있다면, 저렇게 executor를 통해 ProcessPoolExecutor를 전달하는 것은 가능하지만, 정작 set_default_executor로 전달하는 것은 또 불가능하다는 점입니다.

executor = ProcessPoolExecutor()

default_loop = asyncio.get_event_loop()
default_loop.set_default_executor(executor)

/* 예외 발생: Python 3.11부터 예외가 발생하도록 변경

Traceback (most recent call last):
  File "/home/testusr/testconsole/main.py", line 52, in 
    asyncio.run(main())
  File "/usr/lib/python3.11/asyncio/runners.py", line 190, in run
    return runner.run(main)
           ^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/asyncio/runners.py", line 118, in run
    return self._loop.run_until_complete(task)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/lib/python3.11/asyncio/base_events.py", line 654, in run_until_complete
    return future.result()
           ^^^^^^^^^^^^^^^
  File "/home/testusr/testconsole/main.py", line 49, in main
    default_loop.set_default_executor(executor)
  File "/usr/lib/python3.11/asyncio/base_events.py", line 834, in set_default_executor
    raise TypeError('executor must be ThreadPoolExecutor instance')
TypeError: executor must be ThreadPoolExecutor instance
*/




암튼, ThreadPoolExecutor 자체가 문제이기 때문에 이를 보완하면 저 문제를 해결할 수 있습니다. 즉, 사용자 정의 ThreadPoolExecutor를 만들면 되는 것인데요,

# Python: Copy context (contextvars.Context) to a separate thread
# https://stackoverflow.com/questions/71511061/python-copy-context-contextvars-context-to-a-separate-thread

class ThreadPoolExecutorWithCopyContext(ThreadPoolExecutor):
    def submit(self, fn, /, *args, **kwargs):  # Positional-only parameters
        ctx_vars = copy_context().items()

        def _fn():
            for var, value in ctx_vars:
                var.set(value)
            return fn(*args, **kwargs)

        return super().submit(_fn)

그래서 저 인스턴스를 run_in_executor에 전달하거나,

executor = ThreadPoolExecutorWithCopyContext()
await default_loop.run_in_executor(executor, total2, [3, 4])

set_default_executor로 지정하면 됩니다.

executor = ThreadPoolExecutorWithCopyContext()
default_loop.set_default_executor(executor)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 3/8/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 76  [77]  78  79  80  81  82  83  84  85  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
12045정성태10/27/201918599오류 유형: 576. mstest.exe 실행 시 "Visual Studio Enterprise is required to execute the test." 오류 - 두 번째 이야기
12044정성태10/27/201917732오류 유형: 575. mstest.exe - System.Resources.MissingSatelliteAssemblyException: The satellite assembly named "Microsoft.VisualStudio.ProductKeyDialog.resources.dll, ..."
12043정성태10/27/201919767오류 유형: 574. Windows 10 설치 시 오류 - 0xC1900101 - 0x4001E
12042정성태10/26/201918731오류 유형: 573. OneDrive 하위에 위치한 Documents, Desktop 폴더에 대한 권한 변경 시 "Unable to display current owner"
12041정성태10/23/201920277오류 유형: 572. mstest.exe - The load test results database could not be opened.
12040정성태10/23/201920911오류 유형: 571. Unhandled Exception: System.Net.Mail.SmtpException: Transaction failed. The server response was: 5.2.0 STOREDRV.Submission.Exception:SendAsDeniedException.MapiExceptionSendAsDenied
12039정성태10/22/201917771스크립트: 16. cmd.exe의 for 문에서는 ERRORLEVEL이 설정되지 않는 문제
12038정성태10/17/201918412오류 유형: 570. SQL Server 2019 RC1 - SQL Client Connectivity SDK 설치 오류
12037정성태10/15/201925966.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?파일 다운로드1
12036정성태10/14/201927309.NET Framework: 866. C# - 고성능이 필요한 환경에서 GC가 발생하지 않는 네이티브 힙 사용파일 다운로드1
12035정성태10/13/201920608개발 환경 구성: 461. C# 8.0의 #nulable 관련 특성을 .NET Framework 프로젝트에서 사용하는 방법 [2]파일 다운로드1
12034정성태10/12/201920192개발 환경 구성: 460. .NET Core 환경에서 (프로젝트가 아닌) C# 코드 파일을 입력으로 컴파일하는 방법 [1]
12033정성태10/11/201924626개발 환경 구성: 459. .NET Framework 프로젝트에서 C# 8.0/9.0 컴파일러를 사용하는 방법
12032정성태10/8/201920200.NET Framework: 865. .NET Core 2.2/3.0 웹 프로젝트를 IIS에서 호스팅(Inproc, out-of-proc)하는 방법 - AspNetCoreModuleV2 소개
12031정성태10/7/201918139오류 유형: 569. Azure Site Extension 업그레이드 시 "System.IO.IOException: There is not enough space on the disk" 예외 발생
12030정성태10/5/201925217.NET Framework: 864. .NET Conf 2019 Korea - "닷넷 17년의 변화 정리 및 닷넷 코어 3.0" 발표 자료 [1]파일 다운로드1
12029정성태9/27/201925446제니퍼 .NET: 29. Jennifersoft provides a trial promotion on its APM solution such as JENNIFER, PHP, and .NET in 2019 and shares the examples of their application.
12028정성태9/26/201921058.NET Framework: 863. C# - Thread.Suspend 호출 시 응용 프로그램 hang 현상을 해결하기 위한 시도파일 다운로드1
12027정성태9/26/201915669오류 유형: 568. Consider app.config remapping of assembly "..." from Version "..." [...] to Version "..." [...] to solve conflict and get rid of warning.
12026정성태9/26/201922003.NET Framework: 862. C# - Active Directory의 LDAP 경로 및 정보 조회
12025정성태9/25/201920302제니퍼 .NET: 28. APM 솔루션 제니퍼, PHP, .NET 무료 사용 프로모션 2019 및 적용 사례 (8) [1]
12024정성태9/20/201922253.NET Framework: 861. HttpClient와 HttpClientHandler의 관계 [2]
12023정성태9/18/201922690.NET Framework: 860. ServicePointManager.DefaultConnectionLimit와 HttpClient의 관계파일 다운로드1
12022정성태9/12/201926241개발 환경 구성: 458. C# 8.0 (Preview) 신규 문법을 위한 개발 환경 구성 [3]
12021정성태9/12/201942332도서: 시작하세요! C# 8.0 프로그래밍 [4]
12020정성태9/11/201925293VC++: 134. SYSTEMTIME 값 기준으로 특정 시간이 지났는지를 판단하는 함수
... 76  [77]  78  79  80  81  82  83  84  85  86  87  88  89  90  ...