Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 2개 있습니다.)
(시리즈 글이 2개 있습니다.)
스크립트: 41. 파이썬 - FastAPI / uvicorn 호스팅 환경에서 asyncio 사용하는 방법
; https://www.sysnet.pe.kr/2/0/13087

스크립트: 60. 파이썬 - 비동기 FastAPI 앱을 gunicorn으로 호스팅
; https://www.sysnet.pe.kr/2/0/13431




파이썬 - FastAPI / uvicorn 호스팅 환경에서 asyncio 사용하는 방법

간단한 FastAPI 예제에서 단지 asyncio를,

aiomysql
; https://pypi.org/project/aiomysql/

이렇게 사용했을 뿐인데,

# 실행 명령어
# uvicorn main:app --reload --host 0.0.0.0 --port 18003

from fastapi import FastAPI

app = FastAPI()

@app.get("/aio_func_test")
async def aio_func_test():
    import asyncio
    loop = asyncio.get_event_loop()
    loop.run_until_complete(my_func())
    return "test"


def my_func():
    return "my value"

run_until_complete 호출에서 예외가 발생합니다.

...[생략]...
  File "/mnt/d/testprj/p38fastapi/./main.py", line 51, in aio_func_test
    loop.run_until_complete(my_func())
  File "uvloop/loop.pyx", line 1495, in uvloop.loop.Loop.run_until_complete
  File "uvloop/loop.pyx", line 1488, in uvloop.loop.Loop.run_until_complete
  File "uvloop/loop.pyx", line 1377, in uvloop.loop.Loop.run_forever
  File "uvloop/loop.pyx", line 511, in uvloop.loop.Loop._run
RuntimeError: this event loop is already running.

아마도, 이미 해당 프로세스에서는 event loop를 초기화해 사용하는 듯하고, 별도의 asyncio를 사용할 수는 없는 것 같습니다.

검색해 보면,

RuntimeError: This event loop is already running in python
; https://stackoverflow.com/questions/46827007/runtimeerror-this-event-loop-is-already-running-in-python

2가지 방법을 제시하는데요, 우선 asyncio.set_event_loop 호출은,

import asyncio
asyncio.set_event_loop(asyncio.new_event_loop())

함수 호출 자체에는 오류가 없었지만 이전과 마찬가지로 run_until_complete 호출 시 "RuntimeError: this event loop is already running." 예외가 발생했습니다.

그다음 제시한 방법이 nest-asyncio를 사용하는 것인데요,

nest-asyncio
; https://pypi.org/project/nest-asyncio/

아래와 같이 사용했더니,

# pip install nest-asyncio

from fastapi import FastAPI

import nest_asyncio
nest_asyncio.apply()

app = FastAPI()

#  ...[생략]...

이번에는 nest_asyncio.apply 호출 시에 다음과 같은 오류가 발생합니다.

...[생략]...
  File "/mnt/d/testprj/p38fastapi/./main.py", line 9, in <module>
    nest_asyncio.apply()
  File "/home/testusr/.local/lib/python3.8/site-packages/nest_asyncio.py", line 17, in apply
    _patch_loop(loop)
  File "/home/testusr/.local/lib/python3.8/site-packages/nest_asyncio.py", line 174, in _patch_loop
    raise ValueError('Can\'t patch loop of type %s' % type(loop))
ValueError: Can't patch loop of type <class 'uvloop.Loop'>

처음에는 저게 무슨 소리인가 싶었는데... ^^; nest-asyncio PyPI 문서에서 이를 해결하기 위한 힌트를 얻을 수 있습니다.

Optionally the specific loop that needs patching can be given as argument to apply, otherwise the current event loop is used. An event loop can be patched whether it is already running or not. Only event loops from asyncio can be patched; Loops from other projects, such as uvloop or quamash, generally can’t be patched.


그렇다는 것은, 결국 FastAPI를 호스팅하는 응용 프로그램, 이 글에서는 uvicorn에 Event Loop를 지정하는 옵션이 있다는 것을 의미합니다. 실제로 확인해 볼까요? ^^

$ uvicorn --help
Usage: uvicorn [OPTIONS] APP

Options:
  --host TEXT                     Bind socket to this host.  [default:
                                  127.0.0.1]
  --port INTEGER                  Bind socket to this port.  [default: 8000]
  --uds TEXT                      Bind to a UNIX domain socket.
  --fd INTEGER                    Bind to socket from this file descriptor.
  --reload                        Enable auto-reload.
  ...[생략]...
  --workers INTEGER               Number of worker processes. Defaults to the
                                  $WEB_CONCURRENCY environment variable if
                                  available, or 1. Not valid with --reload.
  --loop [auto|asyncio|uvloop]    Event loop implementation.  [default: auto]
  --http [auto|h11|httptools]     HTTP protocol implementation.  [default:
                                  auto]
  ...[생략]...

보면, asyncio와 uvloop를 지원하는데요, 기본 값이 auto이고 "Can't patch loop of type <class 'uvloop.Loop'>"라는 오류 메시지에서 uvloop가 선택된 것임을 알 수 있습니다.

따라서 uvicorn을 다음과 같이 실행하면,

$ uvicorn main:app --reload --host 0.0.0.0 --port 18003 --loop asyncio

이제 정상적으로 loop.run_until_complete 코드까지 실행됩니다.




재미있는 상황이 하나 더 있는데요, nest_asyncio.apply()를 호출하는 시기를 다음과 같이 늦춰도 일단 잘 실행은 됩니다.

from fastapi import FastAPI

app = FastAPI()

@app.get("/aio_func_test")
async def aio_func_test():
    import asyncio

    import nest_asyncio
    nest_asyncio.apply()

    loop = asyncio.get_event_loop()
    loop.run_until_complete(my_func())
    return "test"


def my_func():
    return "my value"

하지만, 위와 같은 상황에서 middleware를 하나 추가하면,

# ....[생략]...
from starlette.middleware.base import BaseHTTPMiddleware

class MyMiddleware(BaseHTTPMiddleware):
    async def dispatch(self, request, call_next):
        response = await call_next(request)
        return response


app = FastAPI()
app.add_middleware(MyMiddleware)

# ....[생략]...

또는, 이렇게 추가해도,

# ....[생략]...

# https://fastapi.tiangolo.com/tutorial/middleware/#create-a-middleware

@app.middleware("http")
async def add_process_time_header(request, call_next):
    response = await call_next(request)
    return response

이번엔 다음과 같은 예외가 발생하면서 요청 처리 자체가 중단되지를 않습니다.

Exception in callback <TaskStepMethWrapper object at 0x7f5be53ebdf0>()
handle: <Handle <TaskStepMethWrapper object at 0x7f5be53ebdf0>()>
Traceback (most recent call last):
  File "/usr/lib/python3.8/asyncio/events.py", line 81, in _run
    self._context.run(self._callback, *self._args)
RuntimeError: Cannot enter into task <Task pending name='Task-6' coro=<RequestResponseCycle.run_asgi() running at /home/testusr/.local/lib/python3.8/site-packages/uvicorn/protocols/http/httptools_impl.py:372> cb=[set.discard()]> while another task <Task pending name='starlette.middleware.base.BaseHTTPMiddleware.__call__.<locals>.call_next.<locals>.coro' coro=<BaseHTTPMiddleware.__call__.<locals>.call_next.<locals>.coro() running at /home/testusr/.local/lib/python3.8/site-packages/starlette/middleware/base.py:36> cb=[TaskGroup._spawn.<locals>.task_done() at /home/testusr/.local/lib/python3.8/site-packages/anyio/_backends/_asyncio.py:726]> is being executed.

물론, middleware가 있어도 nest_asyncio.apply 호출 자체를 초기에 실행하면 정상적으로 실행은 됩니다.

음... 이것이 어느 한 쪽의 버그인지, 아니면 원래 nest_asyncio.apply 호출을 초기에만 하는 것이 올바른 것인지는 잘 모르겠습니다. (혹시 아시는 분은 덧글 부탁드립니다. ^^)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 10/11/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2022-09-30 12시38분
[와] 정말 큰 도움 되었습니다. 감사합니다.
[guest]

1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13718정성태8/27/20247431오류 유형: 921. Visual C++ - error C1083: Cannot open include file: 'float.h': No such file or directory [2]
13717정성태8/26/20247023VS.NET IDE: 192. Visual Studio 2022 - Windows XP / 2003용 C/C++ 프로젝트 빌드
13716정성태8/21/20246757C/C++: 167. Visual C++ - 윈도우 환경에서 _execv 동작 [1]
13715정성태8/19/20247362Linux: 78. 리눅스 C/C++ - 특정 버전의 glibc 빌드 (docker-glibc-builder)
13714정성태8/19/20246757닷넷: 2295. C# 12 - 기본 생성자(Primary constructors) (책 오타 수정) [3]
13713정성태8/16/20247466개발 환경 구성: 721. WSL 2에서의 Hyper-V Socket 연동
13712정성태8/14/20247223개발 환경 구성: 720. Synology NAS - docker 원격 제어를 위한 TCP 바인딩 추가
13711정성태8/13/20248063Linux: 77. C# / Linux - zombie process (defunct process) [1]파일 다운로드1
13710정성태8/8/20247996닷넷: 2294. C# 13 - (6) iterator 또는 비동기 메서드에서 ref와 unsafe 사용을 부분적으로 허용파일 다운로드1
13709정성태8/7/20247752닷넷: 2293. C# - safe/unsafe 문맥에 대한 C# 13의 (하위 호환을 깨는) 변화파일 다운로드1
13708정성태8/7/20247546개발 환경 구성: 719. ffmpeg / YoutubeExplode - mp4 동영상 파일로부터 Audio 파일 추출
13707정성태8/6/20247775닷넷: 2292. C# - 자식 프로세스의 출력이 4,096보다 많은 경우 Process.WaitForExit 호출 시 hang 현상파일 다운로드1
13706정성태8/5/20247895개발 환경 구성: 718. Hyper-V - 리눅스 VM에 새로운 디스크 추가
13705정성태8/4/20248165닷넷: 2291. C# 13 - (5) params 인자 타입으로 컬렉션 허용 [2]파일 다운로드1
13704정성태8/2/20248110닷넷: 2290. C# - 간이 dotnet-dump 프로그램 만들기파일 다운로드1
13703정성태8/1/20247437닷넷: 2289. "dotnet-dump ps" 명령어가 닷넷 프로세스를 찾는 방법
13702정성태7/31/20247845닷넷: 2288. Collection 식을 지원하는 사용자 정의 타입을 CollectionBuilder 특성으로 성능 보완파일 다운로드1
13701정성태7/30/20248111닷넷: 2287. C# 13 - (4) Indexer를 이용한 개체 초기화 구문에서 System.Index 연산자 허용파일 다운로드1
13700정성태7/29/20247726디버깅 기술: 200. DLL Export/Import의 Hint 의미
13699정성태7/27/20248238닷넷: 2286. C# 13 - (3) Monitor를 대체할 Lock 타입파일 다운로드1
13698정성태7/27/20248206닷넷: 2285. C# - async 메서드에서의 System.Threading.Lock 잠금 처리파일 다운로드1
13697정성태7/26/20247921닷넷: 2284. C# - async 메서드에서의 lock/Monitor.Enter/Exit 잠금 처리파일 다운로드1
13696정성태7/26/20247454오류 유형: 920. dotnet publish - error NETSDK1047: Assets file '...\obj\project.assets.json' doesn't have a target for '...'
13695정성태7/25/20247438닷넷: 2283. C# - Lock / Wait 상태에서도 STA COM 메서드 호출 처리파일 다운로드1
13694정성태7/25/20247906닷넷: 2282. C# - ASP.NET Core Web App의 Request 용량 상한값 (Kestrel, IIS)
13693정성태7/24/20247233개발 환경 구성: 717. Visual Studio - C# 프로젝트에서 레지스트리에 등록하지 않은 COM 개체 참조 및 사용 방법파일 다운로드1
1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...