J & J - 정성태의 닷넷 이야기

사용자

메뉴

최근 덧글

[정성태] 그냥 RSS Reader 기능과 약간의 UI 편의성 때문에 사용...[이종효] 오래된 소프트웨어는 보안 위협이 되기도 합니다. 혹시 어떤 기능...[정성태] @Keystroke IEEE의 문서를 소개해 주시다니... +_...[손민수 (Keystroke)] 괜히 듀얼채널 구성할 때 한번에 같은 제품 사라고 하는 것이 아...[정성태] 전각(Full-width)/반각(Half-width) 기능을 토...[정성태] Vector에 대한 내용은 없습니다. Vector가 닷넷 BCL...[orion] 글 읽고 찾아보니 디자인 타임에는 InitializeCompon...[orion] 연휴 전에 재현 프로젝트 올리자 생각해 놓고 여의치 않아서 못 ...[정성태] 아래의 글에 정리했으니 참고하세요. C# - Typed D...[정성태] 간단한 재현 프로젝트라도 있을까요? 저런 식으로 설명만 해...

글쓰기

제목

이름

암호

전자우편

HTML

홈페이지

유형

내용

<div style='display: inline'>
<h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>파이썬 - FastAPI / uvicorn 호스팅 환경에서 asyncio 사용하는 방법</h1>

간단한 FastAPI 예제에서 단지 asyncio를, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
aiomysql
; <a target='tab' href='https://pypi.org/project/aiomysql/'>https://pypi.org/project/aiomysql/</a>
</pre>
 
이렇게 사용했을 뿐인데, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
# 실행 명령어
# uvicorn main:app --reload --host 0.0.0.0 --port 18003

from fastapi import FastAPI

app = FastAPI()

@app.get("/aio_func_test")
async def aio_func_test():
 import asyncio
 loop = asyncio.get_event_loop()
 loop.run_until_complete(my_func())
 return "test"

def my_func():
 return "my value"
</pre>
 
run_until_complete 호출에서 예외가 발생합니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
...[생략]...
 File "/mnt/d/testprj/p38fastapi/./main.py", line 51, in aio_func_test
 loop.run_until_complete(my_func())
 File "uvloop/loop.pyx", line 1495, in uvloop.loop.Loop.run_until_complete
 File "uvloop/loop.pyx", line 1488, in uvloop.loop.Loop.run_until_complete
 File "uvloop/loop.pyx", line 1377, in uvloop.loop.Loop.run_forever
 File "uvloop/loop.pyx", line 511, in uvloop.loop.Loop._run
RuntimeError: this event loop is already running.
</pre>
 
아마도, 이미 해당 프로세스에서는 event loop를 초기화해 사용하는 듯하고, 별도의 asyncio를 사용할 수는 없는 것 같습니다. 
 
검색해 보면, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
RuntimeError: This event loop is already running in python
; <a target='tab' href='https://stackoverflow.com/questions/46827007/runtimeerror-this-event-loop-is-already-running-in-python'>https://stackoverflow.com/questions/46827007/runtimeerror-this-event-loop-is-already-running-in-python</a>
</pre>
 
2가지 방법을 제시하는데요, 우선 asyncio.set_event_loop 호출은, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
import asyncio
asyncio.set_event_loop(asyncio.new_event_loop())
</pre>
 
함수 호출 자체에는 오류가 없었지만 이전과 마찬가지로 run_until_complete 호출 시 "RuntimeError: this event loop is already running." 예외가 발생했습니다. 
<a name='nest_asyncio'></a>
 
그다음 제시한 방법이 nest-asyncio를 사용하는 것인데요, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
nest-asyncio
; <a target='tab' href='https://pypi.org/project/nest-asyncio/'>https://pypi.org/project/nest-asyncio/</a>
</pre>
 
아래와 같이 사용했더니, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
# pip install nest-asyncio

from fastapi import FastAPI

import nest_asyncio
nest_asyncio.apply()

app = FastAPI()

# ...[생략]...
</pre>
 
이번에는 nest_asyncio.apply 호출 시에 다음과 같은 오류가 발생합니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
...[생략]...
 File "/mnt/d/testprj/p38fastapi/./main.py", line 9, in &lt;module&gt;
 nest_asyncio.apply()
 File "/home/testusr/.local/lib/python3.8/site-packages/nest_asyncio.py", line 17, in apply
 _patch_loop(loop)
 File "/home/testusr/.local/lib/python3.8/site-packages/nest_asyncio.py", line 174, in _patch_loop
 raise ValueError('Can\'t patch loop of type %s' % type(loop))
ValueError: Can't patch loop of type &lt;class 'uvloop.Loop'&gt;
</pre>
 
처음에는 저게 무슨 소리인가 싶었는데... ^^; <a target='tab' href='https://pypi.org/project/nest-asyncio/'>nest-asyncio</a> PyPI 문서에서 이를 해결하기 위한 힌트를 얻을 수 있습니다. 
 
<div style='BACKGROUND-COLOR: #ccffcc; padding: 10px 10px 5px 10px; MARGIN: 0px 10px 10px 10px; FONT-FAMILY: Malgun Gothic, Consolas, Verdana; COLOR: #005555'>
Optionally the specific loop that needs patching can be given as argument to apply, otherwise the current event loop is used. An event loop can be patched whether it is already running or not. Only event loops from asyncio can be patched; Loops from other projects, such as uvloop or quamash, generally can’t be patched.
</div> 
 
그렇다는 것은, 결국 FastAPI를 호스팅하는 응용 프로그램, 이 글에서는 uvicorn에 Event Loop를 지정하는 옵션이 있다는 것을 의미합니다. 실제로 확인해 볼까요? ^^ 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
$ uvicorn --help
Usage: uvicorn [OPTIONS] APP

Options:
 --host TEXT Bind socket to this host. [default:
 127.0.0.1]
 --port INTEGER Bind socket to this port. [default: 8000]
 --uds TEXT Bind to a UNIX domain socket.
 --fd INTEGER Bind to socket from this file descriptor.
 --reload Enable auto-reload.
 ...[생략]...
 --workers INTEGER Number of worker processes. Defaults to the
 $WEB_CONCURRENCY environment variable if
 available, or 1. Not valid with --reload.
 --loop [auto|asyncio|uvloop] Event loop implementation. [default: auto]
 --http [auto|h11|httptools] HTTP protocol implementation. [default:
 auto]
 ...[생략]...
</pre>
 
보면, asyncio와 uvloop를 지원하는데요, 기본 값이 auto이고 "Can't patch loop of type &lt;class 'uvloop.Loop'&gt;"라는 오류 메시지에서 uvloop가 선택된 것임을 알 수 있습니다. 
 
따라서 uvicorn을 다음과 같이 실행하면, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
$ uvicorn main:app --reload --host 0.0.0.0 --port 18003 --loop asyncio
</pre>
 
이제 정상적으로 loop.run_until_complete 코드까지 실행됩니다. 
 
<hr style='width: 50%' /> 
 
재미있는 상황이 하나 더 있는데요, nest_asyncio.apply()를 호출하는 시기를 다음과 같이 늦춰도 일단 잘 실행은 됩니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
from fastapi import FastAPI

app = FastAPI()

@app.get("/aio_func_test")
async def aio_func_test():
    import asyncio

import nest_asyncio
 nest_asyncio.apply()

loop = asyncio.get_event_loop()
    loop.run_until_complete(my_func())
    return "test"

def my_func():
 return "my value"
</pre>
 
하지만, 위와 같은 상황에서 middleware를 하나 추가하면, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
# ....[생략]...
from starlette.middleware.base import BaseHTTPMiddleware

class MyMiddleware(BaseHTTPMiddleware):
 async def dispatch(self, request, call_next):
 response = await call_next(request)
 return response

app = FastAPI()
app.add_middleware(MyMiddleware)

# ....[생략]...
</pre>
 
또는, 이렇게 추가해도, 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
# ....[생략]...

# <a target='tab' href='https://fastapi.tiangolo.com/tutorial/middleware/#create-a-middleware'>https://fastapi.tiangolo.com/tutorial/middleware/#create-a-middleware</a>

@app.middleware("http")
async def add_process_time_header(request, call_next):
 response = await call_next(request)
 return response
</pre>
 
이번엔 다음과 같은 예외가 발생하면서 요청 처리 자체가 중단되지를 않습니다. 
 
<pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' >
Exception in callback &lt;TaskStepMethWrapper object at 0x7f5be53ebdf0&gt;()
handle: &lt;Handle &lt;TaskStepMethWrapper object at 0x7f5be53ebdf0&gt;()&gt;
Traceback (most recent call last):
 File "/usr/lib/python3.8/asyncio/events.py", line 81, in _run
 self._context.run(self._callback, *self._args)
RuntimeError: Cannot enter into task &lt;Task pending name='Task-6' coro=&lt;RequestResponseCycle.run_asgi() running at /home/testusr/.local/lib/python3.8/site-packages/uvicorn/protocols/http/httptools_impl.py:372&gt; cb=[set.discard()]&gt; while another task &lt;Task pending name='starlette.middleware.base.BaseHTTPMiddleware.__call__.&lt;locals&gt;.call_next.&lt;locals&gt;.coro' coro=&lt;BaseHTTPMiddleware.__call__.&lt;locals&gt;.call_next.&lt;locals&gt;.coro() running at /home/testusr/.local/lib/python3.8/site-packages/starlette/middleware/base.py:36&gt; cb=[TaskGroup._spawn.&lt;locals&gt;.task_done() at /home/testusr/.local/lib/python3.8/site-packages/anyio/_backends/_asyncio.py:726]&gt; is being executed.
</pre>
 
물론, middleware가 있어도 nest_asyncio.apply 호출 자체를 초기에 실행하면 정상적으로 실행은 됩니다. 
 
음... 이것이 어느 한 쪽의 버그인지, 아니면 원래 nest_asyncio.apply 호출을 초기에만 하는 것이 올바른 것인지는 잘 모르겠습니다. (혹시 아시는 분은 덧글 부탁드립니다. ^^)

<hr />[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

</div>

첨부파일

스팸 방지용 인증 번호

1559 (왼쪽의 숫자를 입력해야 합니다.)