Microsoft MVP성태의 닷넷 이야기
스크립트: 45. 파이썬 - uvicorn 사용자 정의 Logger 작성 [링크 복사], [링크+제목 복사]
조회: 5939
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)

파이썬 - uvicorn 사용자 정의 Logger 작성

uvicorn으로,

파이썬 - FastAPI / uvicorn 호스팅 환경에서 asyncio 사용하는 방법
; https://www.sysnet.pe.kr/2/0/13087

파이썬 FastAPI 앱을 호스팅하면,

from fastapi import FastAPI
import nest_asyncio
import os

nest_asyncio.apply()

app = FastAPI()

@app.get("/")
def read_root():
    return "Hello world"

보통 이런 식의 출력을 볼 수 있습니다.

$ uvicorn main:app --reload --host 0.0.0.0 --port 18003 --loop asyncio
INFO:     Will watch for changes in these directories: ['/mnt/d/testprj/test_fastapi']
INFO:     Uvicorn running on http://0.0.0.0:18003 (Press CTRL+C to quit)
INFO:     Started reloader process [7601] using watchgod
INFO:     Started server process [7603]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

그리고 만약 루트(/) 경로를 웹 브라우저에서 방문하면 이런 식의 출력이 추가됩니다.

INFO:     127.0.0.1:45578 - "GET / HTTP/1.1" 200 OK

uvicorn의 출력 로그는 크게 2가지로 나뉘는데요, 하나는 "uvicorn.error" 범주가 있고 또 하나는 "uvicorn.access"가 있습니다. 위의 출력에서 처음 uvicorn을 호스팅할 때 출력한 "INFO"는 (이름과 어울리지 않게) "uvicorn.error"에 속하고, 이후 개별 경로를 방문할 때 발생하는 로그들이 "uvicorn.access"에 속합니다.




예제 코드를 통해 보는 것이 ^^ 더 이해가 빠르겠죠? 예를 들기 위해, 로그를 UDP로 전송하는 경우를 가정해 보겠습니다. 우선, 다음과 같이 logging.Handler를 상속받는 클래스를 하나 만들면 됩니다.

class UdpLogger(logging.Handler):
    def __init__(self, udp_server, udp_port):
        self.endpoint = (udp_server, udp_port)
        self.sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

        super().__init__()

    def emit(self, record):
        self.sock.sendto(record.getMessage().encode(), self.endpoint)

위에서 중요한 것은 "emit" 함수인데요, 이것은 logger.Handler에 정의된 함수로, Logger.log/debug/info/warning/error/critical의 모든 호출마다 실행되는 함수입니다.

전달된 record 인자는 LogRecord Objects 타입이어서, 그 타입이 제공하는 필드를 통해 Logger.log/debug/info/warning/error/critical에서 전달한 정보를 구할 수 있습니다. 위의 코드에서는 단순히 record.getMessage()를 UDP 서버로 전송하는 것이기 때문에 사용자가 Logger.info("test")라고 하는 경우 "test"에 해당하는 문자열이 record.getMessage()로 반환됩니다.

이후, 사용은 다음과 같이 할 수 있습니다.

handler = UdpLogger('192.168.100.50', 60900)

logger = logging.getLogger("uvicorn.error")
logger.handlers = []
logger.setLevel(logging.DEBUG)
logger.addHandler(handler)

print('logger installed')

nest_asyncio.apply()

app = FastAPI()

위의 경우 setLevel을 DEBUG로 설정했는데요, Logger가 제공하는 로깅 함수의 수준이 DEBUG/INFO/WARNING/ERROR/CRITICAL 순이기 때문에 모든 로그를 handler에 전달하겠다는 것을 의미합니다.

그래서 다시 실행해 보면,

// 실제 실행된 프로세스의 Log

$ uvicorn main:app --reload --host 0.0.0.0 --port 18003 --loop asyncio
INFO:     Will watch for changes in these directories: ['/mnt/d/workshop2/python-agent/testprj/latest_fastapi']
INFO:     Uvicorn running on http://0.0.0.0:18003 (Press CTRL+C to quit)
INFO:     Started reloader process [7667] using watchgod
logger installed
INFO:     Started server process [7669]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     127.0.0.1:56486 - "GET / HTTP/1.1" 200 OK

이번엔 UDP 서버에 다음과 같은 출력을 얻을 수 있습니다.

// UDP 서버에서 받은 LogRecord.getMessage()

Started server process [7683]
Waiting for application startup.
Application startup complete.

보시면 print 코드를 사용한 "logger installed" 메시지가 출력된 후 "GET ..."을 제외한 로그가 들어왔습니다. 이전에 설정했듯이 "GET ..." 로그는 "access log"에 해당하기 때문에 그것도 받고 싶다면 다음과 같이 한 번 더 handler를 추가해야 합니다.

logger2 = logging.getLogger("uvicorn.access")
logger2.handlers = []
logger2.setLevel(logging.DEBUG)
logger2.addHandler(handler)

이렇게 변경하면 이제 UDP 서버 측에서도 다음의 메시지를 받게 됩니다.

127.0.0.1:56748 - "GET / HTTP/1.1" 200

여기서 한 가지 차이점이 있는데요, "uvicorn.error" 범주로 받았던 호스팅 관련 메시지들은 Logger를 추가해도 uvicorn의 콘솔 화면에 여전히 출력되는 반면 "uvicorn.access" 로그의 경우에는 uvicorn 콘솔 화면에 출력되지 않습니다.




Logger를 설정한 경우 가장 중요한 것이 예외 로그일 것입니다. 그런데 이게 좀 애매합니다. ^^; 일부러 다음과 같이 오류가 발생하도록 만들고,

@app.get("/")
def read_root():
    text = None
    text.split(' ')
    return "Hello world"

루트를 방문하면 uvicorn 콘솔 화면에는 이렇게 예외의 모든 정보가 나오지만,

ERROR:    Exception in ASGI application
Traceback (most recent call last):
  File "/home/kevin/.local/lib/python3.8/site-packages/uvicorn/protocols/http/httptools_impl.py", line 372, in run_asgi
    result = await app(self.scope, self.receive, self.send)
  ...[생략]...
  File "/usr/lib/python3.8/asyncio/futures.py", line 178, in result
    raise self._exception
  File "/home/kevin/.local/lib/python3.8/site-packages/anyio/_backends/_asyncio.py", line 867, in run
    result = context.run(func, *args)
  File "/mnt/d/workshop2/python-agent/testprj/latest_fastapi/./main.py", line 48, in read_root
    text.split(' ')
AttributeError: 'NoneType' object has no attribute 'split'

UDP 서버에 출력된 텍스트는, 즉 UdpLogger.emit에 의해 전달된 메시지는 단순히 다음과 같습니다.

Exception in ASGI application

중요한 Traceback 정보가 없군요. ^^; 왜냐하면, 실제로 LogRecord의 getMessage() 함수가 반환하는 값이 그것뿐이기 때문입니다. 이를 위해선 record의 다른 속성을 통해 예외 메시지를 뽑아내서 전송하는 부가 처리를 이렇게 추가해야 합니다.

def emit(self, record):
    import traceback
    self.sock.sendto(record.getMessage().encode(), self.endpoint)
    if record.exc_info is not None:
        ex = record.exc_info[1]
        text = traceback.format_exception(etype=type(ex), value=ex, tb=ex.__traceback__)
        text = ''.join(text)
        self.sock.sendto(text.encode(), self.endpoint)




한 가지 유의해야 할 점이 있다면, logging.Handler로 전달하는 값은 오직 Logger.log/debug/info/warning/error/critical 함수에 의한 호출만을 처리할 수 있다는 점입니다. 즉, uvicorn의 콘솔 화면에 출력되는 모든 메시지가 아니라는 건데요, 일례로 print 함수를 이용한 출력은 콘솔에는 나오지만 logging.Handler로는 잡을 수 없습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/17/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  9  [10]  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13382정성태6/25/20233479.NET Framework: 2130. C# - Win32 API를 이용한 윈도우 계정 정보 (예: 마지막 로그온 시간)파일 다운로드1
13381정성태6/25/20233869오류 유형: 869. Fatal Python error: init_fs_encoding: failed to get the Python codec of the filesystem encoding
13380정성태6/24/20233303스크립트: 52. 파이썬 3.x에서의 동적 함수 추가
13379정성태6/23/20233309스크립트: 51. 파이썬 2.x에서의 동적 함수 추가
13378정성태6/22/20233208오류 유형: 868. docker - build 시 "CANCELED ..." 뜨는 문제
13377정성태6/22/20237082오류 유형: 867. 파이썬 mysqlclient 2.2.x 설치 시 "Specify MYSQLCLIENT_CFLAGS and MYSQLCLIENT_LDFLAGS env vars manually" 오류
13376정성태6/21/20233429.NET Framework: 2129. C# - Polly를 이용한 클라이언트 측의 요청 재시도파일 다운로드1
13375정성태6/20/20233110스크립트: 50. Transformers (신경망 언어모델 라이브러리) 강좌 - 2장 코드 실행 결과
13374정성태6/20/20233216오류 유형: 866. 파이썬 - <class 'AttributeError'> module 'flask.json' has no attribute 'JSONEncoder'
13373정성태6/19/20234534오류 유형: 865. 파이썬 - pymssql 설치 관련 오류 정리
13372정성태6/15/20233214개발 환경 구성: 682. SQL Server TLS 통신을 위해 사용되는 키 길이 확인 방법
13371정성태6/15/20233245개발 환경 구성: 681. openssl - 인증서 버전(V1 / V3)
13370정성태6/14/20233416개발 환경 구성: 680. C# - Ubuntu + Microsoft.Data.SqlClient + SQL Server 2008 R2 연결 방법 - TLS 1.2 지원
13369정성태6/13/20233239개발 환경 구성: 679. PyCharm(을 비롯해 JetBrains에 속한 여타) IDE에서 내부 Window들의 탭이 없어진 경우
13368정성태6/13/20233373개발 환경 구성: 678. openssl로 생성한 인증서를 SQL Server의 암호화 인증서로 설정하는 방법
13367정성태6/10/20233504오류 유형: 864. openssl로 만든 pfx 인증서를 Windows Server 2016 이하에서 등록 시 "The password you entered is incorrect" 오류 발생
13366정성태6/10/20233284.NET Framework: 2128. C# - 윈도우 시스템에서 지원하는 암호화 목록(Cipher Suites) 나열파일 다운로드1
13365정성태6/8/20233022오류 유형: 863. MODIFY FILE encountered operating system error 112(failed to retrieve text for this error. Reason: 15105)
13364정성태6/8/20233817.NET Framework: 2127. C# - Ubuntu + Microsoft.Data.SqlClient + SQL Server 2008 R2 연결 방법 [1]
13363정성태6/7/20233378스크립트: 49. 파이썬 - "Transformers (신경망 언어모델 라이브러리) 강좌" - 1장 2절 코드 실행 결과
13362정성태6/1/20233322.NET Framework: 2126. C# - 서버 측의 요청 제어 (Microsoft.AspNetCore.RateLimiting)파일 다운로드1
13361정성태5/31/20233748오류 유형: 862. Facebook - ASP.NET/WebClient 사용 시 graph.facebook.com/me 호출에 대해 403 Forbidden 오류
13360정성태5/31/20233136오류 유형: 861. WSL/docker - failed to start shim: start failed: io.containerd.runc.v2: create new shim socket
13359정성태5/19/20233467오류 유형: 860. Docker Desktop - k8s 초기화 무한 반복한다면?
13358정성태5/17/20233797.NET Framework: 2125. C# - Semantic Kernel의 Semantic Memory 사용 예제 [1]파일 다운로드1
13357정성태5/16/20233576.NET Framework: 2124. C# - Semantic Kernel의 Planner 사용 예제파일 다운로드1
1  2  3  4  5  6  7  8  9  [10]  11  12  13  14  15  ...