Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 2개 있습니다.)
.NET Framework: 2126. C# - 서버 측의 요청 제어 (Microsoft.AspNetCore.RateLimiting)
; https://www.sysnet.pe.kr/2/0/13362

.NET Framework: 2129. C# - Polly를 이용한 클라이언트 측의 요청 재시도
; https://www.sysnet.pe.kr/2/0/13376




C# - Polly를 이용한 클라이언트 측의 요청 재시도

지난 글에서,

C# - 서버 측의 요청 제어 (Microsoft.AspNetCore.RateLimiting)
; https://www.sysnet.pe.kr/2/0/13362

Microsoft.AspNetCore.RateLimiting을 사용해 요청 제어를 하는 방법을 설명했는데요, 이런 서비스를 이용하는 클라이언트는 반대로 제한이 걸린 서비스에 대한 호출을 재시도해야 합니다.

파이썬의 경우, 이럴 때 Tenacity, backoff 등의 패키지를 이용해 간단한 특성 처리를 할 수 있는데요,

import openai  # for OpenAI API calls
from tenacity import (
    retry,
    stop_after_attempt,
    wait_random_exponential,
)  # for exponential backoff

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))
def completion_with_backoff(**kwargs):
    return openai.Completion.create(**kwargs)

completion_with_backoff(model="text-davinci-002", prompt="Once upon a time,")

닷넷의 경우에는 Polly 라이브러리를 이용해,

Polly
; https://www.nuget.org/packages/polly/

App-vNext/Polly
; https://github.com/App-vNext/Polly#installing-via-the-net-sdk

Implement HTTP call retries with exponential backoff with IHttpClientFactory and Polly policies
; https://learn.microsoft.com/en-us/dotnet/architecture/microservices/implement-resilient-applications/implement-http-call-retries-exponential-backoff-polly

(비록 특성을 지정하는 것처럼 간단하게는 아니지만) 유사하게 구현할 수 있습니다.

예를 들어, 지수 단위로 대기 시간이 늘어나는 Polly 정책은 (문서에서 나온 것 중에서) 다음과 같이 코딩할 수 있습니다.

// Retry a specified number of times, using a function to
// calculate the duration to wait between retries based on
// the current retry attempt (allows for exponential back-off)
// In this case will wait for
//  2 ^ 1 = 2 seconds then
//  2 ^ 2 = 4 seconds then
//  2 ^ 3 = 8 seconds then
//  2 ^ 4 = 16 seconds then
//  2 ^ 5 = 32 seconds
Policy
  .Handle<SomeExceptionType>()
  .WaitAndRetry(5, retryAttempt => TimeSpan.FromSeconds(Math.Pow(2, retryAttempt)));

이것을 적용해 지난 글에서 다룬 Rate Limit가 걸린 서비스를 호출하는 예제 클라이언트 코드를 다음과 같이 재작성할 수 있습니다.

using Polly;
using System.Net;

namespace ConsoleApp1;

internal class Program
{
    public const int MaxRequests = 7;
    static async Task<int> Main(string[] args)
    {
        var retryPolicy = Policy
            .HandleResult<HttpResponseMessage>(r => r.StatusCode == HttpStatusCode.ServiceUnavailable)
            .RetryAsync(5, (result, retryCount, context) =>
        {
            Console.WriteLine($"Retry {retryCount} of {context.PolicyKey} at {DateTime.Now}");
            Thread.Sleep(TimeSpan.FromSeconds(Math.Pow(2, retryCount)));
        });

        var client = new HttpClient();
        var context = new Context();

        var requests = new Task<HttpResponseMessage>[MaxRequests];
        for (int i = 0; i < MaxRequests; i++)
        {
            requests[i] = retryPolicy.ExecuteAsync(async ctx =>
            {
                return await client.GetAsync("http://localhost:5203/WeatherForecast");
            }, context);
        }

        await Task.WhenAll(requests);

        for (int i = 0; i < MaxRequests; i++)
        {
            Console.WriteLine($"{i}: {requests[i].Result.StatusCode}");
        }

        return 0;
    }
}

Retry 1 of AsyncRetryPolicy`1-5df14b8b at 2023-06-01 오후 2:58:14
Retry 2 of AsyncRetryPolicy`1-5df14b8b at 2023-06-01 오후 2:58:16
0: OK
1: OK
2: OK
3: OK
4: OK
5: OK
6: OK

간단하죠? ^^ 추가적으로 Polly의 다양한 사용법은 다음의 글을 읽어보시면 도움이 되실 것입니다.

C# - Polly를 사용하여 탄력적인 응용 프로그램 만들기
; https://jacking75.github.io/NET_lib_polly/

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 6/21/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  9  10  [11]  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13399정성태8/9/20234022닷넷: 2135. C# - 지역 변수로 이해하는 메서드 매개변수의 값/참조 전달
13398정성태8/3/20235137스크립트: 55. 파이썬 - pyodbc를 이용한 SQL Server 연결 사용법
13397정성태7/23/20234521닷넷: 2134. C# - 문자열 연결 시 string.Create를 이용한 GC 할당 최소화
13396정성태7/22/20234262스크립트: 54. 파이썬 pystack 소개 - 메모리 덤프로부터 콜 스택 열거
13395정성태7/20/20234056개발 환경 구성: 685. 로컬에서 개발 중인 ASP.NET Core/5+ 웹 사이트에 대해 localhost 이외의 호스트 이름으로 접근하는 방법
13394정성태7/16/20233953오류 유형: 873. Oracle.ManagedDataAccess.Client - 쿼리 수행 시 System.InvalidOperationException
13393정성태7/16/20234317닷넷: 2133. C# - Oracle 데이터베이스의 Sleep 쿼리 실행하는 방법
13392정성태7/16/20234183오류 유형: 872. Oracle - ORA-01031: insufficient privileges
13391정성태7/14/20234255닷넷: 2132. C# - sealed 클래스의 메서드를 callback 호출했을 때 인라인 처리가 될까요?
13390정성태7/12/20234045스크립트: 53. 파이썬 - localhost 호출 시의 hang 현상
13389정성태7/5/20234172개발 환경 구성: 684. IIS Express로 호스팅하는 웹을 WSL 환경에서 접근하는 방법
13388정성태7/3/20234349오류 유형: 871. 윈도우 탐색기에서 열리지 않는 zip 파일 - The Compressed (zipped) Folder '[...].zip' is invalid. [1]파일 다운로드1
13387정성태6/28/20234391오류 유형: 870. _mysql - Commands out of sync; you can't run this command now
13386정성태6/27/20234560Linux: 61. docker - 원격 제어를 위한 TCP 바인딩 추가
13385정성태6/27/20234785Linux: 60. Linux - 외부에서의 접속을 허용하기 위한 TCP 포트 여는 방법
13384정성태6/26/20234399.NET Framework: 2131. C# - Source Generator로 해결하는 enum 박싱 문제파일 다운로드1
13383정성태6/26/20234199개발 환경 구성: 683. GPU 런타임을 사용하는 Colab 노트북 설정
13382정성태6/25/20234287.NET Framework: 2130. C# - Win32 API를 이용한 윈도우 계정 정보 (예: 마지막 로그온 시간)파일 다운로드1
13381정성태6/25/20235052오류 유형: 869. Fatal Python error: init_fs_encoding: failed to get the Python codec of the filesystem encoding
13380정성태6/24/20234074스크립트: 52. 파이썬 3.x에서의 동적 함수 추가
13379정성태6/23/20234110스크립트: 51. 파이썬 2.x에서의 동적 함수 추가
13378정성태6/22/20233932오류 유형: 868. docker - build 시 "CANCELED ..." 뜨는 문제
13377정성태6/22/20238171오류 유형: 867. 파이썬 mysqlclient 2.2.x 설치 시 "Specify MYSQLCLIENT_CFLAGS and MYSQLCLIENT_LDFLAGS env vars manually" 오류
13376정성태6/21/20234342.NET Framework: 2129. C# - Polly를 이용한 클라이언트 측의 요청 재시도파일 다운로드1
13375정성태6/20/20233899스크립트: 50. Transformers (신경망 언어모델 라이브러리) 강좌 - 2장 코드 실행 결과
13374정성태6/20/20234045오류 유형: 866. 파이썬 - <class 'AttributeError'> module 'flask.json' has no attribute 'JSONEncoder'
1  2  3  4  5  6  7  8  9  10  [11]  12  13  14  15  ...