Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 2개 있습니다.)
.NET Framework: 2126. C# - 서버 측의 요청 제어 (Microsoft.AspNetCore.RateLimiting)
; https://www.sysnet.pe.kr/2/0/13362

.NET Framework: 2129. C# - Polly를 이용한 클라이언트 측의 요청 재시도
; https://www.sysnet.pe.kr/2/0/13376




C# - 서버 측의 요청 제어 (Microsoft.AspNetCore.RateLimiting)

닷넷의 경우 공식적으로 Microsoft.AspNetCore.RateLimiting을 통해 ASP.NET Core에서 사용할 수 있는 Middleware를 제공하고 있습니다.

Rate limiting middleware in ASP.NET Core
; https://learn.microsoft.com/en-us/aspnet/core/performance/rate-limit

위의 글을 정리해 사용법을 대충 알아볼까요? ^^

이를 위해 기본 ASP.NET Core Web API 프로젝트를 생성하고 Program.cs에 다음과 같이 원하는 요청 제어 코드를 추가할 수 있습니다.

using Microsoft.AspNetCore.RateLimiting;
using System.Threading.RateLimiting;

namespace WebApplication1
{
    public class Program
    {
        public static void Main(string[] args)
        {
            var builder = WebApplication.CreateBuilder(args);

            builder.Services.AddRateLimiter(_ => _
                .AddFixedWindowLimiter(policyName: "fixed", options =>
                {
                    options.PermitLimit = 4;
                    options.Window = TimeSpan.FromSeconds(5);
                    options.QueueProcessingOrder = QueueProcessingOrder.OldestFirst;
                    options.QueueLimit = 2;
                }));


            builder.Services.AddControllers();
            builder.Services.AddEndpointsApiExplorer();
            builder.Services.AddSwaggerGen();

            var app = builder.Build();

            app.UseRateLimiter();

            // Configure the HTTP request pipeline.
            if (app.Environment.IsDevelopment())
            {
                app.UseSwagger();
                app.UseSwaggerUI();
            }

            app.UseAuthorization();


            app.MapControllers();

            app.Run();
        }
    }
}

AddFixedWindowLimiter의 옵션 설정은 직관적으로 이해할 수 있습니다. 5초 당 4개의 요청을 허용하고, 요청이 밀리는 경우 최대 2개의 요청만 Queue에 보관하고 있습니다. 예를 들어, 동시 요청이 7개가 오면 4개는 먼저 처리되고, 2개는 Queue에 보관한 다음 1개는 거부를 하는 것입니다.

그리고 그런 설정을 대표하는 정책 이름을 "fixed"라고 지정하는데요, 해당 정책을 모든 Web API에 적용하고 싶다면 MapControllers와 연계해 RequireRateLimiting 확장 메서드를 다음과 같이 호출하면 됩니다.

// ...[생략]...

app.UseAuthorization();

app.MapControllers().RequireRateLimiting("fixed");

app.Run();

// ...[생략]...




자, 그럼 정말 Rate Limit가 잘 적용됐는지 테스트를 해볼까요? ^^ 이를 위해 다음과 같이 간략하게 콘솔 프로젝트를 만들고,

namespace ConsoleApp1;

internal class Program
{
    public const int MaxRequests = 7;
    static async Task<int> Main(string[] args)
    {
        var client = new HttpClient();

        var requests = new Task<HttpResponseMessage>[MaxRequests];
        for (int i = 0; i < MaxRequests; i++)
        {
            requests[i] = client.GetAsync("http://localhost:5203/WeatherForecast");
        }

        await Task.WhenAll(requests);

        for (int i = 0; i < MaxRequests; i++)
        {
            Console.WriteLine($"{i}: {requests[i].Result}");
        }

        return 0;
    }
}

실행하면 6개의 200 OK 응답과,

StatusCode: 200, ReasonPhrase: 'OK', Version: 1.1, Content: System.Net.Http.HttpConnectionResponseContent, Headers:
{
  Date: Thu, 01 Jun 2023 11:51:53 GMT
  Server: Kestrel
  Transfer-Encoding: chunked
  Content-Type: application/json; charset=utf-8
}

1개의 503 응답이 나옵니다.

StatusCode: 503, ReasonPhrase: 'Service Unavailable', Version: 1.1, Content: System.Net.Http.HttpConnectionResponseContent, Headers:
{
  Date: Thu, 01 Jun 2023 11:51:41 GMT
  Server: Kestrel
  Content-Length: 0
}

결국 4개의 요청은 바로 처리가 되었고, 2개는 Queue에 들어간 후 5초 지난 후에 처리가 되고, 나머지 1개는 요청 초과로 인해 503 오류 코드를 받은 것입니다.




이것으로 기본 사용법은 모두 설명했습니다. 이하 약간의 세부 사항을 들어가 보면!

특정 Web API만을 제외하고 싶다면 DisableRateLimiting 특성을 사용할 수 있습니다. 위의 예제 코드에서는 "app.MapControllers().RequireRateLimiting("fixed");" 코드로 전체 서비스에 적용했는데, 특정 API만 제외하고 싶다면 다음과 같이 처리할 수 있습니다.

using Microsoft.AspNetCore.Mvc;
using Microsoft.AspNetCore.RateLimiting;

namespace WebApplication1.Controllers;

[ApiController]
[Route("[controller]")]
public class WeatherForecastController : ControllerBase
{
    // ...[생략]...

    [DisableRateLimiting]
    [HttpGet(Name = "GetWeatherForecast")]
    public IEnumerable<WeatherForecast> Get()
    {
        // ...[생략]...
    }
}

혹은, 반대로 RequireRateLimiting("fixed");" 호출을 제거해 모든 API에 대한 요청 제어를 하지 않고, 특정 API만 적용하고 싶다면 EnableRateLimiting 특성을 사용하면 됩니다.

[EnableRateLimiting("fixed")] // class 수준에도 적용 가능
[HttpGet(Name = "GetWeatherForecast")]
public IEnumerable<WeatherForecast> Get()
{
    // ...[생략]...
}

그 외에, 이제까지 설명한 Limiter는 AddFixedWindowLimiter 메서드의 이름에서 알 수 있듯이 "Fixed Window" 유형이었는데요, 부가적으로 다음과 같은 유형의 요청 제어도 제공하고 있습니다.


위의 기능들을 이용하면, 여러분도 OpenAI와 같은 식의 요청 제어를 할 수 있을 것입니다. ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 6/1/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  9  10  11  [12]  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13368정성태6/13/20233993개발 환경 구성: 678. openssl로 생성한 인증서를 SQL Server의 암호화 인증서로 설정하는 방법
13367정성태6/10/20234201오류 유형: 864. openssl로 만든 pfx 인증서를 Windows Server 2016 이하에서 등록 시 "The password you entered is incorrect" 오류 발생
13366정성태6/10/20233928.NET Framework: 2128. C# - 윈도우 시스템에서 지원하는 암호화 목록(Cipher Suites) 나열파일 다운로드1
13365정성태6/8/20233528오류 유형: 863. MODIFY FILE encountered operating system error 112(failed to retrieve text for this error. Reason: 15105)
13364정성태6/8/20234454.NET Framework: 2127. C# - Ubuntu + Microsoft.Data.SqlClient + SQL Server 2008 R2 연결 방법 [1]
13363정성태6/7/20234053스크립트: 49. 파이썬 - "Transformers (신경망 언어모델 라이브러리) 강좌" - 1장 2절 코드 실행 결과
13362정성태6/1/20234083.NET Framework: 2126. C# - 서버 측의 요청 제어 (Microsoft.AspNetCore.RateLimiting)파일 다운로드1
13361정성태5/31/20234437오류 유형: 862. Facebook - ASP.NET/WebClient 사용 시 graph.facebook.com/me 호출에 대해 403 Forbidden 오류
13360정성태5/31/20233753오류 유형: 861. WSL/docker - failed to start shim: start failed: io.containerd.runc.v2: create new shim socket
13359정성태5/19/20234006오류 유형: 860. Docker Desktop - k8s 초기화 무한 반복한다면?
13358정성태5/17/20234511.NET Framework: 2125. C# - Semantic Kernel의 Semantic Memory 사용 예제 [1]파일 다운로드1
13357정성태5/16/20234331.NET Framework: 2124. C# - Semantic Kernel의 Planner 사용 예제파일 다운로드1
13356정성태5/15/20234650DDK: 10. Device Driver 테스트 설치 관련 오류 (Code 37, Code 31) 및 인증서 관련 정리
13355정성태5/12/20234614.NET Framework: 2123. C# - Semantic Kernel의 ChatGPT 대화 구현 [1]파일 다운로드1
13354정성태5/12/20234682.NET Framework: 2122. C# - "Use Unicode UTF-8 for worldwide language support" 설정을 한 경우, 한글 입력이 '\0' 문자로 처리
13352정성태5/12/20234428.NET Framework: 2121. C# - Semantic Kernel의 대화 문맥 유지파일 다운로드1
13351정성태5/11/20234840VS.NET IDE: 185. Visual Studio - 원격 Docker container 내에 실행 중인 응용 프로그램에 대한 디버깅 [1]
13350정성태5/11/20234217오류 유형: 859. Windows Date and Time - Unable to continue. You do not have permission to perform this task
13349정성태5/11/20234609.NET Framework: 2120. C# - Semantic Kernel의 Skill과 Function 사용 예제파일 다운로드1
13348정성태5/10/20234488.NET Framework: 2119. C# - Semantic Kernel의 "Basic Loading of the Kernel" 예제
13347정성태5/10/20234828.NET Framework: 2118. C# - Semantic Kernel의 Prompt chaining 예제파일 다운로드1
13346정성태5/10/20234636오류 유형: 858. RDP 원격 환경과 로컬 PC 간의 Ctrl+C, Ctrl+V 복사가 안 되는 문제
13345정성태5/9/20236333.NET Framework: 2117. C# - (OpenAI 기반의) Microsoft Semantic Kernel을 이용한 자연어 처리 [1]파일 다운로드1
13344정성태5/9/20237249.NET Framework: 2116. C# - OpenAI API 사용 - 지원 모델 목록 [1]파일 다운로드1
13343정성태5/9/20235059디버깅 기술: 192. Windbg - Hyper-V VM으로 이더넷 원격 디버깅 연결하는 방법
13342정성태5/8/20234906.NET Framework: 2115. System.Text.Json의 역직렬화 시 필드/속성 주의
1  2  3  4  5  6  7  8  9  10  11  [12]  13  14  15  ...