Microsoft MVP성태의 닷넷 이야기
.NET Framework: 922. C# - .NET ThreadPool의 Local/Global Queue [링크 복사], [링크+제목 복사]
조회: 457
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - .NET ThreadPool의 Local/Global Queue

오~~~ 멋진 글을 하나 읽어서 공유합니다. ^^

.NET ThreadPool starvation, and how queuing makes it worse
; https://medium.com/criteo-labs/net-threadpool-starvation-and-how-queuing-makes-it-worse-512c8d570527

위의 글에 포함된 링크를 보면 .NET ThreadPool의 Local/Global 큐에 대한 동작 방식을 확실히 알 수 있습니다. ^^

New and Improved CLR 4 Thread Pool Engine
; http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx

Work-Stealing in .NET 4.0
; https://docs.microsoft.com/en-us/archive/blogs/jennifer/work-stealing-in-net-4-0

정리해 보면, 스레드 풀은 1개의 Global Queue와 스레드 풀 내의 스레드 별로 1개씩의 Local Queue를 가집니다.

ThreadPool - Global Queue
    Thread #1 - LocalQueue
    Thread #2 - LocalQueue
    ...

그리고, 작업을 할당(Enqueue)할 때의 규칙은 이렇게 정리됩니다.

Global Queue에 추가하는 규칙
    - ThreadPool 외부의 스레드가 작업을 할당하는 경우
    -            내부의 스레드가 작업을 할당하는 경우
                    * ThreadPool.QueueUserWorkItem or ThreadPool.UnsafeQueueUserWorkItem
                    * Task.Factory.StartNew with the TaskCreationOptions.PreferFairness
                    * Task.Yield on the default task scheduler

Local Queue에 추가하는 규칙
    - 그 외의 모든 경우

가만 보면, 어차피 ThreadPool에 속하지 않은 외부의 스레드는 LocalQueue를 소유하고 있지 않기 때문에 GlobalQueue에 넣을 수 밖에 없습니다. 그리고, 특별히 LocalQueue를 가지고 있는 ThreadPool 내의 스레드일지라도 3가지 규칙을 제외하고는 모두 LocalQueue에 넣는 정도로 이해하면 됩니다.

그리고, 이렇게 큐에 할당된 작업을 스레드 풀의 여유 스레드가 가져가는(Dequeue) 규칙은 이렇습니다.

ThreadPool 내의 스레드가 자유롭게 되면,
    - 해당 스레드의 LocalQueue에서 마지막 추가된(LIFO) 항목, 즉 큐의 tail에 있는 작업을 꺼내서 실행
        ; 마지막에 추가된 항목, 즉 최근 추가된 항목을 처리하는 이유는 cache의 locality에 따른 적중률을 높이기 위함
    - LocalQueue가 비었으면 GlobalQueue에서 오래된 항목(FIFO), 즉 큐의 head에 있는 작업을 꺼내서 실행
        ; 어차피 GlobalQueue라면 현재 스레드가 실행 중인 CPU의 cache 적중률이 높지 않을 것이므로 FIFO로 처리
    - GlobalQueue도 비었으면, 다른 스레드의 LocalQueue에서 오래된 항목(FIFO)을 꺼내서 실행
        ; 어차피 다른 스레드의 작업 항목이라면 마찬가지로 cache 적중률이 높지 않을 것이므로 FIFO 처리

보는 바와 같이 꽤나 상식적인 수준입니다. 우선 자신의 LocalQueue를 보고, 없으면 GlobalQueue를 보고, 그래도 없으면 ThreadPool 내의 다른 스레드가 소유한 LocalQueue를 보는 것입니다.




그런데, ".NET ThreadPool starvation, and how queuing makes it worse" 글에서 hang 현상에 빠지면서도 스레드는 계속 증가하는 재미있는 예제를 제시합니다.

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            ThreadPool.SetMinThreads(8, 8);

            Task.Factory.StartNew(
                Producer,
                TaskCreationOptions.None);

            Console.ReadLine();
        }

        static void Producer()
        {
            while (true)
            {
                Process();

                Thread.Sleep(200);
            }
        }

        static async Task Process()
        {
            await Task.Yield();

            var tcs = new TaskCompletionSource<bool>();

            Task.Run(() =>
            {
                Thread.Sleep(1000);
                tcs.SetResult(true);
            });

            tcs.Task.Wait();

            Console.WriteLine($"Ended - {DateTime.Now} {tid} {mid}");
        }

        static int tid => AppDomain.GetCurrentThreadId();
        static int mid => Thread.CurrentThread.ManagedThreadId;
    }
}

위의 프로그램을 실행하면 다음과 같은 몇 번의 출력이 있은 다음 hang 상태에 빠집니다. (출력의 횟수는 실행할 때마다 달라질 수 있습니다.)

Ended - 2020-07-02 오후 10:44:50 7408 4
Ended - 2020-07-02 오후 10:44:51 9424 6
Ended - 2020-07-02 오후 10:44:51 21152 7
Ended - 2020-07-02 오후 10:44:51 5264 5
Ended - 2020-07-02 오후 10:44:52 14436 8
Ended - 2020-07-02 오후 10:44:52 20184 9
Ended - 2020-07-02 오후 10:44:53 5264 5
Ended - 2020-07-02 오후 10:44:53 7408 4

재미있는 것은, hang 상태를 겪으면서도 스레드는 계속 증가한다는 점입니다. 찬찬히 이 현상을 분석해 볼까요? ^^ 처음 Producer 메서드를,

- Main 스레드가 Producer를 GlobalQueue에 추가
- 1번 ThreadPoolThread가 Producer 꺼내서 실행

이후 200ms 마다 (이상적인 조건 하에) 다음과 같은 동작을 하다 결국 hang 상태에 빠집니다.

    0 - Process를 GlobalQueue에 추가
        2번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        3번 ThreadPoolThread가 2번의 LocalQueue에 있는 작업을 실행 (1초 소모)
  200 - Process를 GlobalQueue에 추가
        4번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        5번 ThreadPoolThread가 4번의 LocalQueue에 있는 작업을 실행 (1초 소모)
  400 - Process를 GlobalQueue에 추가
        6번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        7번 ThreadPoolThread가 6번의 LocalQueue에 있는 작업을 실행 (1초 소모)
  600 - Process를 GlobalQueue에 추가
        8번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
  800 - Process를 GlobalQueue에 추가
 1000 - Process를 GlobalQueue에 추가
        3번 ThreadPoolThread가 2번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        2번 ThreadPoolThread가 깨어나고,
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        9번 ThreadPoolThread 추가
            Local/Global 모두 비어 있으므로 다른 스레드(예: 8번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 1200 - Process를 GlobalQueue에 추가
        5번 ThreadPoolThread가 4번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        4번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 3번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 1400 - Process를 GlobalQueue에 추가
        7번 ThreadPoolThread가 6번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        6번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 5번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 1600 - Process를 GlobalQueue에 추가
 1800 - Process를 GlobalQueue에 추가
 2000 - Process를 GlobalQueue에 추가
        9번 ThreadPoolThread가 8번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        8번 ThreadPoolThread가 깨어나고,
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
       10번 ThreadPoolThread 추가
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 2200 - Process를 GlobalQueue에 추가
        4번 ThreadPoolThread가 3번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        3번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 7번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 2400 - Process를 GlobalQueue에 추가
        6번 ThreadPoolThread가 5번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        5번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 9번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 2600 - Process를 GlobalQueue에 추가
 2800 - Process를 GlobalQueue에 추가
 3000 - Process를 GlobalQueue에 추가
       11번 ThreadPoolThread 추가
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 3200 - Process를 GlobalQueue에 추가
        3번 ThreadPoolThread가 7번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 3400 - Process를 GlobalQueue에 추가
        5번 ThreadPoolThread가 9번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 3600 - Process를 GlobalQueue에 추가
 3800 - Process를 GlobalQueue에 추가
 4000 - Process를 GlobalQueue에 추가
       12번 ThreadPoolThread 추가
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 4200 - Process를 GlobalQueue에 추가
 4400 - Process를 GlobalQueue에 추가
 4600 - Process를 GlobalQueue에 추가
 4800 - Process를 GlobalQueue에 추가
    .... 이후 반복 (LocalQueue에 있는 Thread.Sleep(1000)을 포함하는 작업을 꺼내올 스레드가 없어 모든 스레드 풀의 스레드가 작업이 완료되지 않은 체로 hang)

좀 지겹게 긴데 ^^ 간단하게 요약해 보면, SetMinThreads를 8로 지정했기 때문에 처음 8개의 스레드는 스레드 풀 내에서 요청이 있으면 곧바로 생성되지만, 그 이후의 스레드는 필요하면 1초 정도의 지연 후에 스레드 풀에 추가되므로 1초에 5개의 작업이 생성되는 것을 못 따라갑니다. 문제는, 못 따라가는 것뿐만 아니라 해당 Task가 종료되기 위해 내부에서 다시 생성한 Task의 작업을 담당할 스레드가 없게 되어 결국 hang이 걸릴 수밖에 없는 것입니다.

이 현상을 없애려면, Process 메서드 작업을 Global Queue가 아닌 Local Queue에 등록하도록 하면 됩니다. 따라서 소스 코드 중 (Global Queue에 등록하는)Task.Yield를 (Local Queue로 등록하는)Task.Factory.StartNew로 대체하면 hang 현상이 해결됩니다.

static void Producer()
{
    while (true)
    {
        // Process 작업을 Local Queue에 추가
        Task.Factory.StartNew(Process);
        Thread.Sleep(200);
    }
}

static async Task Process()
{
    // Removed the Task.Yield

    var tcs = new TaskCompletionSource();
    Guid guid = Guid.NewGuid();

    Task.Run(() =>
    {
        Thread.Sleep(1000);
        tcs.SetResult(true);
    });

    tcs.Task.Wait();

    Console.WriteLine($"Ended - {guid} {DateTime.Now} {tid} {mid}");
}

물론 위의 소스 코드에서도 Task.Factory.StartNew에 TaskCreationOptions.PreferFairness 옵션을 주면 Global Queue에 추가를 하므로 다시 hang 현상이 발생합니다.

static void Producer()
{
    while (true)
    {
        Task.Factory.StartNew(Process, TaskCreationOptions.PreferFairness); // Global Queue에 추가하므로 hang 현상 발생
        Thread.Sleep(200);
    }
}




위의 문제를 얼핏 보면, 개발자가 그럼 Global Queue와 Local Queue에 대한 것도 감안해서 코딩을 해야 하느냐...라는 질문을 할 수 있습니다. 물론 그렇긴 한데, 보다 더 간단하게 "스레드 풀 내의 스레드에서 다른 작업의 완료를 기다리는 처리는 주의해야 한다"라는 것으로 원칙을 삼으면 됩니다.

그러고 보니, 이와 유사한 문제를 전에도 async/await을 다루면서 설명한 적이 있습니다. ^^

async/await 사용 시 hang 문제가 발생하는 경우
; https://www.sysnet.pe.kr/2/0/1541

참고로, 이 문제는 Global/Local 큐에 대한 규칙과 함께 ThreadPool에 신규 스레드를 추가하는데 1초 정도의 지연이 발생하는 문제가 함께 겹쳐서 발생하는 것이기도 합니다.

ThreadPool.QueueUserWorkItem의 실행 지연
; https://www.sysnet.pe.kr/2/0/1455

따라서, "원 글"에서 제시한 방법인 Global Queue를 사용하지 않도록 하는 것 외에도, 초기 스레드 풀의 스레드 수를 넉넉하게 지정하는 해결책도 있습니다. 즉, 문제가 되었던 코드에서 SetMinThreads를 다음과 같이 바꿔도 hang 현상 없이 정상적으로 잘 서비스가 됩니다.

ThreadPool.SetMinThreads(30, 30);

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 7/3/2020 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12308정성태9/2/2020400개발 환경 구성: 506. Windows - 단일 머신에서 단일 바이너리로 여러 개의 ElasticSearch 노드를 실행하는 방법
12307정성태9/2/2020261오류 유형: 643. curl - json_parse_exception / Invalid UTF-8 start byte
12306정성태9/1/2020293오류 유형: 642. SQL Server 시작 오류 - error code 10013
12305정성태9/24/2020348Windows: 172. "Administered port exclusions"이 아닌 포트 범위 항목을 삭제하는 방법
12304정성태9/1/2020352개발 환경 구성: 505. 윈도우 - (네트워크 어댑터의 우선 순위로 인한) 열거되는 IP 주소 순서를 조정하는 방법
12303정성태8/30/2020400개발 환경 구성: 504. ETW - 닷넷 프레임워크 기반의 응용 프로그램을 위한 명령행 도구 etrace 소개
12302정성태8/30/2020314.NET Framework: 936. C# - ETW 관련 Win32 API 사용 예제 코드 (5) - Private Logger파일 다운로드1
12301정성태8/30/2020303오류 유형: 641. error MSB4044: The "Fody.WeavingTask" task was not given a value for the required parameter "IntermediateDir".
12300정성태8/29/2020244.NET Framework: 935. C# - ETW 관련 Win32 API 사용 예제 코드 (4) CLR ETW Consumer파일 다운로드1
12299정성태10/9/2020273.NET Framework: 934. C# - ETW 관련 Win32 API 사용 예제 코드 (3) ETW Consumer 구현파일 다운로드1
12298정성태8/27/2020268오류 유형: 640. livekd - Could not resolve symbols for ntoskrnl.exe: MmPfnDatabase
12297정성태8/25/2020232개발 환경 구성: 503. SHA256 테스트 인증서 생성 방법
12296정성태8/29/2020297.NET Framework: 933. C# - ETW 관련 Win32 API 사용 예제 코드 (2) NT Kernel Logger파일 다운로드1
12295정성태8/24/2020243오류 유형: 639. Bitvise - Address is already in use; bind() in ListeningSocket::StartListening() failed: Windows error 10013: An attempt was made to access a socket ,,,
12293정성태9/24/2020321Windows: 171. "Administered port exclusions" 설명
12292정성태8/29/2020416.NET Framework: 932. C# - ETW 관련 Win32 API 사용 예제 코드 (1)파일 다운로드2
12291정성태8/15/2020356오류 유형: 638. error 1297: Device driver does not install on any devices, use primitive driver if this is intended.
12290정성태10/26/2020697.NET Framework: 931. C# - IP 주소에 따른 국가별 위치 확인 [1]파일 다운로드1
12289정성태8/6/2020367개발 환경 구성: 502. Portainer에 윈도우 컨테이너를 등록하는 방법
12288정성태8/5/2020339오류 유형: 637. WCF - The protocol 'net.tcp' does not have an implementation of HostedTransportConfiguration type registered.
12287정성태8/5/2020274오류 유형: 636. C# - libdl.so를 DllImport로 연결 시 docker container 내에서 System.DllNotFoundException 예외 발생
12286정성태8/5/2020320개발 환경 구성: 501. .NET Core 용 container 이미지 만들 때 unzip이 필요한 경우
12285정성태8/4/2020532오류 유형: 635. 윈도우 10 업데이트 - 0xc1900209 [2]
12284정성태8/26/2020522디버깅 기술: 169. Hyper-V의 VM에 대한 메모리 덤프를 뜨는 방법
12283정성태8/3/2020320디버깅 기술: 168. windbg - 필터 드라이버 확인하는 확장 명령어(!fltkd)
12282정성태8/2/2020272디버깅 기술: 167. windbg 디버깅 사례: AppDomain 간의 static 변수 사용으로 인한 crash (2)
1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...