Microsoft MVP성태의 닷넷 이야기
.NET Framework: 922. C# - .NET ThreadPool의 Local/Global Queue [링크 복사], [링크+제목 복사]
조회: 207
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - .NET ThreadPool의 Local/Global Queue

오~~~ 멋진 글을 하나 읽어서 공유합니다. ^^

.NET ThreadPool starvation, and how queuing makes it worse
; https://medium.com/criteo-labs/net-threadpool-starvation-and-how-queuing-makes-it-worse-512c8d570527

위의 글에 포함된 링크를 보면 .NET ThreadPool의 Local/Global 큐에 대한 동작 방식을 확실히 알 수 있습니다. ^^

New and Improved CLR 4 Thread Pool Engine
; http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx

Work-Stealing in .NET 4.0
; https://docs.microsoft.com/en-us/archive/blogs/jennifer/work-stealing-in-net-4-0

정리해 보면, 스레드 풀은 1개의 Global Queue와 스레드 풀 내의 스레드 별로 1개씩의 Local Queue를 가집니다.

ThreadPool - Global Queue
    Thread #1 - LocalQueue
    Thread #2 - LocalQueue
    ...

그리고, 작업을 할당(Enqueue)할 때의 규칙은 이렇게 정리됩니다.

Global Queue에 추가하는 규칙
    - ThreadPool 외부의 스레드가 작업을 할당하는 경우
    -            내부의 스레드가 작업을 할당하는 경우
                    * ThreadPool.QueueUserWorkItem or ThreadPool.UnsafeQueueUserWorkItem
                    * Task.Factory.StartNew with the TaskCreationOptions.PreferFairness
                    * Task.Yield on the default task scheduler

Local Queue에 추가하는 규칙
    - 그 외의 모든 경우

가만 보면, 어차피 ThreadPool에 속하지 않은 외부의 스레드는 LocalQueue를 소유하고 있지 않기 때문에 GlobalQueue에 넣을 수 밖에 없습니다. 그리고, 특별히 LocalQueue를 가지고 있는 ThreadPool 내의 스레드일지라도 3가지 규칙을 제외하고는 모두 LocalQueue에 넣는 정도로 이해하면 됩니다.

그리고, 이렇게 큐에 할당된 작업을 스레드 풀의 여유 스레드가 가져가는(Dequeue) 규칙은 이렇습니다.

ThreadPool 내의 스레드가 자유롭게 되면,
    - 해당 스레드의 LocalQueue에서 마지막 추가된(LIFO) 항목, 즉 큐의 tail에 있는 작업을 꺼내서 실행
        ; 마지막에 추가된 항목, 즉 최근 추가된 항목을 처리하는 이유는 cache의 locality에 따른 적중률을 높이기 위함
    - LocalQueue가 비었으면 GlobalQueue에서 오래된 항목(FIFO), 즉 큐의 head에 있는 작업을 꺼내서 실행
        ; 어차피 GlobalQueue라면 현재 스레드가 실행 중인 CPU의 cache 적중률이 높지 않을 것이므로 FIFO로 처리
    - GlobalQueue도 비었으면, 다른 스레드의 LocalQueue에서 오래된 항목(FIFO)을 꺼내서 실행
        ; 어차피 다른 스레드의 작업 항목이라면 마찬가지로 cache 적중률이 높지 않을 것이므로 FIFO 처리

보는 바와 같이 꽤나 상식적인 수준입니다. 우선 자신의 LocalQueue를 보고, 없으면 GlobalQueue를 보고, 그래도 없으면 ThreadPool 내의 다른 스레드가 소유한 LocalQueue를 보는 것입니다.




그런데, ".NET ThreadPool starvation, and how queuing makes it worse" 글에서 hang 현상에 빠지면서도 스레드는 계속 증가하는 재미있는 예제를 제시합니다.

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            ThreadPool.SetMinThreads(8, 8);

            Task.Factory.StartNew(
                Producer,
                TaskCreationOptions.None);

            Console.ReadLine();
        }

        static void Producer()
        {
            while (true)
            {
                Process();

                Thread.Sleep(200);
            }
        }

        static async Task Process()
        {
            await Task.Yield();

            var tcs = new TaskCompletionSource<bool>();

            Task.Run(() =>
            {
                Thread.Sleep(1000);
                tcs.SetResult(true);
            });

            tcs.Task.Wait();

            Console.WriteLine($"Ended - {DateTime.Now} {tid} {mid}");
        }

        static int tid => AppDomain.GetCurrentThreadId();
        static int mid => Thread.CurrentThread.ManagedThreadId;
    }
}

위의 프로그램을 실행하면 다음과 같은 몇 번의 출력이 있은 다음 hang 상태에 빠집니다. (출력의 횟수는 실행할 때마다 달라질 수 있습니다.)

Ended - 2020-07-02 오후 10:44:50 7408 4
Ended - 2020-07-02 오후 10:44:51 9424 6
Ended - 2020-07-02 오후 10:44:51 21152 7
Ended - 2020-07-02 오후 10:44:51 5264 5
Ended - 2020-07-02 오후 10:44:52 14436 8
Ended - 2020-07-02 오후 10:44:52 20184 9
Ended - 2020-07-02 오후 10:44:53 5264 5
Ended - 2020-07-02 오후 10:44:53 7408 4

재미있는 것은, hang 상태를 겪으면서도 스레드는 계속 증가한다는 점입니다. 찬찬히 이 현상을 분석해 볼까요? ^^ 처음 Producer 메서드를,

- Main 스레드가 Producer를 GlobalQueue에 추가
- 1번 ThreadPoolThread가 Producer 꺼내서 실행

이후 200ms 마다 (이상적인 조건 하에) 다음과 같은 동작을 하다 결국 hang 상태에 빠집니다.

    0 - Process를 GlobalQueue에 추가
        2번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        3번 ThreadPoolThread가 2번의 LocalQueue에 있는 작업을 실행 (1초 소모)
  200 - Process를 GlobalQueue에 추가
        4번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        5번 ThreadPoolThread가 4번의 LocalQueue에 있는 작업을 실행 (1초 소모)
  400 - Process를 GlobalQueue에 추가
        6번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        7번 ThreadPoolThread가 6번의 LocalQueue에 있는 작업을 실행 (1초 소모)
  600 - Process를 GlobalQueue에 추가
        8번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
  800 - Process를 GlobalQueue에 추가
 1000 - Process를 GlobalQueue에 추가
        3번 ThreadPoolThread가 2번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        2번 ThreadPoolThread가 깨어나고,
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        9번 ThreadPoolThread 추가
            Local/Global 모두 비어 있으므로 다른 스레드(예: 8번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 1200 - Process를 GlobalQueue에 추가
        5번 ThreadPoolThread가 4번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        4번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 3번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 1400 - Process를 GlobalQueue에 추가
        7번 ThreadPoolThread가 6번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        6번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 5번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 1600 - Process를 GlobalQueue에 추가
 1800 - Process를 GlobalQueue에 추가
 2000 - Process를 GlobalQueue에 추가
        9번 ThreadPoolThread가 8번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        8번 ThreadPoolThread가 깨어나고,
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
       10번 ThreadPoolThread 추가
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 2200 - Process를 GlobalQueue에 추가
        4번 ThreadPoolThread가 3번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        3번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 7번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 2400 - Process를 GlobalQueue에 추가
        6번 ThreadPoolThread가 5번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
        5번 ThreadPoolThread가 깨어나고,
            Local/Global 모두 비어 있으므로 다른 스레드(예: 9번)의 LocalQueue에 있는 작업을 실행 (1초 소모)
 2600 - Process를 GlobalQueue에 추가
 2800 - Process를 GlobalQueue에 추가
 3000 - Process를 GlobalQueue에 추가
       11번 ThreadPoolThread 추가
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 3200 - Process를 GlobalQueue에 추가
        3번 ThreadPoolThread가 7번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 3400 - Process를 GlobalQueue에 추가
        5번 ThreadPoolThread가 9번의 LocalQueue에 있는 작업 실행 완료 후, 
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 3600 - Process를 GlobalQueue에 추가
 3800 - Process를 GlobalQueue에 추가
 4000 - Process를 GlobalQueue에 추가
       12번 ThreadPoolThread 추가
            GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가
 4200 - Process를 GlobalQueue에 추가
 4400 - Process를 GlobalQueue에 추가
 4600 - Process를 GlobalQueue에 추가
 4800 - Process를 GlobalQueue에 추가
    .... 이후 반복 (LocalQueue에 있는 Thread.Sleep(1000)을 포함하는 작업을 꺼내올 스레드가 없어 모든 스레드 풀의 스레드가 작업이 완료되지 않은 체로 hang)

좀 지겹게 긴데 ^^ 간단하게 요약해 보면, SetMinThreads를 8로 지정했기 때문에 처음 8개의 스레드는 스레드 풀 내에서 요청이 있으면 곧바로 생성되지만, 그 이후의 스레드는 필요하면 1초 정도의 지연 후에 스레드 풀에 추가되므로 1초에 5개의 작업이 생성되는 것을 못 따라갑니다. 문제는, 못 따라가는 것뿐만 아니라 해당 Task가 종료되기 위해 내부에서 다시 생성한 Task의 작업을 담당할 스레드가 없게 되어 결국 hang이 걸릴 수밖에 없는 것입니다.

이 현상을 없애려면, Process 메서드 작업을 Global Queue가 아닌 Local Queue에 등록하도록 하면 됩니다. 따라서 소스 코드 중 (Global Queue에 등록하는)Task.Yield를 (Local Queue로 등록하는)Task.Factory.StartNew로 대체하면 hang 현상이 해결됩니다.

static void Producer()
{
    while (true)
    {
        // Process 작업을 Local Queue에 추가
        Task.Factory.StartNew(Process);
        Thread.Sleep(200);
    }
}

static async Task Process()
{
    // Removed the Task.Yield

    var tcs = new TaskCompletionSource();
    Guid guid = Guid.NewGuid();

    Task.Run(() =>
    {
        Thread.Sleep(1000);
        tcs.SetResult(true);
    });

    tcs.Task.Wait();

    Console.WriteLine($"Ended - {guid} {DateTime.Now} {tid} {mid}");
}

물론 위의 소스 코드에서도 Task.Factory.StartNew에 TaskCreationOptions.PreferFairness 옵션을 주면 Global Queue에 추가를 하므로 다시 hang 현상이 발생합니다.

static void Producer()
{
    while (true)
    {
        Task.Factory.StartNew(Process, TaskCreationOptions.PreferFairness); // Global Queue에 추가하므로 hang 현상 발생
        Thread.Sleep(200);
    }
}




위의 문제를 얼핏 보면, 개발자가 그럼 Global Queue와 Local Queue에 대한 것도 감안해서 코딩을 해야 하느냐...라는 질문을 할 수 있습니다. 물론 그렇긴 한데, 보다 더 간단하게 "스레드 풀 내의 스레드에서 다른 작업의 완료를 기다리는 처리는 주의해야 한다"라는 것으로 원칙을 삼으면 됩니다.

그러고 보니, 이와 유사한 문제를 전에도 async/await을 다루면서 설명한 적이 있습니다. ^^

async/await 사용 시 hang 문제가 발생하는 경우
; https://www.sysnet.pe.kr/2/0/1541

참고로, 이 문제는 Global/Local 큐에 대한 규칙과 함께 ThreadPool에 신규 스레드를 추가하는데 1초 정도의 지연이 발생하는 문제가 함께 겹쳐서 발생하는 것이기도 합니다.

ThreadPool.QueueUserWorkItem의 실행 지연
; https://www.sysnet.pe.kr/2/0/1455

따라서, "원 글"에서 제시한 방법인 Global Queue를 사용하지 않도록 하는 것 외에도, 초기 스레드 풀의 스레드 수를 넉넉하게 지정하는 해결책도 있습니다. 즉, 문제가 되었던 코드에서 SetMinThreads를 다음과 같이 바꿔도 hang 현상 없이 정상적으로 잘 서비스가 됩니다.

ThreadPool.SetMinThreads(30, 30);

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 7/3/2020 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12290정성태8/11/2020121.NET Framework: 931. C# - IP 주소에 따른 국가별 위치 확인파일 다운로드1
12289정성태8/6/2020107개발 환경 구성: 502. Portainer에 윈도우 컨테이너를 등록하는 방법
12288정성태8/5/202043오류 유형: 637. WCF - The protocol 'net.tcp' does not have an implementation of HostedTransportConfiguration type registered.
12287정성태8/5/202034오류 유형: 636. C# - libdl.so를 DllImport로 연결 시 docker container 내에서 System.DllNotFoundException 예외 발생
12286정성태8/5/202033개발 환경 구성: 501. .NET Core 용 container 이미지 만들 때 unzip이 필요한 경우
12285정성태8/4/202065오류 유형: 635. 윈도우 10 업데이트 - 0xc1900209 [2]
12284정성태8/4/202094디버깅 기술: 169. Hyper-V의 VM에 대한 메모리 덤프를 뜨는 방법
12283정성태8/3/202039디버깅 기술: 168. windbg - 필터 드라이버 확인하는 확장 명령어(!fltkd)
12282정성태8/2/202048디버깅 기술: 167. windbg 디버깅 사례: AppDomain 간의 static 변수 사용으로 인한 crash (2)
12281정성태8/2/2020159개발 환경 구성: 500. (PDB 연결이 없는) DLL의 소스 코드 디버깅을 dotPeek 도구로 해결하는 방법
12280정성태8/2/202054오류 유형: 634. 오라클 (평생) 무료 클라우드 VM 생성 후 SSH 접속 시 키 오류 발생
12279정성태7/29/202063개발 환경 구성: 499. 닷넷에서 접근해보는 InterSystems의 Cache 데이터베이스파일 다운로드1
12278정성태8/2/202065VS.NET IDE: 149. ("Binary was not built with debug information" 상태로) 소스 코드 디버깅이 안되는 경우
12277정성태8/2/2020101개발 환경 구성: 498. DEVPATH 환경 변수의 사용 예 - .NET Reflector의 (PDB 연결이 없는) DLL의 소스 코드 디버깅
12276정성태7/23/2020119.NET Framework: 930. 개발자를 위한 닷넷 어셈블리 바인딩 - DEVPATH 환경 변수
12275정성태7/28/2020101개발 환경 구성: 497. 닷넷에서 접근해보는 InterSystems의 IRIS Data Platform 데이터베이스파일 다운로드1
12274정성태7/21/202079개발 환경 구성: 496. Azure - Blob Storage Account의 Location 이전 방법파일 다운로드1
12273정성태7/20/2020208개발 환경 구성: 495. Azure - Location이 다른 웹/DB 서버의 경우 발생하는 성능 하락
12272정성태7/16/2020100.NET Framework: 929. (StrongName의 버전 구분이 필요 없는) .NET Core 어셈블리 바인딩 규칙파일 다운로드1
12271정성태7/16/202081.NET Framework: 928. .NET Framework의 Strong-named 어셈블리 바인딩 (2) - 런타임에 바인딩 리디렉션파일 다운로드1
12270정성태7/16/202075오류 유형: 633. SSL_CTX_use_certificate_file - error:140AB18F:SSL routines:SSL_CTX_use_certificate:ee key too small
12269정성태7/16/202070오류 유형: 632. .NET Core 웹 응용 프로그램 - The process was terminated due to an unhandled exception.
12268정성태7/15/202074오류 유형: 631. .NET Core 웹 응용 프로그램 오류 - HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process
12267정성태7/15/2020141.NET Framework: 927. C# - 윈도우 프로그램에서 Credential Manager를 이용한 보안 정보 저장파일 다운로드1
12266정성태7/14/2020159오류 유형: 630. 사용자 계정을 지정해 CreateService API로 서비스를 등록한 경우 "Error 1069: The service did not start due to a logon failure." 오류발생
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...