성태의 닷넷 이야기
홈 주인
모아 놓은 자료
프로그래밍
질문/답변
사용자 관리
사용자
메뉴
아티클
외부 아티클
유용한 코드
온라인 기능
MathJax 입력기
최근 덧글
[정성태] Working with Rust Libraries from C#...
[정성태] Detecting blocking calls using asyn...
[정성태] 아쉽게도, 커뮤니티는 아니고 개인 블로그입니다. ^^
[정성태] 질문이 잘 이해가 안 됩니다. 우선, 해당 소스코드에서 ILis...
[양승조
] var대신 dinamic으로 선언해서 해결은 했습니다. 맞는 해...
[양승조
] 또 막혔습니다. ㅠㅠ var list = props[i].Ge...
[양승조
] 아. 감사합니다. 어제는 안됐던것 같은데....정신을 차려야겠네...
[정성태] "props[i].GetValue(props[i])" 코드에서 ...
[정성태] 저렇게 조각 코드 말고, 실제로 재현이 되는 예제 프로젝트를 압...
[정성태] Modules 창(Ctrl+Shift+U)을 띄워서, 해당 Op...
글쓰기
제목
이름
암호
전자우편
HTML
홈페이지
유형
제니퍼 .NET
닷넷
COM 개체 관련
스크립트
VC++
VS.NET IDE
Windows
Team Foundation Server
디버깅 기술
오류 유형
개발 환경 구성
웹
기타
Linux
Java
DDK
Math
Phone
Graphics
사물인터넷
부모글 보이기/감추기
내용
<div style='display: inline'> <h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>C# - .NET ThreadPool의 Local/Global Queue</h1> <p> 오~~~ 멋진 글을 하나 읽어서 공유합니다. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > .NET ThreadPool starvation, and how queuing makes it worse ; <a target='tab' href='https://medium.com/criteo-labs/net-threadpool-starvation-and-how-queuing-makes-it-worse-512c8d570527'>https://medium.com/criteo-labs/net-threadpool-starvation-and-how-queuing-makes-it-worse-512c8d570527</a> </pre> <br /> 위의 글에 포함된 링크를 보면 .NET ThreadPool의 Local/Global 큐에 대한 동작 방식을 확실히 알 수 있습니다. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > New and Improved CLR 4 Thread Pool Engine ; <a target='tab' href='http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx'>http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx</a> Work-Stealing in .NET 4.0 ; <a target='tab' href='https://learn.microsoft.com/en-us/archive/blogs/jennifer/work-stealing-in-net-4-0'>https://learn.microsoft.com/en-us/archive/blogs/jennifer/work-stealing-in-net-4-0</a> </pre> <br /> 정리해 보면, 스레드 풀은 1개의 Global Queue와 스레드 풀 내의 스레드 별로 1개씩의 Local Queue를 가집니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > ThreadPool - Global Queue Thread #1 - LocalQueue Thread #2 - LocalQueue ... </pre> <br /> 그리고, 작업을 할당(Enqueue)할 때의 규칙은 이렇게 정리됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > Global Queue에 추가하는 규칙 - ThreadPool 외부의 스레드가 작업을 할당하는 경우 - 내부의 스레드가 작업을 할당하는 경우 * ThreadPool.QueueUserWorkItem or ThreadPool.UnsafeQueueUserWorkItem * Task.Factory.StartNew with the TaskCreationOptions.PreferFairness * Task.Yield on the default task scheduler Local Queue에 추가하는 규칙 - 그 외의 모든 경우 </pre> <br /> 가만 보면, 어차피 ThreadPool에 속하지 않은 외부의 스레드는 LocalQueue를 소유하고 있지 않기 때문에 GlobalQueue에 넣을 수밖에 없습니다. 그리고, 특별히 LocalQueue를 가지고 있는 ThreadPool 내의 스레드일지라도 3가지 규칙을 제외하고는 모두 LocalQueue에 넣는 정도로 이해하면 됩니다.<br /> <br /> 그리고, 이렇게 큐에 할당된 작업을 스레드 풀의 여유 스레드가 가져가는(Dequeue) 규칙은 이렇습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > ThreadPool 내의 스레드가 자유롭게 되면, - 해당 스레드의 LocalQueue에서 마지막 추가된(LIFO) 항목, 즉 큐의 tail에 있는 작업을 꺼내서 실행 ; 마지막에 추가된 항목, 즉 최근 추가된 항목을 처리하는 이유는 cache의 locality에 따른 적중률을 높이기 위함 - LocalQueue가 비었으면 GlobalQueue에서 오래된 항목(FIFO), 즉 큐의 head에 있는 작업을 꺼내서 실행 ; 어차피 GlobalQueue라면 현재 스레드가 실행 중인 CPU의 cache 적중률이 높지 않을 것이므로 FIFO로 처리 - GlobalQueue도 비었으면, 다른 스레드의 LocalQueue에서 오래된 항목(FIFO)을 꺼내서 실행 ; 어차피 다른 스레드의 작업 항목이라면 마찬가지로 cache 적중률이 높지 않을 것이므로 FIFO 처리 </pre> <br /> 보는 바와 같이 꽤나 상식적인 수준입니다. 우선 자신의 LocalQueue를 보고, 없으면 GlobalQueue를 보고, 그래도 없으면 ThreadPool 내의 다른 스레드가 소유한 LocalQueue를 보는 것입니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 그런데, "<a target='tab' href='https://medium.com/criteo-labs/net-threadpool-starvation-and-how-queuing-makes-it-worse-512c8d570527'>.NET ThreadPool starvation, and how queuing makes it worse</a>" 글에서 hang 현상에 빠지면서도 스레드는 계속 증가하는 재미있는 예제를 제시합니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; namespace ConsoleApp1 { class Program { static void Main(string[] args) { ThreadPool.SetMinThreads(8, 8); Task.Factory.StartNew( Producer, TaskCreationOptions.None); Console.ReadLine(); } static void Producer() { while (true) { Process(); Thread.Sleep(200); } } static async Task Process() { await Task.Yield(); var tcs = new TaskCompletionSource<bool>(); Task.Run(() => { Thread.Sleep(1000); tcs.SetResult(true); }); tcs.Task.Wait(); Console.WriteLine($"Ended - {DateTime.Now} {tid} {mid}"); } static int tid => AppDomain.GetCurrentThreadId(); static int mid => Thread.CurrentThread.ManagedThreadId; } } </pre> <br /> 위의 프로그램을 실행하면 다음과 같은 몇 번의 출력이 있은 다음 hang 상태에 빠집니다. (출력의 횟수는 실행할 때마다 달라질 수 있습니다.)<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > Ended - 2020-07-02 오후 10:44:50 7408 4 Ended - 2020-07-02 오후 10:44:51 9424 6 Ended - 2020-07-02 오후 10:44:51 21152 7 Ended - 2020-07-02 오후 10:44:51 5264 5 Ended - 2020-07-02 오후 10:44:52 14436 8 Ended - 2020-07-02 오후 10:44:52 20184 9 Ended - 2020-07-02 오후 10:44:53 5264 5 Ended - 2020-07-02 오후 10:44:53 7408 4 </pre> <br /> 재미있는 것은, hang 상태를 겪으면서도 스레드는 계속 증가한다는 점입니다. 찬찬히 이 현상을 분석해 볼까요? ^^ 처음 Producer 메서드를,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > - Main 스레드가 Producer를 GlobalQueue에 추가 - 1번 ThreadPoolThread가 Producer 꺼내서 실행 </pre> <br /> 이후 200ms 마다 (이상적인 조건 하에) 다음과 같은 동작을 하다 결국 hang 상태에 빠집니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 0 - Process를 GlobalQueue에 추가 2번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 3번 ThreadPoolThread가 2번의 LocalQueue에 있는 작업을 실행 (1초 소모) 200 - Process를 GlobalQueue에 추가 4번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 5번 ThreadPoolThread가 4번의 LocalQueue에 있는 작업을 실행 (1초 소모) 400 - Process를 GlobalQueue에 추가 6번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 7번 ThreadPoolThread가 6번의 LocalQueue에 있는 작업을 실행 (1초 소모) 600 - Process를 GlobalQueue에 추가 8번 ThreadPoolThread가 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 800 - Process를 GlobalQueue에 추가 1000 - Process를 GlobalQueue에 추가 3번 ThreadPoolThread가 2번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 2번 ThreadPoolThread가 깨어나고, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 9번 ThreadPoolThread 추가 Local/Global 모두 비어 있으므로 다른 스레드(예: 8번)의 LocalQueue에 있는 작업을 실행 (1초 소모) 1200 - Process를 GlobalQueue에 추가 5번 ThreadPoolThread가 4번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 4번 ThreadPoolThread가 깨어나고, Local/Global 모두 비어 있으므로 다른 스레드(예: 3번)의 LocalQueue에 있는 작업을 실행 (1초 소모) 1400 - Process를 GlobalQueue에 추가 7번 ThreadPoolThread가 6번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 6번 ThreadPoolThread가 깨어나고, Local/Global 모두 비어 있으므로 다른 스레드(예: 5번)의 LocalQueue에 있는 작업을 실행 (1초 소모) 1600 - Process를 GlobalQueue에 추가 1800 - Process를 GlobalQueue에 추가 2000 - Process를 GlobalQueue에 추가 9번 ThreadPoolThread가 8번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 8번 ThreadPoolThread가 깨어나고, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 10번 ThreadPoolThread 추가 GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 2200 - Process를 GlobalQueue에 추가 4번 ThreadPoolThread가 3번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 3번 ThreadPoolThread가 깨어나고, Local/Global 모두 비어 있으므로 다른 스레드(예: 7번)의 LocalQueue에 있는 작업을 실행 (1초 소모) 2400 - Process를 GlobalQueue에 추가 6번 ThreadPoolThread가 5번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 5번 ThreadPoolThread가 깨어나고, Local/Global 모두 비어 있으므로 다른 스레드(예: 9번)의 LocalQueue에 있는 작업을 실행 (1초 소모) 2600 - Process를 GlobalQueue에 추가 2800 - Process를 GlobalQueue에 추가 3000 - Process를 GlobalQueue에 추가 11번 ThreadPoolThread 추가 GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 3200 - Process를 GlobalQueue에 추가 3번 ThreadPoolThread가 7번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 3400 - Process를 GlobalQueue에 추가 5번 ThreadPoolThread가 9번의 LocalQueue에 있는 작업 실행 완료 후, GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 3600 - Process를 GlobalQueue에 추가 3800 - Process를 GlobalQueue에 추가 4000 - Process를 GlobalQueue에 추가 12번 ThreadPoolThread 추가 GlobalQueue로부터 Process를 실행하고, LocalQueue에 Thread.Sleep(1000)을 포함하는 작업 추가 4200 - Process를 GlobalQueue에 추가 4400 - Process를 GlobalQueue에 추가 4600 - Process를 GlobalQueue에 추가 4800 - Process를 GlobalQueue에 추가 .... 이후 반복 (LocalQueue에 있는 Thread.Sleep(1000)을 포함하는 작업을 꺼내올 스레드가 없어 모든 스레드 풀의 스레드가 작업이 완료되지 않은 체로 hang) </pre> <br /> 좀 지겹게 긴데 ^^ 간단하게 요약해 보면, SetMinThreads를 8로 지정했기 때문에 처음 8개의 스레드는 스레드 풀 내에서 요청이 있으면 곧바로 생성되지만, 그 이후의 스레드는 필요하면 1초 정도의 지연 후에 스레드 풀에 추가되므로 1초에 5개의 작업이 생성되는 것을 못 따라갑니다. 문제는, 못 따라가는 것뿐만 아니라 해당 Task가 종료되기 위해 내부에서 다시 생성한 Task의 작업을 담당할 스레드가 없게 되어 결국 hang이 걸릴 수밖에 없는 것입니다.<br /> <br /> 이 현상을 없애려면, Process 메서드 작업을 Global Queue가 아닌 Local Queue에 등록하도록 하면 됩니다. 따라서 소스 코드 중 (Global Queue에 등록하는) Task.Yield를 (Local Queue로 등록하는) Task.Factory.StartNew로 대체하면 hang 현상이 해결됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > static void Producer() { while (true) { <span style='color: blue; font-weight: bold'>// Process 작업을 Local Queue에 추가 Task.Factory.StartNew(Process);</span> Thread.Sleep(200); } } static async Task Process() { <span style='color: blue; font-weight: bold'>// Removed the Task.Yield</span> var tcs = new TaskCompletionSource<bool>(); Guid guid = Guid.NewGuid(); Task.Run(() => { Thread.Sleep(1000); tcs.SetResult(true); }); tcs.Task.Wait(); Console.WriteLine($"Ended - {guid} {DateTime.Now} {tid} {mid}"); } </pre> <br /> 물론 위의 소스 코드에서도 Task.Factory.StartNew에 TaskCreationOptions.PreferFairness 옵션을 주면 Global Queue에 추가를 하므로 다시 hang 현상이 발생합니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > static void Producer() { while (true) { Task.Factory.StartNew(Process, <span style='color: blue; font-weight: bold'>TaskCreationOptions.PreferFairness</span>); // Global Queue에 추가하므로 hang 현상 발생 Thread.Sleep(200); } } </pre> <br /> <hr style='width: 50%' /><br /> <br /> 위의 문제를 얼핏 보면, 개발자가 그럼 Global Queue와 Local Queue에 대한 것도 감안해서 코딩을 해야 하느냐...라는 질문을 할 수 있습니다. 물론 그렇긴 한데, 보다 더 간단하게 "스레드 풀 내의 스레드에서 다른 작업의 완료를 기다리는 처리는 주의해야 한다"라는 것으로 원칙을 삼으면 됩니다.<br /> <br /> 그러고 보니, 이와 유사한 문제를 전에도 async/await을 다루면서 설명한 적이 있습니다. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > async/await 사용 시 hang 문제가 발생하는 경우 ; <a target='tab' href='https://www.sysnet.pe.kr/2/0/1541'>https://www.sysnet.pe.kr/2/0/1541</a> </pre> <br /> 참고로, 이 문제는 Global/Local 큐에 대한 규칙과 함께 ThreadPool에 신규 스레드를 추가하는데 1초 정도의 지연이 발생하는 문제가 함께 겹쳐서 발생하는 것이기도 합니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > ThreadPool.QueueUserWorkItem의 실행 지연 ; <a target='tab' href='https://www.sysnet.pe.kr/2/0/1455'>https://www.sysnet.pe.kr/2/0/1455</a> </pre> <br /> 따라서, "<a target='tab' href='https://medium.com/criteo-labs/net-threadpool-starvation-and-how-queuing-makes-it-worse-512c8d570527'>원 글</a>"에서 제시한 방법인 Global Queue를 사용하지 않도록 하는 것 외에도, 초기 스레드 풀의 스레드 수를 넉넉하게 지정하는 해결책도 있습니다. 즉, 문제가 되었던 코드에서 SetMinThreads를 다음과 같이 바꿔도 hang 현상 없이 정상적으로 잘 서비스가 됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > ThreadPool.SetMinThreads(<span style='color: blue; font-weight: bold'>30</span>, 30); </pre> <br /> (<a target='tab' href='https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1605&boardid=331301885'>첨부 파일은 이 글의 예제 코드를 포함</a>합니다.)<br /> </p><br /> <br /><hr /><span style='color: Maroon'>[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]</span> </div>
첨부파일
스팸 방지용 인증 번호
5255
(왼쪽의 숫자를 입력해야 합니다.)