Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)

C# - ParallelEnumerable을 이용한 IEnumerable에 대한 병렬 처리

그러고 보니, 한 번도 이에 대해 정리한 적이 없군요. 마침 관련 질문도 있었으니 소개를 해보겠습니다. ^^

간단하게 말해서 ParallelEnumerable은, 기존 Enumerable의 병렬 버전이라고 보시면 됩니다. 2개 모두 네임스페이스가 System.Linq로 동일한데요, 예를 들어, Enumerable.Range의 간단한 사용 예를 (억지로 만들어) 보면,

namespace ConsoleApp1;

internal class Program
{
    static void Main(string[] args)
    {
        Enumerable.Range(1, 10).All(Program.WriteLine);
    }

    static bool WriteLine<T>(T text)
    {
        Console.WriteLine($"[{Thread.CurrentThread.ManagedThreadId}] {text}");
        return true;
    }
}

/* 실행 결과
[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
[1] 6
[1] 7
[1] 8
[1] 9
[1] 10
*/

WriteLine의 실행이 1번 스레드에서 구동되는 반면, 이것을 ParallelEnumerable로 바꾸면,

ParallelEnumerable.Range(1, 10).All(Program.WriteLine);

/*
[10] 3
[12] 5
[15] 8
[11] 4
[13] 6
[4] 1
[17] 10
[16] 9
[7] 2
[14] 7
*/

Range로 생성된 요소들이 현재 시스템의 CPU/Core 수의 상황에 맞게 분산 처리되는 것을 확인할 수 있습니다. 간단하죠. ^^




익히 아시는 것처럼, Enumerable 정적 타입은 IEnumerable에 대해 확장 메서드를 제공합니다. 그렇다면 동일하게 IEnumerable에 대해 병렬 처리를 수행하는 확장 메서드를 제공하는 것은 어땠을까요? 그렇게 하기에는 이름이 다소 겹친다는 문제점이 있습니다. 위의 예제만 해도 동일한 Range 이름을 쓰고 있는데요, 물론 Enumerable.Range와 Enumerable.ParallelRange라는 식으로 앞에 "Parallel" 등의 접미사를 붙이는 것도 가능했겠지만 너무 잡다해지는 면이 없지 않아 있습니다.

또한, 약간의 병렬 처리에 대한 설정도 있어야 하기 때문에 ParallelEnumerable은 기존의 IEnumerable이 아닌, 별도로 정의한 ParallelQuery에 대해 확장 메서드를 제공하고 있습니다.

재미있게도, 기존의 IEnumerable 타입에 대해 병렬 처리를 자연스럽게 제공하기 위해 AsParallel 확장 메서드가 제공되는데요, 따라서 다음과 같이 간단하게 병렬 처리로의 변환이 가능합니다.

Enumerable.Range(1, 10).AsParallel().All(Program.WriteLine);

// 또는 아래와 같이 명시적으로 ParallelEnumerable을 사용
        
ParallelEnumerable.Range(1, 10).All(Program.WriteLine);

AsParallel이 하는 유일한 일은, 현재의 IEnumerable 인스턴스에 대해 ParallelEnumerable의 확장 메서드를 사용할 수 있도록 ParallelQuery 타입을 반환하는 것뿐입니다. (실제로 ParallelQuery로부터 상속한 ParallelEnumerableWrapper 인스턴스를 반환합니다.)

기타, ParallelEnumerable 확장 메서드로 제공하는 모든 메서드는 대부분 Enumerable의 확장 메서드와 이름은 같지만 내부적으로 병렬 처리를 대행하는 코드를 호출하는 식입니다. (이러한 코드들은 System.Linq.Parallel 이하에 internal 타입으로 복잡하게 숨겨져 있습니다.)




ParallelEnumerable은 병렬 처리에 대한 일부 제어 옵션을 설정할 수 있는 확장 메서드도 함께 제공합니다.


var penum = Enumerable.Range(1, 10).AsParallel()
    .WithDegreeOfParallelism(2)
    .WithExecutionMode(ParallelExecutionMode.Default)
    .WithMergeOptions(ParallelMergeOptions.Default)
    .All(Program.WriteLine);

이 정도면 대충 감이 오시죠? ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 9/4/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  9  10  11  12  [13]  14  15  ...
NoWriterDateCnt.TitleFile(s)
13462정성태11/27/20235999오류 유형: 880. Visual Studio - error CS0246: The type or namespace name '...' could not be found
13461정성태11/26/20235388닷넷: 2173. .NET Core 3/5+ 기반의 COM Server를 registry 등록 없이 사용하는 방법파일 다운로드1
13460정성태11/26/20235619닷넷: 2172. .NET 6+ 기반의 COM Server 내에 Type Library를 내장하는 방법파일 다운로드1
13459정성태11/26/20235470닷넷: 2171. .NET Core 3/5+ 기반의 COM Server를 기존의 regasm처럼 등록하는 방법파일 다운로드1
13458정성태11/26/20235600닷넷: 2170. .NET Core/5+ 기반의 COM Server를 tlb 파일을 생성하는 방법(tlbexp)
13457정성태11/25/20235383VS.NET IDE: 187. Visual Studio - 16.9 버전부터 추가된 "Display inline type hints" 옵션
13456정성태11/25/20235688닷넷: 2169. C# - OpenAI를 사용해 PDF 데이터를 대상으로 OpenAI 챗봇 작성 [1]파일 다운로드1
13455정성태11/25/20235623닷넷: 2168. C# - Azure.AI.OpenAI 패키지로 OpenAI 사용파일 다운로드1
13454정성태11/23/20235980닷넷: 2167. C# - Qdrant Vector DB를 이용한 Embedding 벡터 값 보관/조회 (Azure OpenAI) [1]파일 다운로드1
13453정성태11/23/20235226오류 유형: 879. docker desktop 설치 시 "Invalid JSON string. (Exception from HRESULT: 0x83750007)"
13452정성태11/22/20235466닷넷: 2166. C# - Azure OpenAI API를 이용해 사용자가 제공하는 정보를 대상으로 검색하는 방법파일 다운로드1
13451정성태11/21/20235688닷넷: 2165. C# - Azure OpenAI API를 이용해 ChatGPT처럼 동작하는 콘솔 응용 프로그램 제작파일 다운로드1
13450정성태11/21/20235397닷넷: 2164. C# - Octokit을 이용한 GitHub Issue 검색파일 다운로드1
13449정성태11/21/20235527개발 환경 구성: 688. Azure OpenAI 서비스 신청 방법
13448정성태11/20/20235918닷넷: 2163. .NET 8 - Dynamic PGO를 결합한 성능 향상파일 다운로드1
13447정성태11/16/20235833닷넷: 2162. ASP.NET Core 웹 사이트의 SSL 설정을 코드로 하는 방법
13446정성태11/16/20235581닷넷: 2161. .NET Conf 2023 - Day 1 Blazor 개요 정리
13445정성태11/15/20236255Linux: 62. 리눅스/WSL에서 CA 인증서를 저장하는 방법
13444정성태11/15/20235970닷넷: 2160. C# 12 - Experimental 특성 지원
13443정성태11/14/20235879개발 환경 구성: 687. OpenSSL로 생성한 사용자 인증서를 ASP.NET Core 웹 사이트에 적용하는 방법
13442정성태11/13/20235563개발 환경 구성: 686. 비주얼 스튜디오로 실행한 ASP.NET Core 사이트를 WSL 2 인스턴스에서 https로 접속하는 방법
13441정성태11/12/20236157닷넷: 2159. C# - ASP.NET Core 프로젝트에서 서버 Socket을 직접 생성하는 방법파일 다운로드1
13440정성태11/11/20235313Windows: 253. 소켓 Listen 시 방화벽의 Public/Private 제어 기능이 비활성화된 경우
13439정성태11/10/20236912닷넷: 2158. C# - 소켓 포트를 미리 시스템에 등록/예약해 사용하는 방법(Port Exclusion Ranges)파일 다운로드1
13438정성태11/9/20235856닷넷: 2157. C# - WinRT 기능을 이용해 윈도우에서 실행 중인 Media App 제어
13437정성태11/8/20235955닷넷: 2156. .NET 7 이상의 콘솔 프로그램을 (dockerfile 없이) 로컬 docker에 배포하는 방법
1  2  3  4  5  6  7  8  9  10  11  12  [13]  14  15  ...