Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)

C# - ParallelEnumerable을 이용한 IEnumerable에 대한 병렬 처리

그러고 보니, 한 번도 이에 대해 정리한 적이 없군요. 마침 관련 질문도 있었으니 소개를 해보겠습니다. ^^

간단하게 말해서 ParallelEnumerable은, 기존 Enumerable의 병렬 버전이라고 보시면 됩니다. 2개 모두 네임스페이스가 System.Linq로 동일한데요, 예를 들어, Enumerable.Range의 간단한 사용 예를 (억지로 만들어) 보면,

namespace ConsoleApp1;

internal class Program
{
    static void Main(string[] args)
    {
        Enumerable.Range(1, 10).All(Program.WriteLine);
    }

    static bool WriteLine<T>(T text)
    {
        Console.WriteLine($"[{Thread.CurrentThread.ManagedThreadId}] {text}");
        return true;
    }
}

/* 실행 결과
[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
[1] 6
[1] 7
[1] 8
[1] 9
[1] 10
*/

WriteLine의 실행이 1번 스레드에서 구동되는 반면, 이것을 ParallelEnumerable로 바꾸면,

ParallelEnumerable.Range(1, 10).All(Program.WriteLine);

/*
[10] 3
[12] 5
[15] 8
[11] 4
[13] 6
[4] 1
[17] 10
[16] 9
[7] 2
[14] 7
*/

Range로 생성된 요소들이 현재 시스템의 CPU/Core 수의 상황에 맞게 분산 처리되는 것을 확인할 수 있습니다. 간단하죠. ^^




익히 아시는 것처럼, Enumerable 정적 타입은 IEnumerable에 대해 확장 메서드를 제공합니다. 그렇다면 동일하게 IEnumerable에 대해 병렬 처리를 수행하는 확장 메서드를 제공하는 것은 어땠을까요? 그렇게 하기에는 이름이 다소 겹친다는 문제점이 있습니다. 위의 예제만 해도 동일한 Range 이름을 쓰고 있는데요, 물론 Enumerable.Range와 Enumerable.ParallelRange라는 식으로 앞에 "Parallel" 등의 접미사를 붙이는 것도 가능했겠지만 너무 잡다해지는 면이 없지 않아 있습니다.

또한, 약간의 병렬 처리에 대한 설정도 있어야 하기 때문에 ParallelEnumerable은 기존의 IEnumerable이 아닌, 별도로 정의한 ParallelQuery에 대해 확장 메서드를 제공하고 있습니다.

재미있게도, 기존의 IEnumerable 타입에 대해 병렬 처리를 자연스럽게 제공하기 위해 AsParallel 확장 메서드가 제공되는데요, 따라서 다음과 같이 간단하게 병렬 처리로의 변환이 가능합니다.

Enumerable.Range(1, 10).AsParallel().All(Program.WriteLine);

// 또는 아래와 같이 명시적으로 ParallelEnumerable을 사용
        
ParallelEnumerable.Range(1, 10).All(Program.WriteLine);

AsParallel이 하는 유일한 일은, 현재의 IEnumerable 인스턴스에 대해 ParallelEnumerable의 확장 메서드를 사용할 수 있도록 ParallelQuery 타입을 반환하는 것뿐입니다. (실제로 ParallelQuery로부터 상속한 ParallelEnumerableWrapper 인스턴스를 반환합니다.)

기타, ParallelEnumerable 확장 메서드로 제공하는 모든 메서드는 대부분 Enumerable의 확장 메서드와 이름은 같지만 내부적으로 병렬 처리를 대행하는 코드를 호출하는 식입니다. (이러한 코드들은 System.Linq.Parallel 이하에 internal 타입으로 복잡하게 숨겨져 있습니다.)




ParallelEnumerable은 병렬 처리에 대한 일부 제어 옵션을 설정할 수 있는 확장 메서드도 함께 제공합니다.


var penum = Enumerable.Range(1, 10).AsParallel()
    .WithDegreeOfParallelism(2)
    .WithExecutionMode(ParallelExecutionMode.Default)
    .WithMergeOptions(ParallelMergeOptions.Default)
    .All(Program.WriteLine);

이 정도면 대충 감이 오시죠? ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 9/4/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13959정성태6/25/2025793오류 유형: 966. Ubuntu - ping: connect: Network is unreachable
13958정성태6/21/20251366닷넷: 2339. C# - Phi-4-multimodal 모델의 GPU 가속 방법 (ORT 사용)파일 다운로드1
13957정성태6/20/20251370닷넷: 2338. C# / Foundry Local - Phi-4-multimodal 모델을 사용하는 방법
13956정성태6/19/20251590개발 환경 구성: 751. Triton Inference Server의 Python Backend 프로세스
13955정성태6/18/20251733오류 유형: 965. Hugging Face 모델 다운로드 시 "requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: ..." 오류
13954정성태6/18/20251538닷넷: 2337. C# - Hugging Face에 공개된 LLM 모델을 Foundry Local에서 사용하는 방법파일 다운로드1
13953정성태6/16/20251377스크립트: 78. 파이썬 - 소스 코드의 파일 경로를 지정한 모듈 로드
13952정성태6/15/20251718닷넷: 2336. C# - IValueTaskSource로 인해 주의가 필요한 ValueTask 호출파일 다운로드1
13951정성태6/15/20251604오류 유형: 964. Outlook - 일정이 "You cannot make changes to contents of this read-only folder." 오류 메시지로 삭제가 안 되는 경우
13950정성태6/12/20252043닷넷: 2335. C# - 간단하게 구현해 보는 IValueTaskSource 예제파일 다운로드1
13949정성태6/11/20251780오류 유형: 963. SignTool - "Error: SignerSign() failed." (-2146869243/0x80096005)
13948정성태6/10/20251390오류 유형: 962. 파이썬 - Linux 환경 + TCP 서버 소켓을 사용하는 프로세스 종료 후 재실행하는 경우 "OSError: [Errno 98] Address already in use" 오류 발생
13947정성태6/9/20251882개발 환경 구성: 750. 파이썬 - Azure App Service에 응용 프로그램 배포 후의 환경
13946정성태6/9/20251994개발 환경 구성: 749. 파이썬 - Azure App Service에 응용 프로그램 배포하기 전의 환경
13945정성태6/7/20251704오류 유형: 961. 파이썬 + conda - mysqlclient 사용 시 "NameError: name '_mysql' is not defined" 에러
13944정성태6/7/20255445오류 유형: 960. The trust relationship between this workstation and the primary domain failed. - 네 번째 이야기
13943정성태6/6/20252034개발 환경 구성: 748. Windows + Foundry Local - 로컬에서 AI 모델 활용 [1]
13942정성태6/5/20251667오류 유형: 959. winget 설치 시 "0x80d02002 : unknown error"
13941정성태6/2/20251488닷넷: 2334. C# - cpuid 명령어를 이용한 CPU 제조사 문자열 가져오기파일 다운로드1
13940정성태6/1/20251925C/C++: 188. C++의 32비트 + Release 어셈블리 코드를 .NET으로 포팅할 때 주의할 점파일 다운로드1
13939정성태5/29/20252244오류 유형: 958. NVIDIA Triton Inference Server - version `GLIBCXX_3.4.32' not found (required by /opt/tritonserver/backends/python/triton_python_backend_stub)
13938정성태5/29/20251755개발 환경 구성: 747. 파이썬 - WSL/docker에 구성한 Triton 예제 개발 환경
13937정성태5/24/20251667개발 환경 구성: 746. Windows + WSL2 환경에서 (tensorflow 등의) NVIDIA GPU 인식
13936정성태5/23/20251542개발 환경 구성: 745. Linux / WSL 환경에 Miniconda 설치하기
13935정성태5/20/20251716오류 유형: 957. 파이썬 - pip 사용 시 "ImportError: cannot import name 'html5lib' from 'pip._vendor'" 오류
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...