Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산)

지난 글에서,

C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

RGB 이미지를 RGBA로 변환하기 위해 C# 코딩을 했었는데요, 이게 꽤나 성능이 안 좋았습니다. 반면, OpenCvSharp의 Mat 타입에서 제공하는 CvtColor 연산은 놀라울 정도로 높은 성능을 보였습니다. 따라서 당연히 CvtColor 메서드를 비롯해 가능하면 OpenCV가 제공하는 함수를 사용하는 것이 좋겠지만, 그래도 때로는 사용자 정의 루프를 작성해야 할 때가 있습니다.

그럴 때 성능이 안 좋은 C# 코딩보다는 그 부분만을 C/C++로 대체해 OpenCV 수준의 성능으로 끌어올리는 것이 바람직한데요, 그런 경우 어떤 식으로 해야 OpenCV 정도까지 성능이 개선되는지 테스트를 해봤습니다. ^^

연산 대상은 "C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D" 글에서도 다뤘던 RGB to RGBA 코드입니다.




우선, 기준이 되는 OpenCV 연산을 다음과 같이 할 수 있습니다.

static void Main(string[] args)
{
    using (Mat mat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC3))
    {
        Convert(mat);
    }
}

static int Convert(Mat mat)
{
    using (Mat dstMat = mat.CvtColor(ColorConversionCodes.BGR2BGRA))
    {
        return dstMat.Width;
    }
}

그다음 동일한 연산을 C#으로 직접 For loop로 구현을 했습니다.

static unsafe int Convert2(Mat srcMat)
{
    byte *srcPtr = (byte *)srcMat.Data;

    using (Mat dstMat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC4))
    {
        byte *dstPtr = (byte *)dstMat.Data;

        for (int y = 0; y < srcMat.Height; y++)
        {
            for (int x = 0; x < srcMat.Width - 1; x++)
            {
                int* src = (int*)srcPtr;
                int* dst = (int*)dstPtr;

                *dst = *src;
                *(dstPtr + 3) = 0xff;

                srcPtr = srcPtr + 3;
                dstPtr = dstPtr + 4;
            }

            Buffer.MemoryCopy(srcPtr, dstPtr, 3, 3);
            *(dstPtr + 3) = 0xff;
        }
    }

    return 0;
}

역시 동일한 코드를 C/C++ DLL을 만들어 export 함수로 C#에서 다음과 같이 호출하는 식으로 구현했습니다.

// ==== C# ====
[DllImport("MemCopyLib.dll")]
public unsafe extern static void RGB2RGBA(byte* srcPtr, byte* dstPtr, int width, int height);

static unsafe int Convert3(Mat srcMat)
{
    byte* srcPtr = (byte*)srcMat.Data;
    using (Mat dstMat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC4))
    {
        byte* dstPtr = (byte*)dstMat.Data;
        RGB2RGBA(srcPtr, dstPtr, srcMat.Width, srcMat.Height);
    }

    return 0;
}

// ==== C/C++ ====
__declspec(dllexport) void RGB2RGBA(BYTE *srcPtr, BYTE *dstPtr, int width, int height)
{
    for (int y = 0; y < height; y++)
    {
        for (int x = 0; x < width; x++)
        {
            memcpy(dstPtr, srcPtr, 3);
            *(dstPtr + 3) = 0xff;

            srcPtr = srcPtr + 3;
            dstPtr = dstPtr + 4;
        }
    }
}

이렇게 만들고 실행해 보면, 다음과 같은 성능 수치를 볼 수 있습니다.

// 각각 Release 빌드로 100회씩 실행했으며, JIT 컴파일 보정을 위해 1회를 미리 실행한 후 시간 측정

opencv(100) : 690
c# for(100) : 7120
C++ for(100) : 1284

보면 OpenCV의 Mat.CvtColor 메서드가 단연 빠르고, 약 2배 늦은 속도로 단순 C++ for 구문 속도가 나오며 C#은 그보다도 7배까지 느린 것을 볼 수 있습니다. 즉, 이미지 처리 시 무거운 for 루프를 처리하는 경우라면 C#보다는 C/C++에 작업을 맡기는 것을 충분히 고려할만합니다.




그렇다면 OpenCV의 처리가 왜 그토록 빠른 것일까요? 이에 대한 해답은 지난번에 소개했던 것처럼 다음의 글에서 찾아볼 수 있습니다.

OpenCV - 속도 분석 (1)
; https://laonple.blog.me/220861902363

즉, 병렬 처리입니다. 이를 위해 C/C++ 코드를 다음과 같이 병렬 처리로 바꾸면,

// i5-4670 코어 4개에서 테스트

#include <ppl.h>

using namespace concurrency;

__declspec(dllexport) void RGB2RGBA_Parallel(BYTE *srcPtr, BYTE *dstPtr, int width, int height)
{
    parallel_for (0, height, [&](size_t y)
    {
        BYTE *srcPtrY = srcPtr + (y * width * 3);
        BYTE *dstPtrY = dstPtr + (y * width * 4);

        for (size_t x = 0; x < width; x++)
        {
            memcpy(dstPtrY, srcPtrY, 3);
            *(dstPtrY + 3) = 0xff;

            srcPtrY = srcPtrY + 3;
            dstPtrY = dstPtrY + 4;
        }
    });
}

1284ms였던 것이 609ms까지 내려갑니다. OpenCV 속도가 690ms이니 충분히 빨라진 것입니다. (물론, OpenCV가 범용 처리를 하는 것을 고려했을 때 당연히 우리가 만든 C/C++ 코드가 저 정도는 빨라야 합니다.)

그렇다면 혹시 C# 코드도 병렬 처리를 하면 많이 빨라질까요?

// i5-4670 코어 4개에서 테스트
static unsafe int Convert3(Mat srcMat)
{
    byte* srcPtr = (byte*)srcMat.Data;

    using (Mat dstMat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC4))
    {
        byte* dstPtr = (byte*)dstMat.Data;

        Parallel.For(0, srcMat.Height, (y) =>
        {
            byte* srcPtrY = srcPtr + (y * srcMat.Width * 3);
            byte* dstPtrY = dstPtr + (y * srcMat.Width * 4);

            for (int x = 0; x < srcMat.Width - 1; x++)
            {
                int* src = (int*)srcPtrY;
                int* dst = (int*)dstPtrY;

                *dst = *src;
                *(dstPtrY + 3) = 0xff;

                srcPtrY = srcPtrY + 3;
                dstPtrY = dstPtrY + 4;
            }

            Buffer.MemoryCopy(srcPtrY, dstPtrY, 3, 3);
            *(dstPtrY + 3) = 0xff;
        });
    }

    return 0;
}

테스트해보면, 단독 스레드일 때 7355ms인 것에 비하면 2036ms를 기록하며 확실히 빨라졌지만 이는 C/C++ 단독 스레드 처리일 때보다도 느린 수치입니다.

(첨부 파일은 이 글의 소스 코드를 포함합니다.)

참고로 다음은 성능 수치를 엑셀 그래프로 그린 것입니다. 훨씬 직관적이군요. ^^

for_loop_perf.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 1/3/2018 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2018-05-11 02시04분
내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유
; http://www.sysnet.pe.kr/2/0/11423

정성태
2018-05-11 02시05분
CUDA로 작성한 RGB2RGBA 성능
; http://www.sysnet.pe.kr/2/0/11471
정성태
2018-06-05 07시24분
[qwe1234] unsafe 에서 포인터를 사용해서 메모리를 다루더라도 GC가 그 메모리 영역을 맘대로 relocate 하는 경우가 생겨서 fixed keyword를 써서 GC가 못 건드리게 해야 한다고 생각하는데 굳이 fixed를 사용하지 않아도 되나요???
[손님]
2018-06-05 10시59분
fixed하는 것은 "관리 메모리"로부터 unsafe 포인터를 구할 때 고정시키기 위해 사용하는 것입니다. OpenCvSharp의 Mat 클래스는 OpenCV 네이티브 모듈 내에서 할당한 비관리 메모리를 사용하므로 GC의 관리 대상이 아닙니다. 따라서 fixed 시킬 필요가 없습니다.
정성태

... 16  17  18  19  20  21  22  23  24  25  [26]  27  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
11441정성태1/18/20182553오류 유형: 447. ASP.NET Core 배포 오류 - Ensure that restore has run and that you have included '...' in the TargetFrameworks for your project.
11440정성태1/17/20182925.NET Framework: 727. ASP.NET의 HttpContext.Current 구현에 대응하는 ASP.NET Core의 IHttpContextAccessor/HttpContextAccessor 사용법파일 다운로드1
11439정성태8/25/20186165기타: 69. C# - CPU 100% 부하 주는 프로그램파일 다운로드1
11438정성태1/17/20183318오류 유형: 446. Error CS0234 The type or namespace name 'ITuple' does not exist in the namespace
11437정성태1/17/20182967VS.NET IDE: 124. Platform Toolset 설정에 따른 Visual C++의 헤더 파일 기본 디렉터리
11436정성태1/16/20183089개발 환경 구성: 352. ASP.NET Core (EXE) 프로세스가 IIS에서 호스팅되는 방법 - ASP.NET Core Module(AspNetCoreModule) [1]
11435정성태1/16/20183847개발 환경 구성: 351. OWIN 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11434정성태1/15/20183892개발 환경 구성: 350. 사용자 정의 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11433정성태1/15/20183277개발 환경 구성: 349. dotnet ef 명령어 사용을 위한 준비
11432정성태1/11/20184430.NET Framework: 726. WPF + Direct2D + SharpDX 출력 C# 예제파일 다운로드2
11431정성태1/11/20183808.NET Framework: 725. C# - 동기 방식이면서 비동기 메서드처럼 구현한 사례
11430정성태1/10/20185600.NET Framework: 724. WPF + Direct2D 출력 C# 예제 [1]파일 다운로드1
11429정성태1/9/20182462개발 환경 구성: 348. ASP.NET Core 2.1 Preview 버전 적용 방법
11428정성태1/7/20183386개발 환경 구성: 347. WinForm 프로젝트를 WPF 프로젝트 유형으로 변경하는 방법파일 다운로드1
11427정성태1/5/20182968오류 유형: 445. vcpkg 빌드 오류 - Starting the CLR failed with HRESULT 80040153
11426정성태10/19/20184191오류 유형: 444. curl로 호출할 때 발생하는 오류 정리
11425정성태1/4/20182472개발 환경 구성: 346. ASP.NET Core Web Application을 IIS에서 호스팅하는 방법 (2)
11424정성태1/4/20182800개발 환경 구성: 345. ASP.NET Core 프로젝트를 명령행에서 빌드하는 방법
11423정성태1/4/20189982VC++: 123. 내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유 [4]파일 다운로드2
11422정성태1/3/20185577.NET Framework: 723. C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산) [4]파일 다운로드1
11421정성태1/2/20182407오류 유형: 443. Visual Studio - nuget configuration is invalid
11420정성태12/30/20173848.NET Framework: 722. C# - Windows 10 운영체제의 데스크톱 앱에서 음성인식(SpeechRecognizer) 사용하는 방법 [2]파일 다운로드1
11419정성태12/23/20174304.NET Framework: 721. WebClient 타입의 ...Async 메서드 호출은 왜 await + 동기 호출 시 hang 현상이 발생할까요? [2]파일 다운로드1
11418정성태1/10/20185214.NET Framework: 720. 비동기 메서드 내에서 await 시 ConfigureAwait 호출 의미파일 다운로드1
11417정성태12/22/20173045.NET Framework: 719. Task를 포함하는 async 메서드의 동작 방식
11416정성태12/21/20172932.NET Framework: 718. AsyncTaskMethodBuilder.Create() 메서드 동작 방식
... 16  17  18  19  20  21  22  23  24  25  [26]  27  28  29  30  ...