Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산)

지난 글에서,

C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

RGB 이미지를 RGBA로 변환하기 위해 C# 코딩을 했었는데요, 이게 꽤나 성능이 안 좋았습니다. 반면, OpenCvSharp의 Mat 타입에서 제공하는 CvtColor 연산은 놀라울 정도로 높은 성능을 보였습니다. 따라서 당연히 CvtColor 메서드를 비롯해 가능하면 OpenCV가 제공하는 함수를 사용하는 것이 좋겠지만, 그래도 때로는 사용자 정의 루프를 작성해야 할 때가 있습니다.

그럴 때 성능이 안 좋은 C# 코딩보다는 그 부분만을 C/C++로 대체해 OpenCV 수준의 성능으로 끌어올리는 것이 바람직한데요, 그런 경우 어떤 식으로 해야 OpenCV 정도까지 성능이 개선되는지 테스트를 해봤습니다. ^^

연산 대상은 "C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D" 글에서도 다뤘던 RGB to RGBA 코드입니다.




우선, 기준이 되는 OpenCV 연산을 다음과 같이 할 수 있습니다.

static void Main(string[] args)
{
    using (Mat mat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC3))
    {
        Convert(mat);
    }
}

static int Convert(Mat mat)
{
    using (Mat dstMat = mat.CvtColor(ColorConversionCodes.BGR2BGRA))
    {
        return dstMat.Width;
    }
}

그다음 동일한 연산을 C#으로 직접 For loop로 구현을 했습니다.

static unsafe int Convert2(Mat srcMat)
{
    byte *srcPtr = (byte *)srcMat.Data;

    using (Mat dstMat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC4))
    {
        byte *dstPtr = (byte *)dstMat.Data;

        for (int y = 0; y < srcMat.Height; y++)
        {
            for (int x = 0; x < srcMat.Width - 1; x++)
            {
                int* src = (int*)srcPtr;
                int* dst = (int*)dstPtr;

                *dst = *src;
                *(dstPtr + 3) = 0xff;

                srcPtr = srcPtr + 3;
                dstPtr = dstPtr + 4;
            }

            Buffer.MemoryCopy(srcPtr, dstPtr, 3, 3);
            *(dstPtr + 3) = 0xff;
        }
    }

    return 0;
}

역시 동일한 코드를 C/C++ DLL을 만들어 export 함수로 C#에서 다음과 같이 호출하는 식으로 구현했습니다.

// ==== C# ====
[DllImport("MemCopyLib.dll")]
public unsafe extern static void RGB2RGBA(byte* srcPtr, byte* dstPtr, int width, int height);

static unsafe int Convert3(Mat srcMat)
{
    byte* srcPtr = (byte*)srcMat.Data;
    using (Mat dstMat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC4))
    {
        byte* dstPtr = (byte*)dstMat.Data;
        RGB2RGBA(srcPtr, dstPtr, srcMat.Width, srcMat.Height);
    }

    return 0;
}

// ==== C/C++ ====
__declspec(dllexport) void RGB2RGBA(BYTE *srcPtr, BYTE *dstPtr, int width, int height)
{
    for (int y = 0; y < height; y++)
    {
        for (int x = 0; x < width; x++)
        {
            memcpy(dstPtr, srcPtr, 3);
            *(dstPtr + 3) = 0xff;

            srcPtr = srcPtr + 3;
            dstPtr = dstPtr + 4;
        }
    }
}

이렇게 만들고 실행해 보면, 다음과 같은 성능 수치를 볼 수 있습니다.

// 각각 Release 빌드로 100회씩 실행했으며, JIT 컴파일 보정을 위해 1회를 미리 실행한 후 시간 측정

opencv(100) : 690
c# for(100) : 7120
C++ for(100) : 1284

보면 OpenCV의 Mat.CvtColor 메서드가 단연 빠르고, 약 2배 늦은 속도로 단순 C++ for 구문 속도가 나오며 C#은 그보다도 7배까지 느린 것을 볼 수 있습니다. 즉, 이미지 처리 시 무거운 for 루프를 처리하는 경우라면 C#보다는 C/C++에 작업을 맡기는 것을 충분히 고려할만합니다.




그렇다면 OpenCV의 처리가 왜 그토록 빠른 것일까요? 이에 대한 해답은 지난번에 소개했던 것처럼 다음의 글에서 찾아볼 수 있습니다.

OpenCV - 속도 분석 (1)
; https://laonple.blog.me/220861902363

즉, 병렬 처리입니다. 이를 위해 C/C++ 코드를 다음과 같이 병렬 처리로 바꾸면,

// i5-4670 코어 4개에서 테스트

#include <ppl.h>

using namespace concurrency;

__declspec(dllexport) void RGB2RGBA_Parallel(BYTE *srcPtr, BYTE *dstPtr, int width, int height)
{
    parallel_for (0, height, [&](size_t y)
    {
        BYTE *srcPtrY = srcPtr + (y * width * 3);
        BYTE *dstPtrY = dstPtr + (y * width * 4);

        for (size_t x = 0; x < width; x++)
        {
            memcpy(dstPtrY, srcPtrY, 3);
            *(dstPtrY + 3) = 0xff;

            srcPtrY = srcPtrY + 3;
            dstPtrY = dstPtrY + 4;
        }
    });
}

1284ms였던 것이 609ms까지 내려갑니다. OpenCV 속도가 690ms이니 충분히 빨라진 것입니다. (물론, OpenCV가 범용 처리를 하는 것을 고려했을 때 당연히 우리가 만든 C/C++ 코드가 저 정도는 빨라야 합니다.)

그렇다면 혹시 C# 코드도 병렬 처리를 하면 많이 빨라질까요?

// i5-4670 코어 4개에서 테스트
static unsafe int Convert3(Mat srcMat)
{
    byte* srcPtr = (byte*)srcMat.Data;

    using (Mat dstMat = new Mat(new Size(1920 * 3, 1080), MatType.CV_8UC4))
    {
        byte* dstPtr = (byte*)dstMat.Data;

        Parallel.For(0, srcMat.Height, (y) =>
        {
            byte* srcPtrY = srcPtr + (y * srcMat.Width * 3);
            byte* dstPtrY = dstPtr + (y * srcMat.Width * 4);

            for (int x = 0; x < srcMat.Width - 1; x++)
            {
                int* src = (int*)srcPtrY;
                int* dst = (int*)dstPtrY;

                *dst = *src;
                *(dstPtrY + 3) = 0xff;

                srcPtrY = srcPtrY + 3;
                dstPtrY = dstPtrY + 4;
            }

            Buffer.MemoryCopy(srcPtrY, dstPtrY, 3, 3);
            *(dstPtrY + 3) = 0xff;
        });
    }

    return 0;
}

테스트해보면, 단독 스레드일 때 7355ms인 것에 비하면 2036ms를 기록하며 확실히 빨라졌지만 이는 C/C++ 단독 스레드 처리일 때보다도 느린 수치입니다.

(첨부 파일은 이 글의 소스 코드를 포함합니다.)

참고로 다음은 성능 수치를 엑셀 그래프로 그린 것입니다. 훨씬 직관적이군요. ^^

for_loop_perf.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 1/3/2018 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2018-05-11 02시04분
내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유
; http://www.sysnet.pe.kr/2/0/11423

정성태
2018-05-11 02시05분
CUDA로 작성한 RGB2RGBA 성능
; http://www.sysnet.pe.kr/2/0/11471
정성태
2018-06-05 07시24분
[qwe1234] unsafe 에서 포인터를 사용해서 메모리를 다루더라도 GC가 그 메모리 영역을 맘대로 relocate 하는 경우가 생겨서 fixed keyword를 써서 GC가 못 건드리게 해야 한다고 생각하는데 굳이 fixed를 사용하지 않아도 되나요???
[손님]
2018-06-05 10시59분
fixed하는 것은 "관리 메모리"로부터 unsafe 포인터를 구할 때 고정시키기 위해 사용하는 것입니다. OpenCvSharp의 Mat 클래스는 OpenCV 네이티브 모듈 내에서 할당한 비관리 메모리를 사용하므로 GC의 관리 대상이 아닙니다. 따라서 fixed 시킬 필요가 없습니다.
정성태

... 16  17  18  19  20  21  22  23  24  25  [26]  27  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
11496정성태4/17/20181797개발 환경 구성: 364. Azure Portal에서 구독(Subscriptions) 메뉴가 보이지 않는 경우
11495정성태4/18/20182379개발 환경 구성: 363. Azure의 Access control 보안과 Azure Active Directory의 계정 관리 서비스
11494정성태4/16/20182183개발 환경 구성: 362. Azure Web Apps(App Services)에 사용자 DNS를 지정하는 방법
11493정성태4/16/20182185개발 환경 구성: 361. Azure Web App(App Service)의 HTTP/2 프로토콜 지원
11492정성태4/13/20182112개발 환경 구성: 360. Azure Active Directory의 사용자 도메인 지정 방법
11491정성태9/30/20192358개발 환경 구성: 359. Azure 가상 머신에 Web Application을 배포하는 방법
11490정성태4/12/20182968.NET Framework: 739. .NET Framework 4.7.1의 새 기능 - Configuration builders [1]파일 다운로드1
11489정성태4/12/20182196오류 유형: 463. 윈도우 백업 오류 - a Volume Shadow Copy Service operation failed.
11488정성태4/12/20182098오류 유형: 462. Unhandled Exception in Managed Code Snap-in - FX:{811FD892-5EB4-4E73-A147-F1E079E36C4E}
11487정성태4/12/20182254디버깅 기술: 115. windbg - 닷넷 메모리 덤프에서 정적(static) 필드 값을 조사하는 방법
11486정성태4/11/20182290오류 유형: 461. Error MSB4064 The "ComputeOutputOnly" parameter is not supported by the "VsTsc" task
11485정성태4/11/20184211.NET Framework: 738. C# - Console 프로그램이 Ctrl+C 종료 시점을 감지하는 방법파일 다운로드1
11484정성태4/11/20183283.NET Framework: 737. C# - async를 Task 타입이 아닌 사용자 정의 타입에 적용하는 방법파일 다운로드1
11483정성태4/10/20185517개발 환경 구성: 358. "Let's Encrypt"에서 제공하는 무료 SSL 인증서를 IIS에 적용하는 방법 (2) [1]
11482정성태4/10/20182862VC++: 126. CUDA Core 수를 알아내는 방법
11481정성태4/10/20184304개발 환경 구성: 357. CUDA의 인덱싱 관련 용어 - blockIdx, threadIdx, blockDim, gridDim
11480정성태10/19/20183651.NET Framework: 736. C# - API를 사용해 Azure에 접근하는 방법 [2]파일 다운로드1
11479정성태4/12/20182350.NET Framework: 735. Azure - PowerShell로 Access control(IAM)에 새로운 계정 만드는 방법
11478정성태4/9/20182747디버깅 기술: 115. windbg - 덤프 파일로부터 PID와 환경 변수 등의 정보를 구하는 방법
11477정성태4/8/20182810오류 유형: 460. windbg - sos 명령어 수행 시 c0000006 오류 발생
11476정성태4/9/20182227디버깅 기술: 114. windbg - !threads 출력 결과로부터 닷넷 관리 스레드(System.Threading.Thread) 객체를 구하는 방법
11475정성태3/28/20182979디버깅 기술: 113. windbg - Thread.Suspend 호출 시 응용 프로그램 hang 현상에 대한 덤프 분석
11474정성태3/27/20182189오류 유형: 459. xperf: error: TEST.Event: Invalid flags. (0x3ec).
11473정성태3/22/20183438.NET Framework: 734. C# - Thread.Suspend 호출 시 응용 프로그램 hang 현상파일 다운로드1
11472정성태3/22/20183112개발 환경 구성: 356. GTX 1070, GTX 960, GT 640M의 cudaGetDeviceProperties 출력 결과
11471정성태3/20/20182676VC++: 125. CUDA로 작성한 RGB2RGBA 성능파일 다운로드1
... 16  17  18  19  20  21  22  23  24  25  [26]  27  28  29  30  ...