Microsoft MVP성태의 닷넷 이야기
.NET Framework: 711. C# - OpenCvSharp의 Mat 데이터 조작 방법 [링크 복사], [링크+제목 복사]
조회: 13035
글쓴 사람
홈페이지
첨부 파일

C# - OpenCvSharp의 Mat 데이터 조작 방법

OpenCV를 C++로 사용하는 경우 Mat의 데이터 조작에 대해 다음의 글에서 보는 것처럼 4가지 정도로 나눠볼 수 있습니다.

(OpenCV Study) Mat point access method, get pixel 
; http://study.marearts.com/2014/04/opencv-study-mat-point-access-method.html

OpenCV Pixel Access, at, ptr, data, iteration (example) 
; http://study.marearts.com/2016/06/opencv-pixel-access-at-ptr-data.html

각각 "At", "Ptr", "Data", "Iteration"으로 이름을 붙였는데 C#에서도 이와 유사하게 제어하는 것이 가능합니다. 우선 At 방법부터 한번 볼까요? ^^

아래는 C#으로 At 방식을 사용해 RGB 이미지의 색상을 반전시키는 코드를 보여줍니다.

private void UsingAt(Mat image)
{
    for (int i = 0; i < image.Rows; i++)
    {
        for (int j = 0; j < image.Cols; j++)
        {
            var pt = image.At<Vec3b>(i, j);

            pt.Item0 = (byte)(255 - pt.Item0);
            pt.Item1 = (byte)(255 - pt.Item1);
            pt.Item2 = (byte)(255 - pt.Item2);

            image.Set<Vec3b>(i, j, pt);
        }
    }
}

그리고 다음은 위의 코드를 Ptr 방식으로 바꾼 것입니다.

private unsafe void UsingPtr(Mat image)
{
    for (int i = 0; i < image.Rows; i++)
    {
        Vec3b* ptr = (Vec3b*)image.Ptr(i).ToPointer();

        for (int j = 0; j < image.Cols; j++)
        {
            Vec3b bgr = ptr[j];

            byte b = bgr.Item0;
            byte g = ptr[j][1]; // bgr.Item1;
            byte r = bgr.Item2;


            ptr[j].Item0 = (byte)(255 - b);
            ptr[j].Item1 = (byte)(255 - g);
            ptr[j].Item2 = (byte)(255 - r);
            // 또는
            // ptr[j] = new Vec3b((byte)(255 - b), (byte)(255 - g), (byte)(255 - r));
        }
    }
}

Data를 이용하는 방식도 역시 C++과 유사하게 구현할 수 있습니다.

private unsafe void UsingData(Mat image)
{
    for (int i = 0; i < image.Rows; i ++)
    {
        for (int j = 0; j < image.Cols; j++)
        {
            byte r, g, b;

            // byte *data = (byte *)image.Data.ToPointer();
            byte* data = (byte*)image.DataPointer;

            b = data[i * image.Step() + j * image.ElemSize() + 0];
            g = data[i * image.Step() + j * image.ElemSize() + 1];
            r = data[i * image.Step() + j * image.ElemSize() + 2];

            data[i * image.Step() + j * image.ElemSize() + 0] = (byte)(255 - b);
            data[i * image.Step() + j * image.ElemSize() + 1] = (byte)(255 - g);
            data[i * image.Step() + j * image.ElemSize() + 2] = (byte)(255 - r);
        }
    }
}

마지막으로 Iterator라고 명시한 것은 OpenCVSharp에서 유사한 메서드를 제공해준 덕분에 다음과 같이 구현할 수 있습니다.

private unsafe void UsingIterator(Mat image)
{
    image.ForEachAsVec3b((ptrValue, ptrPosition) =>
    {
        ptrValue->Item0 = (byte)(255 - ptrValue->Item0);
        ptrValue->Item1 = (byte)(255 - ptrValue->Item1);
        ptrValue->Item2 = (byte)(255 - ptrValue->Item2);
    });
}

참고로, OpenCVSharp으로 검색해 보면 다음과 같이 정리된 글을 볼 수 있습니다.

[Cpp] Accessing Pixel
; https://github.com/shimat/opencvsharp/wiki/%5BCpp%5D-Accessing-Pixel

(첨부 파일의 "WindowsFormsApp1" 프로젝트는 위의 4가지 방법을 다룬 소스 코드를 포함합니다.)




C++ 코드를 보면 STL vector 타입과 Mat의 데이터 변환이 종종 나옵니다.

Vector to mat, Mat to vector
; http://study.marearts.com/2014/01/opencv-vector-to-mat-mat-to-vector.html

C++의 vector에 해당하는 타입이 C#에는 없지만 유사하게 List<T>로 다룰 수는 있습니다.

우선 MatToVector, 즉 MatToList는 다음과 같이 처리할 수 있습니다.

static void Main(string[] args)
{
    Mat mat = CreateSampleMat();
    List<float> list = MatToList(mat);
}

private static List<float> MatToList(Mat mat)
{
    float[] copied = new float[mat.Total() * mat.Channels()];
    mat.GetArray(0, 0, copied);
    return new List<float>(copied);
}

mat.GetArray 메서드 한 번에 데이터 복사가 수행되므로 C++에 비해 부하가 더 발생하지도 않습니다. 이제 반대로 VectorToMat/VectorToList를 구현해 보겠습니다.

static void Main(string[] args)
{
    Mat mat = CreateSampleMat();
    List<float> list = MatToList(mat);

    mat = ListToMat(list, 3, 4);
    Console.WriteLine(mat.Dump());
}

private static Mat ListToMat(List<float> list, int r, int c)
{
    Array arr = list.ToArray();
    return new Mat(new int[] { r, c }, MatType.CV_32FC1, arr);
}

그런데 OpenCV Mat의 경우 vector 내부의 데이터와 연결하는 것이 가능합니다. 즉, vector.data() 함수가 반환하는 메모리 포인터를 기반으로 초기화하는 경우인데 이럴 때는 메모리 복사 작업이 발생하지 않습니다. 반면 위의 코드에서는 list.ToArray() 호출로 인해 반드시 메모리 복사 작업을 수반하게 되어 있습니다.

아쉽게도 이에 대한 해결책은 공식적으로 없습니다. 단지 Reflection을 이용하면 다음과 같은 식으로 우회할 수는 있습니다.

private static Mat ListToMat_Reflection(List<float> list, int r, int c)
{
    return new Mat(new int[] { r, c }, MatType.CV_32FC1, GetItemsFromList(list));
}

private static float[] GetItemsFromList(List<float> list)
{
    Type type = list.GetType();
    FieldInfo fi = type.GetField("_items", System.Reflection.BindingFlags.Instance | System.Reflection.BindingFlags.NonPublic);
    return fi.GetValue(list) as float[];
}

위와 같이 처리하면, 데이터 복사 없이 List 내부의 (위의 예에서는 float []) 배열에 기반을 둬 Mat을 만들 수 있습니다.




그 외에, OpenCvSharp의 구현에는 C++ vector에 대한 소스 코드 변환을 쉽게 하도록 VectorOfFloat과 같은 일련의 VectorOf[type] 도우미 타입들이 있습니다. 그리고 이들은 생성자로 IEnumerable을 인자로 받으므로 반드시 데이터 복사를 수반하게 됩니다.

VectorOfFloat vof = new VectorOfFloat(list); // list = { 0, 1, 2, 3 }
float *pt = (float *)vof.ElemPtr.ToPointer();

list[0] = 6; // 복사되었기 때문에 list의 값을 바꿔도 vof 인스턴스에는 영향을 주지 않음

Console.WriteLine(pt[0]); // pt[0] == 0

(첨부 파일의 "ConsoleApp1" 프로젝트는 위의 vector/Mat 변환 방법을 다룬 소스 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 12/17/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-12-17 01시01분
정성태
2018-02-07 07시51분
[김**] 좋은글 많이 봤습니다. 질문이 하나 있어서 물어보려고합니다.
저희가 c#이 아닌 그냥 opencv를 사용할때는 빈공간의3*3짜리 cv_8uc1 형태로 mat형식을 선언하고 각 픽셀값에 제가 지정한 수를 넣어주기 위해서
mat K;(K라고 가정)
for (int i = 0; i < avg.Rows; i++)
            {
                for (int j = 0; j < avg.Cols; j++)
                {
                  K.at.<vec3d>(i,j) = 3(내가 넣으려는수)
                 }
            }
이렇게 해서 제가 mat형식의 빈공간에 변수를 채워넣었느대 c#에서 위와같이 하려면 어떻게 해야될지 모르겠어요


그리고 앞부분에 pt.item0,pt.item1,pt.item2 를 사용하셨는데 이게 뭔지 잘 이해가 안됩니다.
[손님]
2018-02-07 07시53분
[김**] 위에 ㅈ질문남겨논 사람인데요 for문에서 i<avg.rows, j<avg.cols가 아니고 i<k.avg.rows,j<k.avg.cols 입니다
[손님]
2018-02-09 04시21분
본문의 Item0, Item1, Item2는 Vec3b 제네릭 타입이 전달되었으므로 1바이트 씩 3바이트 데이터를 의미합니다. 보통 RGB 이미지의 경우 각각 B, G, R 데이터가 할당됩니다.

따라서 그냥 다음과 같이 쓰시면 됩니다.

var pt = K.At<Vec3b>(i, j);
pt.Item0 = ...[b]...;
pt.Item1 = ...[g]...;
pt.Item2 = ...[r]...;
정성태
2018-06-28 03시25분
다음의 테스트 결과를 참고했을 때,

C# - OpenCvSharp 사용 시 포인터를 이용한 속도 향상
; http://www.sysnet.pe.kr/2/0/11567

이 글에서 설명한 제네릭 버전의 At, Set 메서드는 사용을 지양하는 것이 좋습니다.
정성태

... 16  17  18  19  20  21  22  23  24  25  26  27  28  [29]  30  ...
NoWriterDateCnt.TitleFile(s)
11446정성태1/20/20183240.NET Framework: 729. windbg로 살펴보는 GC heap의 Segment 구조파일 다운로드1
11445정성태1/20/20182821.NET Framework: 728. windbg - 눈으로 확인하는 Workstation GC / Server GC
11444정성태9/13/20183425VS.NET IDE: 125. Visual Studio에서 Selenium WebDriver를 이용한 웹 브라우저 단위 테스트 구성파일 다운로드1
11443정성태1/18/20183633VC++: 124. libuv 모듈 살펴 보기
11442정성태1/18/20182569개발 환경 구성: 353. ASP.NET Core 프로젝트의 "Enable unmanaged code debugging" 옵션 켜는 방법
11441정성태1/18/20182709오류 유형: 447. ASP.NET Core 배포 오류 - Ensure that restore has run and that you have included '...' in the TargetFrameworks for your project.
11440정성태1/17/20183117.NET Framework: 727. ASP.NET의 HttpContext.Current 구현에 대응하는 ASP.NET Core의 IHttpContextAccessor/HttpContextAccessor 사용법파일 다운로드1
11439정성태8/25/20186710기타: 69. C# - CPU 100% 부하 주는 프로그램파일 다운로드1
11438정성태1/17/20183627오류 유형: 446. Error CS0234 The type or namespace name 'ITuple' does not exist in the namespace
11437정성태1/17/20183267VS.NET IDE: 124. Platform Toolset 설정에 따른 Visual C++의 헤더 파일 기본 디렉터리
11436정성태1/16/20183272개발 환경 구성: 352. ASP.NET Core (EXE) 프로세스가 IIS에서 호스팅되는 방법 - ASP.NET Core Module(AspNetCoreModule) [1]
11435정성태1/16/20184118개발 환경 구성: 351. OWIN 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11434정성태1/15/20184137개발 환경 구성: 350. 사용자 정의 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11433정성태1/15/20183546개발 환경 구성: 349. dotnet ef 명령어 사용을 위한 준비
11432정성태1/11/20184796.NET Framework: 726. WPF + Direct2D + SharpDX 출력 C# 예제파일 다운로드2
11431정성태1/11/20184173.NET Framework: 725. C# - 동기 방식이면서 비동기 메서드처럼 구현한 사례
11430정성태1/10/20186142.NET Framework: 724. WPF + Direct2D 출력 C# 예제 [1]파일 다운로드1
11429정성태1/9/20182684개발 환경 구성: 348. ASP.NET Core 2.1 Preview 버전 적용 방법
11428정성태1/7/20183680개발 환경 구성: 347. WinForm 프로젝트를 WPF 프로젝트 유형으로 변경하는 방법파일 다운로드1
11427정성태1/5/20183260오류 유형: 445. vcpkg 빌드 오류 - Starting the CLR failed with HRESULT 80040153
11426정성태10/19/20184756오류 유형: 444. curl로 호출할 때 발생하는 오류 정리
11425정성태1/4/20182673개발 환경 구성: 346. ASP.NET Core Web Application을 IIS에서 호스팅하는 방법 (2)
11424정성태1/4/20183060개발 환경 구성: 345. ASP.NET Core 프로젝트를 명령행에서 빌드하는 방법
11423정성태1/4/201810939VC++: 123. 내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유 [4]파일 다운로드2
11422정성태1/3/20186128.NET Framework: 723. C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산) [4]파일 다운로드1
11421정성태1/2/20182558오류 유형: 443. Visual Studio - nuget configuration is invalid
... 16  17  18  19  20  21  22  23  24  25  26  27  28  [29]  30  ...