Microsoft MVP성태의 닷넷 이야기
.NET Framework: 711. C# - OpenCvSharp의 Mat 데이터 조작 방법 [링크 복사], [링크+제목 복사]
조회: 13612
글쓴 사람
홈페이지
첨부 파일

C# - OpenCvSharp의 Mat 데이터 조작 방법

OpenCV를 C++로 사용하는 경우 Mat의 데이터 조작에 대해 다음의 글에서 보는 것처럼 4가지 정도로 나눠볼 수 있습니다.

(OpenCV Study) Mat point access method, get pixel 
; http://study.marearts.com/2014/04/opencv-study-mat-point-access-method.html

OpenCV Pixel Access, at, ptr, data, iteration (example) 
; http://study.marearts.com/2016/06/opencv-pixel-access-at-ptr-data.html

각각 "At", "Ptr", "Data", "Iteration"으로 이름을 붙였는데 C#에서도 이와 유사하게 제어하는 것이 가능합니다. 우선 At 방법부터 한번 볼까요? ^^

아래는 C#으로 At 방식을 사용해 RGB 이미지의 색상을 반전시키는 코드를 보여줍니다.

private void UsingAt(Mat image)
{
    for (int i = 0; i < image.Rows; i++)
    {
        for (int j = 0; j < image.Cols; j++)
        {
            var pt = image.At<Vec3b>(i, j);

            pt.Item0 = (byte)(255 - pt.Item0);
            pt.Item1 = (byte)(255 - pt.Item1);
            pt.Item2 = (byte)(255 - pt.Item2);

            image.Set<Vec3b>(i, j, pt);
        }
    }
}

그리고 다음은 위의 코드를 Ptr 방식으로 바꾼 것입니다.

private unsafe void UsingPtr(Mat image)
{
    for (int i = 0; i < image.Rows; i++)
    {
        Vec3b* ptr = (Vec3b*)image.Ptr(i).ToPointer();

        for (int j = 0; j < image.Cols; j++)
        {
            Vec3b bgr = ptr[j];

            byte b = bgr.Item0;
            byte g = ptr[j][1]; // bgr.Item1;
            byte r = bgr.Item2;


            ptr[j].Item0 = (byte)(255 - b);
            ptr[j].Item1 = (byte)(255 - g);
            ptr[j].Item2 = (byte)(255 - r);
            // 또는
            // ptr[j] = new Vec3b((byte)(255 - b), (byte)(255 - g), (byte)(255 - r));
        }
    }
}

Data를 이용하는 방식도 역시 C++과 유사하게 구현할 수 있습니다.

private unsafe void UsingData(Mat image)
{
    for (int i = 0; i < image.Rows; i ++)
    {
        for (int j = 0; j < image.Cols; j++)
        {
            byte r, g, b;

            // byte *data = (byte *)image.Data.ToPointer();
            byte* data = (byte*)image.DataPointer;

            b = data[i * image.Step() + j * image.ElemSize() + 0];
            g = data[i * image.Step() + j * image.ElemSize() + 1];
            r = data[i * image.Step() + j * image.ElemSize() + 2];

            data[i * image.Step() + j * image.ElemSize() + 0] = (byte)(255 - b);
            data[i * image.Step() + j * image.ElemSize() + 1] = (byte)(255 - g);
            data[i * image.Step() + j * image.ElemSize() + 2] = (byte)(255 - r);
        }
    }
}

마지막으로 Iterator라고 명시한 것은 OpenCVSharp에서 유사한 메서드를 제공해준 덕분에 다음과 같이 구현할 수 있습니다.

private unsafe void UsingIterator(Mat image)
{
    image.ForEachAsVec3b((ptrValue, ptrPosition) =>
    {
        ptrValue->Item0 = (byte)(255 - ptrValue->Item0);
        ptrValue->Item1 = (byte)(255 - ptrValue->Item1);
        ptrValue->Item2 = (byte)(255 - ptrValue->Item2);
    });
}

참고로, OpenCVSharp으로 검색해 보면 다음과 같이 정리된 글을 볼 수 있습니다.

[Cpp] Accessing Pixel
; https://github.com/shimat/opencvsharp/wiki/%5BCpp%5D-Accessing-Pixel

(첨부 파일의 "WindowsFormsApp1" 프로젝트는 위의 4가지 방법을 다룬 소스 코드를 포함합니다.)




C++ 코드를 보면 STL vector 타입과 Mat의 데이터 변환이 종종 나옵니다.

Vector to mat, Mat to vector
; http://study.marearts.com/2014/01/opencv-vector-to-mat-mat-to-vector.html

C++의 vector에 해당하는 타입이 C#에는 없지만 유사하게 List<T>로 다룰 수는 있습니다.

우선 MatToVector, 즉 MatToList는 다음과 같이 처리할 수 있습니다.

static void Main(string[] args)
{
    Mat mat = CreateSampleMat();
    List<float> list = MatToList(mat);
}

private static List<float> MatToList(Mat mat)
{
    float[] copied = new float[mat.Total() * mat.Channels()];
    mat.GetArray(0, 0, copied);
    return new List<float>(copied);
}

mat.GetArray 메서드 한 번에 데이터 복사가 수행되므로 C++에 비해 부하가 더 발생하지도 않습니다. 이제 반대로 VectorToMat/VectorToList를 구현해 보겠습니다.

static void Main(string[] args)
{
    Mat mat = CreateSampleMat();
    List<float> list = MatToList(mat);

    mat = ListToMat(list, 3, 4);
    Console.WriteLine(mat.Dump());
}

private static Mat ListToMat(List<float> list, int r, int c)
{
    Array arr = list.ToArray();
    return new Mat(new int[] { r, c }, MatType.CV_32FC1, arr);
}

그런데 OpenCV Mat의 경우 vector 내부의 데이터와 연결하는 것이 가능합니다. 즉, vector.data() 함수가 반환하는 메모리 포인터를 기반으로 초기화하는 경우인데 이럴 때는 메모리 복사 작업이 발생하지 않습니다. 반면 위의 코드에서는 list.ToArray() 호출로 인해 반드시 메모리 복사 작업을 수반하게 되어 있습니다.

아쉽게도 이에 대한 해결책은 공식적으로 없습니다. 단지 Reflection을 이용하면 다음과 같은 식으로 우회할 수는 있습니다.

private static Mat ListToMat_Reflection(List<float> list, int r, int c)
{
    return new Mat(new int[] { r, c }, MatType.CV_32FC1, GetItemsFromList(list));
}

private static float[] GetItemsFromList(List<float> list)
{
    Type type = list.GetType();
    FieldInfo fi = type.GetField("_items", System.Reflection.BindingFlags.Instance | System.Reflection.BindingFlags.NonPublic);
    return fi.GetValue(list) as float[];
}

위와 같이 처리하면, 데이터 복사 없이 List 내부의 (위의 예에서는 float []) 배열에 기반을 둬 Mat을 만들 수 있습니다.




그 외에, OpenCvSharp의 구현에는 C++ vector에 대한 소스 코드 변환을 쉽게 하도록 VectorOfFloat과 같은 일련의 VectorOf[type] 도우미 타입들이 있습니다. 그리고 이들은 생성자로 IEnumerable을 인자로 받으므로 반드시 데이터 복사를 수반하게 됩니다.

VectorOfFloat vof = new VectorOfFloat(list); // list = { 0, 1, 2, 3 }
float *pt = (float *)vof.ElemPtr.ToPointer();

list[0] = 6; // 복사되었기 때문에 list의 값을 바꿔도 vof 인스턴스에는 영향을 주지 않음

Console.WriteLine(pt[0]); // pt[0] == 0

(첨부 파일의 "ConsoleApp1" 프로젝트는 위의 vector/Mat 변환 방법을 다룬 소스 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 12/17/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-12-17 01시01분
정성태
2018-02-07 07시51분
[김**] 좋은글 많이 봤습니다. 질문이 하나 있어서 물어보려고합니다.
저희가 c#이 아닌 그냥 opencv를 사용할때는 빈공간의3*3짜리 cv_8uc1 형태로 mat형식을 선언하고 각 픽셀값에 제가 지정한 수를 넣어주기 위해서
mat K;(K라고 가정)
for (int i = 0; i < avg.Rows; i++)
            {
                for (int j = 0; j < avg.Cols; j++)
                {
                  K.at.<vec3d>(i,j) = 3(내가 넣으려는수)
                 }
            }
이렇게 해서 제가 mat형식의 빈공간에 변수를 채워넣었느대 c#에서 위와같이 하려면 어떻게 해야될지 모르겠어요


그리고 앞부분에 pt.item0,pt.item1,pt.item2 를 사용하셨는데 이게 뭔지 잘 이해가 안됩니다.
[손님]
2018-02-07 07시53분
[김**] 위에 ㅈ질문남겨논 사람인데요 for문에서 i<avg.rows, j<avg.cols가 아니고 i<k.avg.rows,j<k.avg.cols 입니다
[손님]
2018-02-09 04시21분
본문의 Item0, Item1, Item2는 Vec3b 제네릭 타입이 전달되었으므로 1바이트 씩 3바이트 데이터를 의미합니다. 보통 RGB 이미지의 경우 각각 B, G, R 데이터가 할당됩니다.

따라서 그냥 다음과 같이 쓰시면 됩니다.

var pt = K.At<Vec3b>(i, j);
pt.Item0 = ...[b]...;
pt.Item1 = ...[g]...;
pt.Item2 = ...[r]...;
정성태
2018-06-28 03시25분
다음의 테스트 결과를 참고했을 때,

C# - OpenCvSharp 사용 시 포인터를 이용한 속도 향상
; http://www.sysnet.pe.kr/2/0/11567

이 글에서 설명한 제네릭 버전의 At, Set 메서드는 사용을 지양하는 것이 좋습니다.
정성태

... 16  17  18  19  20  21  22  23  24  25  26  27  28  29  [30]  ...
NoWriterDateCnt.TitleFile(s)
11478정성태4/9/20182853디버깅 기술: 115. windbg - 덤프 파일로부터 PID와 환경 변수 등의 정보를 구하는 방법
11477정성태4/8/20182953오류 유형: 460. windbg - sos 명령어 수행 시 c0000006 오류 발생
11476정성태4/9/20182351디버깅 기술: 114. windbg - !threads 출력 결과로부터 닷넷 관리 스레드(System.Threading.Thread) 객체를 구하는 방법
11475정성태3/28/20183218디버깅 기술: 113. windbg - Thread.Suspend 호출 시 응용 프로그램 hang 현상에 대한 덤프 분석
11474정성태3/27/20182331오류 유형: 459. xperf: error: TEST.Event: Invalid flags. (0x3ec).
11473정성태3/22/20183699.NET Framework: 734. C# - Thread.Suspend 호출 시 응용 프로그램 hang 현상파일 다운로드1
11472정성태3/22/20183325개발 환경 구성: 356. GTX 1070, GTX 960, GT 640M의 cudaGetDeviceProperties 출력 결과
11471정성태3/20/20182881VC++: 125. CUDA로 작성한 RGB2RGBA 성능파일 다운로드1
11470정성태3/20/20185094오류 유형: 458. Visual Studio - CUDA 프로젝트 빌드 시 오류 C1189, expression must have a constant value
11469정성태3/19/20182854오류 유형: 457. error MSB3103: Invalid Resx file. Could not load file or assembly 'System.Windows.Forms, ...' or one of its dependencies.
11468정성태3/19/20182855오류 유형: 456. 닷넷 응용 프로그램 실행 시 0x80131401 예외 발생
11467정성태3/19/20182434오류 유형: 455. Visual Studio Installer - 업데이트 실패
11466정성태3/18/20182960개발 환경 구성: 355. 한 대의 PC에서 2개 이상의 DirectX 게임을 실행하는 방법
11463정성태3/15/20183178.NET Framework: 733. 스레드 간의 read/write 시에도 lock이 필요 없는 경우파일 다운로드1
11462정성태3/14/20183612개발 환경 구성: 354. HTTPS 호출에 대한 TLS 설정 확인하는 방법 [1]
11461정성태3/13/20184660오류 유형: 454. 윈도우 업데이트 설치 오류 - 0x800705b4 [1]
11460정성태3/14/20183275디버깅 기술: 112. windbg - 닷넷 메모리 덤프에서 전역 객체의 내용을 조사하는 방법
11459정성태3/13/20182416오류 유형: 453. Debug Diagnostic Tool에서 mscordacwks.dll을 찾지 못하는 문제
11458정성태2/21/20182903오류 유형: 452. This share requires the obsolete SMB1 protocol, which is unsafe and could expose your system to attack.
11457정성태2/17/20184400.NET Framework: 732. C# - Task.ContinueWith 설명파일 다운로드1
11456정성태4/10/20185911.NET Framework: 731. C# - await을 Task 타입이 아닌 사용자 정의 타입에 적용하는 방법 [3]파일 다운로드1
11455정성태2/17/20183461오류 유형: 451. ASP.NET Core - An error occurred during the compilation of a resource required to process this request.
11454정성태2/12/20187817기타: 71. 만료된 Office 제품 키를 변경하는 방법
11453정성태1/31/20182532오류 유형: 450. Azure Cloud Services(classic) 배포 시 "Certificate with thumbprint ... doesn't exist." 오류 발생
11452정성태1/31/20185259기타: 70. 재현 가능한 최소한의 예제 프로젝트란? [3]
11451정성태1/24/20183057디버깅 기술: 111. x86 메모리 덤프 분석 시 닷넷 메서드의 호출 인자 값 확인
... 16  17  18  19  20  21  22  23  24  25  26  27  28  29  [30]  ...