Microsoft MVP성태의 닷넷 이야기
.NET Framework: 711. C# - OpenCvSharp의 Mat 데이터 조작 방법 [링크 복사], [링크+제목 복사]
조회: 16349
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - OpenCvSharp의 Mat 데이터 조작 방법

OpenCV를 C++로 사용하는 경우 Mat의 데이터 조작에 대해 다음의 글에서 보는 것처럼 4가지 정도로 나눠볼 수 있습니다.

(OpenCV Study) Mat point access method, get pixel 
; http://study.marearts.com/2014/04/opencv-study-mat-point-access-method.html

OpenCV Pixel Access, at, ptr, data, iteration (example) 
; http://study.marearts.com/2016/06/opencv-pixel-access-at-ptr-data.html

각각 "At", "Ptr", "Data", "Iteration"으로 이름을 붙였는데 C#에서도 이와 유사하게 제어하는 것이 가능합니다. 우선 At 방법부터 한번 볼까요? ^^

아래는 C#으로 At 방식을 사용해 RGB 이미지의 색상을 반전시키는 코드를 보여줍니다.

private void UsingAt(Mat image)
{
    for (int i = 0; i < image.Rows; i++)
    {
        for (int j = 0; j < image.Cols; j++)
        {
            var pt = image.At<Vec3b>(i, j);

            pt.Item0 = (byte)(255 - pt.Item0);
            pt.Item1 = (byte)(255 - pt.Item1);
            pt.Item2 = (byte)(255 - pt.Item2);

            image.Set<Vec3b>(i, j, pt);
        }
    }
}

그리고 다음은 위의 코드를 Ptr 방식으로 바꾼 것입니다.

private unsafe void UsingPtr(Mat image)
{
    for (int i = 0; i < image.Rows; i++)
    {
        Vec3b* ptr = (Vec3b*)image.Ptr(i).ToPointer();

        for (int j = 0; j < image.Cols; j++)
        {
            Vec3b bgr = ptr[j];

            byte b = bgr.Item0;
            byte g = ptr[j][1]; // bgr.Item1;
            byte r = bgr.Item2;


            ptr[j].Item0 = (byte)(255 - b);
            ptr[j].Item1 = (byte)(255 - g);
            ptr[j].Item2 = (byte)(255 - r);
            // 또는
            // ptr[j] = new Vec3b((byte)(255 - b), (byte)(255 - g), (byte)(255 - r));
        }
    }
}

Data를 이용하는 방식도 역시 C++과 유사하게 구현할 수 있습니다.

private unsafe void UsingData(Mat image)
{
    for (int i = 0; i < image.Rows; i ++)
    {
        for (int j = 0; j < image.Cols; j++)
        {
            byte r, g, b;

            // byte *data = (byte *)image.Data.ToPointer();
            byte* data = (byte*)image.DataPointer;

            b = data[i * image.Step() + j * image.ElemSize() + 0];
            g = data[i * image.Step() + j * image.ElemSize() + 1];
            r = data[i * image.Step() + j * image.ElemSize() + 2];

            data[i * image.Step() + j * image.ElemSize() + 0] = (byte)(255 - b);
            data[i * image.Step() + j * image.ElemSize() + 1] = (byte)(255 - g);
            data[i * image.Step() + j * image.ElemSize() + 2] = (byte)(255 - r);
        }
    }
}

마지막으로 Iterator라고 명시한 것은 OpenCVSharp에서 유사한 메서드를 제공해준 덕분에 다음과 같이 구현할 수 있습니다.

private unsafe void UsingIterator(Mat image)
{
    image.ForEachAsVec3b((ptrValue, ptrPosition) =>
    {
        ptrValue->Item0 = (byte)(255 - ptrValue->Item0);
        ptrValue->Item1 = (byte)(255 - ptrValue->Item1);
        ptrValue->Item2 = (byte)(255 - ptrValue->Item2);
    });
}

참고로, OpenCVSharp으로 검색해 보면 다음과 같이 정리된 글을 볼 수 있습니다.

[Cpp] Accessing Pixel
; https://github.com/shimat/opencvsharp/wiki/%5BCpp%5D-Accessing-Pixel

(첨부 파일의 "WindowsFormsApp1" 프로젝트는 위의 4가지 방법을 다룬 소스 코드를 포함합니다.)




C++ 코드를 보면 STL vector 타입과 Mat의 데이터 변환이 종종 나옵니다.

Vector to mat, Mat to vector
; http://study.marearts.com/2014/01/opencv-vector-to-mat-mat-to-vector.html

C++의 vector에 해당하는 타입이 C#에는 없지만 유사하게 List<T>로 다룰 수는 있습니다.

우선 MatToVector, 즉 MatToList는 다음과 같이 처리할 수 있습니다.

static void Main(string[] args)
{
    Mat mat = CreateSampleMat();
    List<float> list = MatToList(mat);
}

private static List<float> MatToList(Mat mat)
{
    float[] copied = new float[mat.Total() * mat.Channels()];
    mat.GetArray(0, 0, copied);
    return new List<float>(copied);
}

mat.GetArray 메서드 한 번에 데이터 복사가 수행되므로 C++에 비해 부하가 더 발생하지도 않습니다. 이제 반대로 VectorToMat/VectorToList를 구현해 보겠습니다.

static void Main(string[] args)
{
    Mat mat = CreateSampleMat();
    List<float> list = MatToList(mat);

    mat = ListToMat(list, 3, 4);
    Console.WriteLine(mat.Dump());
}

private static Mat ListToMat(List<float> list, int r, int c)
{
    Array arr = list.ToArray();
    return new Mat(new int[] { r, c }, MatType.CV_32FC1, arr);
}

그런데 OpenCV Mat의 경우 vector 내부의 데이터와 연결하는 것이 가능합니다. 즉, vector.data() 함수가 반환하는 메모리 포인터를 기반으로 초기화하는 경우인데 이럴 때는 메모리 복사 작업이 발생하지 않습니다. 반면 위의 코드에서는 list.ToArray() 호출로 인해 반드시 메모리 복사 작업을 수반하게 되어 있습니다.

아쉽게도 이에 대한 해결책은 공식적으로 없습니다. 단지 Reflection을 이용하면 다음과 같은 식으로 우회할 수는 있습니다.

private static Mat ListToMat_Reflection(List<float> list, int r, int c)
{
    return new Mat(new int[] { r, c }, MatType.CV_32FC1, GetItemsFromList(list));
}

private static float[] GetItemsFromList(List<float> list)
{
    Type type = list.GetType();
    FieldInfo fi = type.GetField("_items", System.Reflection.BindingFlags.Instance | System.Reflection.BindingFlags.NonPublic);
    return fi.GetValue(list) as float[];
}

위와 같이 처리하면, 데이터 복사 없이 List 내부의 (위의 예에서는 float []) 배열에 기반을 둬 Mat을 만들 수 있습니다.




그 외에, OpenCvSharp의 구현에는 C++ vector에 대한 소스 코드 변환을 쉽게 하도록 VectorOfFloat과 같은 일련의 VectorOf[type] 도우미 타입들이 있습니다. 그리고 이들은 생성자로 IEnumerable을 인자로 받으므로 반드시 데이터 복사를 수반하게 됩니다.

VectorOfFloat vof = new VectorOfFloat(list); // list = { 0, 1, 2, 3 }
float *pt = (float *)vof.ElemPtr.ToPointer();

list[0] = 6; // 복사되었기 때문에 list의 값을 바꿔도 vof 인스턴스에는 영향을 주지 않음

Console.WriteLine(pt[0]); // pt[0] == 0

(첨부 파일의 "ConsoleApp1" 프로젝트는 위의 vector/Mat 변환 방법을 다룬 소스 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 12/17/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-12-17 01시01분
정성태
2018-02-07 07시51분
[김**] 좋은글 많이 봤습니다. 질문이 하나 있어서 물어보려고합니다.
저희가 c#이 아닌 그냥 opencv를 사용할때는 빈공간의3*3짜리 cv_8uc1 형태로 mat형식을 선언하고 각 픽셀값에 제가 지정한 수를 넣어주기 위해서
mat K;(K라고 가정)
for (int i = 0; i < avg.Rows; i++)
            {
                for (int j = 0; j < avg.Cols; j++)
                {
                  K.at.<vec3d>(i,j) = 3(내가 넣으려는수)
                 }
            }
이렇게 해서 제가 mat형식의 빈공간에 변수를 채워넣었느대 c#에서 위와같이 하려면 어떻게 해야될지 모르겠어요


그리고 앞부분에 pt.item0,pt.item1,pt.item2 를 사용하셨는데 이게 뭔지 잘 이해가 안됩니다.
[손님]
2018-02-07 07시53분
[김**] 위에 ㅈ질문남겨논 사람인데요 for문에서 i<avg.rows, j<avg.cols가 아니고 i<k.avg.rows,j<k.avg.cols 입니다
[손님]
2018-02-09 04시21분
본문의 Item0, Item1, Item2는 Vec3b 제네릭 타입이 전달되었으므로 1바이트 씩 3바이트 데이터를 의미합니다. 보통 RGB 이미지의 경우 각각 B, G, R 데이터가 할당됩니다.

따라서 그냥 다음과 같이 쓰시면 됩니다.

var pt = K.At<Vec3b>(i, j);
pt.Item0 = ...[b]...;
pt.Item1 = ...[g]...;
pt.Item2 = ...[r]...;
정성태
2018-06-28 03시25분
다음의 테스트 결과를 참고했을 때,

C# - OpenCvSharp 사용 시 포인터를 이용한 속도 향상
; http://www.sysnet.pe.kr/2/0/11567

이 글에서 설명한 제네릭 버전의 At, Set 메서드는 사용을 지양하는 것이 좋습니다.
정성태

... 16  17  18  19  20  21  22  23  24  25  26  27  28  [29]  30  ...
NoWriterDateCnt.TitleFile(s)
11638정성태8/2/20182262오류 유형: 473. windbg - 덤프 파일로부터 추출한 DLL 참조 시 "Resolved file has a bad image, no metadata, or is otherwise inaccessible." 빌드 오류
11637정성태8/1/20183300Graphics: 17. Unity - World matrix(unity_ObjectToWorld)로부터 TRS(이동/회전/크기) 행렬로 복원하는 방법파일 다운로드1
11636정성태8/1/20185731Graphics: 16. 3D 공간에서 두 점이 이루는 각도 구하기파일 다운로드1
11635정성태8/1/20182696오류 유형: 472. C# 컴파일 오류 - Your project is not referencing the ".NETFramework,Version=v3.5" framework.
11634정성태8/1/20182610.NET Framework: 790. .NET Thread 상태가 Cooperative일 때 GC hang 현상 재현 방법파일 다운로드1
11633정성태7/29/20184790Graphics: 15. Unity - shader의 World matrix(unity_ObjectToWorld)를 수작업으로 구성 [1]
11632정성태7/28/20187945Graphics: 14. C# - Unity에서 캐릭터가 바라보는 방향을 기준으로 카메라의 위치 이동 및 회전하는 방법
11631정성태7/27/20185879Graphics: 13. Unity로 실습하는 Shader (9) - 투명 배경이 있는 텍스처 입히기
11630정성태2/11/20203446개발 환경 구성: 391. (GitHub 등과 직접 연동해) 소스 코드 디버깅을 쉽게 해 주는 SourceLink [2]
11629정성태7/26/20182813.NET Framework: 789. C# 컴파일 옵션 - Check for arithmetic overflow/underflow [1]
11628정성태7/26/20184678Graphics: 12. Unity로 실습하는 Shader (8) - 다중 패스(Multi-Pass Shader)
11627정성태7/25/20182174개발 환경 구성: 390. C# - 컴파일러 옵션 OSS signing / Public Signing
11626정성태7/25/20182943오류 유형: 471. .C++ 함수를 const로 바꾼 경우 C2440 컴파일 오류가 발생한다면?
11625정성태7/24/20182232Math: 49. GeoGebra 기하 (25) - 타원의 중심점 찾기파일 다운로드1
11624정성태7/24/20182773개발 환경 구성: 389. C# - 재현 가능한 빌드(reproducible builds) == Deterministic builds [4]
11623정성태7/24/20183387Math: 48. C# - 가우시안 함수의 이산형(discrete) 커널 값 생성파일 다운로드1
11622정성태7/23/20183971개발 환경 구성: 388. Windows 환경에서 Octave 패키지 설치하는 방법
11621정성태7/23/20182910VC++: 127. 멤버 함수에 대한 포인터를 외부에서 호출하는 방법파일 다운로드1
11620정성태8/3/20184489Graphics: 11. Unity로 실습하는 Shader (7) - Blur (평균값, 가우스, 중간값) 필터파일 다운로드1
11619정성태7/21/20183239Graphics: 10. Unity로 실습하는 Shader (6) - Mosaic Shading
11618정성태4/28/20202944개발 환경 구성: 387. 삼성 오디세이(Odyssey) 노트북의 운영체제를 새로 설치하는 방법
11617정성태7/20/20182948Team Foundation Server: 50. TFS 소스 코드 관리 기능 (5) - "Rollback", "Rollback Entire Changeset"
11616정성태7/17/20182808Graphics: 9. Unity Shader - 전역 변수의 초기화
11615정성태7/17/20183903.NET Framework: 788. RawInput을 이용한 키보드/마우스 입력 모니터링파일 다운로드1
11614정성태7/20/20185226Graphics: 8. Unity Shader - Texture의 UV 좌표에 대응하는 Pixel 좌표
11613정성태7/17/20183524Graphics: 7. Unity로 실습하는 Shader (5) - Flat Shading
... 16  17  18  19  20  21  22  23  24  25  26  27  28  [29]  30  ...