C# - OpenCvSharp의 Mat 데이터 조작 방법
OpenCV를 C++로 사용하는 경우 Mat의 데이터 조작에 대해 다음의 글에서 보는 것처럼 4가지 정도로 나눠볼 수 있습니다.
(OpenCV Study) Mat point access method, get pixel
; http://study.marearts.com/2014/04/opencv-study-mat-point-access-method.html
OpenCV Pixel Access, at, ptr, data, iteration (example)
; http://study.marearts.com/2016/06/opencv-pixel-access-at-ptr-data.html
각각 "At", "Ptr", "Data", "Iteration"으로 이름을 붙였는데 C#에서도 이와 유사하게 제어하는 것이 가능합니다. 우선 At 방법부터 한번 볼까요? ^^
아래는 C#으로 At 방식을 사용해 RGB 이미지의 색상을 반전시키는 코드를 보여줍니다.
private void UsingAt(Mat image)
{
for (int i = 0; i < image.Rows; i++)
{
for (int j = 0; j < image.Cols; j++)
{
var pt = image.At<Vec3b>(i, j);
pt.Item0 = (byte)(255 - pt.Item0);
pt.Item1 = (byte)(255 - pt.Item1);
pt.Item2 = (byte)(255 - pt.Item2);
image.Set<Vec3b>(i, j, pt);
}
}
}
그리고 다음은 위의 코드를 Ptr 방식으로 바꾼 것입니다.
private unsafe void UsingPtr(Mat image)
{
for (int i = 0; i < image.Rows; i++)
{
Vec3b* ptr = (Vec3b*)image.Ptr(i).ToPointer();
for (int j = 0; j < image.Cols; j++)
{
Vec3b bgr = ptr[j];
byte b = bgr.Item0;
byte g = ptr[j][1]; // bgr.Item1;
byte r = bgr.Item2;
ptr[j].Item0 = (byte)(255 - b);
ptr[j].Item1 = (byte)(255 - g);
ptr[j].Item2 = (byte)(255 - r);
// 또는
// ptr[j] = new Vec3b((byte)(255 - b), (byte)(255 - g), (byte)(255 - r));
}
}
}
Data를 이용하는 방식도 역시 C++과 유사하게 구현할 수 있습니다.
private unsafe void UsingData(Mat image)
{
for (int i = 0; i < image.Rows; i ++)
{
for (int j = 0; j < image.Cols; j++)
{
byte r, g, b;
// byte *data = (byte *)image.Data.ToPointer();
byte* data = (byte*)image.DataPointer;
b = data[i * image.Step() + j * image.ElemSize() + 0];
g = data[i * image.Step() + j * image.ElemSize() + 1];
r = data[i * image.Step() + j * image.ElemSize() + 2];
data[i * image.Step() + j * image.ElemSize() + 0] = (byte)(255 - b);
data[i * image.Step() + j * image.ElemSize() + 1] = (byte)(255 - g);
data[i * image.Step() + j * image.ElemSize() + 2] = (byte)(255 - r);
}
}
}
마지막으로 Iterator라고 명시한 것은 OpenCVSharp에서 유사한 메서드를 제공해준 덕분에 다음과 같이 구현할 수 있습니다.
private unsafe void UsingIterator(Mat image)
{
image.ForEachAsVec3b((ptrValue, ptrPosition) =>
{
ptrValue->Item0 = (byte)(255 - ptrValue->Item0);
ptrValue->Item1 = (byte)(255 - ptrValue->Item1);
ptrValue->Item2 = (byte)(255 - ptrValue->Item2);
});
}
참고로, OpenCVSharp으로 검색해 보면 다음과 같이 정리된 글을 볼 수 있습니다.
[Cpp] Accessing Pixel
; https://github.com/shimat/opencvsharp/wiki/%5BCpp%5D-Accessing-Pixel
(
첨부 파일의 "WindowsFormsApp1" 프로젝트는 위의 4가지 방법을 다룬 소스 코드를 포함합니다.)
C++ 코드를 보면 STL vector 타입과 Mat의 데이터 변환이 종종 나옵니다.
Vector to mat, Mat to vector
; http://study.marearts.com/2014/01/opencv-vector-to-mat-mat-to-vector.html
C++의 vector에 해당하는 타입이 C#에는 없지만 유사하게 List<T>로 다룰 수는 있습니다.
우선 MatToVector, 즉 MatToList는 다음과 같이 처리할 수 있습니다.
static void Main(string[] args)
{
Mat mat = CreateSampleMat();
List<float> list = MatToList(mat);
}
private static List<float> MatToList(Mat mat)
{
float[] copied = new float[mat.Total() * mat.Channels()];
mat.GetArray(0, 0, copied);
return new List<float>(copied);
}
mat.GetArray 메서드 한 번에 데이터 복사가 수행되므로 C++에 비해 부하가 더 발생하지도 않습니다. 이제 반대로 VectorToMat/VectorToList를 구현해 보겠습니다.
static void Main(string[] args)
{
Mat mat = CreateSampleMat();
List<float> list = MatToList(mat);
mat = ListToMat(list, 3, 4);
Console.WriteLine(mat.Dump());
}
private static Mat ListToMat(List<float> list, int r, int c)
{
Array arr = list.ToArray();
return new Mat(new int[] { r, c }, MatType.CV_32FC1, arr);
}
그런데 OpenCV Mat의 경우 vector 내부의 데이터와 연결하는 것이 가능합니다. 즉, vector.data() 함수가 반환하는 메모리 포인터를 기반으로 초기화하는 경우인데 이럴 때는 메모리 복사 작업이 발생하지 않습니다. 반면 위의 코드에서는 list.ToArray() 호출로 인해 반드시 메모리 복사 작업을 수반하게 되어 있습니다.
아쉽게도 이에 대한 해결책은 공식적으로 없습니다. 단지 Reflection을 이용하면 다음과 같은 식으로 우회할 수는 있습니다.
private static Mat ListToMat_Reflection(List<float> list, int r, int c)
{
return new Mat(new int[] { r, c }, MatType.CV_32FC1, GetItemsFromList(list));
}
private static float[] GetItemsFromList(List<float> list)
{
Type type = list.GetType();
FieldInfo fi = type.GetField("_items", System.Reflection.BindingFlags.Instance | System.Reflection.BindingFlags.NonPublic);
return fi.GetValue(list) as float[];
}
위와 같이 처리하면, 데이터 복사 없이 List 내부의 (위의 예에서는 float []) 배열에 기반을 둬 Mat을 만들 수 있습니다.
그 외에, OpenCvSharp의 구현에는 C++ vector에 대한 소스 코드 변환을 쉽게 하도록 VectorOfFloat과 같은 일련의 VectorOf[type] 도우미 타입들이 있습니다. 그리고 이들은 생성자로 IEnumerable을 인자로 받으므로 반드시 데이터 복사를 수반하게 됩니다.
VectorOfFloat vof = new VectorOfFloat(list); // list = { 0, 1, 2, 3 }
float *pt = (float *)vof.ElemPtr.ToPointer();
list[0] = 6; // 복사되었기 때문에 list의 값을 바꿔도 vof 인스턴스에는 영향을 주지 않음
Console.WriteLine(pt[0]); // pt[0] == 0
(
첨부 파일의 "ConsoleApp1" 프로젝트는 위의 vector/Mat 변환 방법을 다룬 소스 코드를 포함합니다.)
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]