C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV
자, 그럼 OpenCV도 대강 연습했으니 ^^
C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404
이제 화면 캡처 영상을 OpenCV를 이용해 가공하고 Direct2D로 출력하는 방법을 살펴보겠습니다. 사실, 그 동안의 글에 설명된 내용을 병합하는 과정에 불과하므로 특별한 것이 없습니다. 우선, 소스 코드의 시작은 다음의 글에 첨부한 프로젝트로 합니다.
C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력
; https://www.sysnet.pe.kr/2/0/11401
당연히 OpenCVSharp을 참조 추가하고,
Install-Package OpenCvSharp3-AnyCPU -Version 3.3.1.20171117
"
C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력" 소스 코드에서 Capture 데이터를 조정하면 끝입니다.
그런데, 순수 RGB 데이터만 포함하고 있는 byte 배열로부터 Mat을 생성하는 방법이 없습니다.
[Cpp] Converting Image 글에 보면 byte [] to Mat이 있지만 그것은 byte 배열에 이미지 헤더 정보까지 모두 포함된 경우에 한해 적용됩니다. 즉, RGB 배열 값만 있는 것을 다음과 같이 하면,
Mat mat = Cv2.ImDecode(buffer, ImreadModes.Color);
mat 인스턴스에는 0 * 0 * CV_8UC1 규격으로 초기화되고 이는 분명 잘못된 이미지입니다. (이상하게도 예외가 발생하지 않고 그냥 잘못된 Mat 인스턴스가 반환됩니다.)
이럴 때는, byte [] 타입의 RGB 데이터로부터 초기화할 것이 아니라, 적절한 규격의 Mat 인스턴스로부터 바이트 배열을 얻어와 화면 캡처 이미지를 그곳에 저장하도록 바꾸는 것이 좋습니다. 따라서 Capture 소스 코드를 다음과 같이 바꿔줍니다.
Mat mat = new Mat(new OpenCvSharp.Size(manager.Width, manager.Height), MatType.CV_8UC4);
IntPtr dstPtr = mat.Data;
if (manager.Capture(copyFrameBuffer, dstPtr, 1000) == true)
{
using (Mat gray = mat.CvtColor(ColorConversionCodes.BGRA2GRAY))
using (Mat blur = gray.GaussianBlur(new OpenCvSharp.Size(7, 7), 1.5, 1.5))
using (Mat canny = blur.Canny(0, 30, 3))
using (Mat last = canny.CvtColor(ColorConversionCodes.GRAY2BGRA))
{
DataPointer dataPointer = new DataPointer(last.Data, (int)last.Total() * last.Channels());
SharpDX.Direct2D1.Bitmap bitmap = _renderTarget.CreateBitmap(dataPointer);
if (bitmap != null)
{
_queue.Add(bitmap);
_count++;
this.Invoke((Action)(() => this.Invalidate()));
}
}
}
(참고로, 1920 * 1080 화면을 저렇게 처리하는데 i5-4670 3.4GHz + GTX 1070 시스템에서 CPU 70%에 30fps 정도의 성능이 나옵니다.)
다음 그림은 Visual Studio가 실행된 모니터의 화면을 캡처해서 Blur/Canny 처리한 것입니다.
(
첨부 파일은 이 글의 예제 코드를 포함합니다.)
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]