Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV

자, 그럼 OpenCV도 대강 연습했으니 ^^

C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

이제 화면 캡처 영상을 OpenCV를 이용해 가공하고 Direct2D로 출력하는 방법을 살펴보겠습니다. 사실, 그 동안의 글에 설명된 내용을 병합하는 과정에 불과하므로 특별한 것이 없습니다. 우선, 소스 코드의 시작은 다음의 글에 첨부한 프로젝트로 합니다.

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력
; https://www.sysnet.pe.kr/2/0/11401

당연히 OpenCVSharp을 참조 추가하고,

Install-Package OpenCvSharp3-AnyCPU -Version 3.3.1.20171117 

"C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력" 소스 코드에서 Capture 데이터를 조정하면 끝입니다.

그런데, 순수 RGB 데이터만 포함하고 있는 byte 배열로부터 Mat을 생성하는 방법이 없습니다. [Cpp] Converting Image 글에 보면 byte [] to Mat이 있지만 그것은 byte 배열에 이미지 헤더 정보까지 모두 포함된 경우에 한해 적용됩니다. 즉, RGB 배열 값만 있는 것을 다음과 같이 하면,

Mat mat = Cv2.ImDecode(buffer, ImreadModes.Color);

mat 인스턴스에는 0 * 0 * CV_8UC1 규격으로 초기화되고 이는 분명 잘못된 이미지입니다. (이상하게도 예외가 발생하지 않고 그냥 잘못된 Mat 인스턴스가 반환됩니다.)

이럴 때는, byte [] 타입의 RGB 데이터로부터 초기화할 것이 아니라, 적절한 규격의 Mat 인스턴스로부터 바이트 배열을 얻어와 화면 캡처 이미지를 그곳에 저장하도록 바꾸는 것이 좋습니다. 따라서 Capture 소스 코드를 다음과 같이 바꿔줍니다.

Mat mat = new Mat(new OpenCvSharp.Size(manager.Width, manager.Height), MatType.CV_8UC4);

IntPtr dstPtr = mat.Data;

if (manager.Capture(copyFrameBuffer, dstPtr, 1000) == true)
{
    using (Mat gray = mat.CvtColor(ColorConversionCodes.BGRA2GRAY))
    using (Mat blur = gray.GaussianBlur(new OpenCvSharp.Size(7, 7), 1.5, 1.5))
    using (Mat canny = blur.Canny(0, 30, 3))
    using (Mat last = canny.CvtColor(ColorConversionCodes.GRAY2BGRA))
    {
        DataPointer dataPointer = new DataPointer(last.Data, (int)last.Total() * last.Channels());

        SharpDX.Direct2D1.Bitmap bitmap = _renderTarget.CreateBitmap(dataPointer);
        if (bitmap != null)
        {
            _queue.Add(bitmap);
            _count++;

            this.Invoke((Action)(() => this.Invalidate()));
        }
    }
}

(참고로, 1920 * 1080 화면을 저렇게 처리하는데 i5-4670 3.4GHz + GTX 1070 시스템에서 CPU 70%에 30fps 정도의 성능이 나옵니다.)


다음 그림은 Visual Studio가 실행된 모니터의 화면을 캡처해서 Blur/Canny 처리한 것입니다.

dxgi_opencv_1.png

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 12/18/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-12-18 11시48분
C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV (2)
; http://www.sysnet.pe.kr/2/0/11408
정성태

... 16  17  18  19  20  21  22  23  24  25  26  27  28  [29]  30  ...
NoWriterDateCnt.TitleFile(s)
11629정성태7/26/20182771.NET Framework: 789. C# 컴파일 옵션 - Check for arithmetic overflow/underflow [1]
11628정성태7/26/20184630Graphics: 12. Unity로 실습하는 Shader (8) - 다중 패스(Multi-Pass Shader)
11627정성태7/25/20182158개발 환경 구성: 390. C# - 컴파일러 옵션 OSS signing / Public Signing
11626정성태7/25/20182920오류 유형: 471. .C++ 함수를 const로 바꾼 경우 C2440 컴파일 오류가 발생한다면?
11625정성태7/24/20182218Math: 49. GeoGebra 기하 (25) - 타원의 중심점 찾기파일 다운로드1
11624정성태7/24/20182749개발 환경 구성: 389. C# - 재현 가능한 빌드(reproducible builds) == Deterministic builds [4]
11623정성태7/24/20183364Math: 48. C# - 가우시안 함수의 이산형(discrete) 커널 값 생성파일 다운로드1
11622정성태7/23/20183943개발 환경 구성: 388. Windows 환경에서 Octave 패키지 설치하는 방법
11621정성태7/23/20182895VC++: 127. 멤버 함수에 대한 포인터를 외부에서 호출하는 방법파일 다운로드1
11620정성태8/3/20184464Graphics: 11. Unity로 실습하는 Shader (7) - Blur (평균값, 가우스, 중간값) 필터파일 다운로드1
11619정성태7/21/20183202Graphics: 10. Unity로 실습하는 Shader (6) - Mosaic Shading
11618정성태4/28/20202932개발 환경 구성: 387. 삼성 오디세이(Odyssey) 노트북의 운영체제를 새로 설치하는 방법
11617정성태7/20/20182929Team Foundation Server: 50. TFS 소스 코드 관리 기능 (5) - "Rollback", "Rollback Entire Changeset"
11616정성태7/17/20182791Graphics: 9. Unity Shader - 전역 변수의 초기화
11615정성태7/17/20183872.NET Framework: 788. RawInput을 이용한 키보드/마우스 입력 모니터링파일 다운로드1
11614정성태7/20/20185192Graphics: 8. Unity Shader - Texture의 UV 좌표에 대응하는 Pixel 좌표
11613정성태7/17/20183504Graphics: 7. Unity로 실습하는 Shader (5) - Flat Shading
11612정성태7/16/20183036Windows: 148. Windows - Raw Input의 Top level collection 의미
11611정성태8/3/20183676Graphics: 6. Unity로 실습하는 Shader (4) - 퐁 셰이딩(phong shading)
11610정성태8/3/20182483Graphics: 5. Unity로 실습하는 Shader (3) - 고로 셰이딩(gouraud shading) + 퐁 모델(Phong model) + Texture
11609정성태8/3/20183479Graphics: 4. Unity로 실습하는 Shader (2) - 고로 셰이딩(gouraud shading) + 퐁 모델(Phong model)
11608정성태7/17/20185657Graphics: 3. Unity로 실습하는 Shader (1) - 컬러 반전 및 상하/좌우 뒤집기
11607정성태8/30/20185645Graphics: 2. Unity로 실습하는 Shader
11606정성태8/14/20186117사물인터넷: 19. PC에 연결해 동작하는 자신만의 USB 장치 만들어 보기파일 다운로드1
11605정성태8/9/20183196사물인터넷: 18. New NodeMcu v3 아두이노 호환 보드의 내장 LED 및 입력 핀 사용법파일 다운로드1
11604정성태7/12/20182663Math: 47. GeoGebra 기하 (24) - 정다각형파일 다운로드1
... 16  17  18  19  20  21  22  23  24  25  26  27  28  [29]  30  ...