Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV

자, 그럼 OpenCV도 대강 연습했으니 ^^

C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

이제 화면 캡처 영상을 OpenCV를 이용해 가공하고 Direct2D로 출력하는 방법을 살펴보겠습니다. 사실, 그 동안의 글에 설명된 내용을 병합하는 과정에 불과하므로 특별한 것이 없습니다. 우선, 소스 코드의 시작은 다음의 글에 첨부한 프로젝트로 합니다.

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력
; https://www.sysnet.pe.kr/2/0/11401

당연히 OpenCVSharp을 참조 추가하고,

Install-Package OpenCvSharp3-AnyCPU -Version 3.3.1.20171117 

"C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력" 소스 코드에서 Capture 데이터를 조정하면 끝입니다.

그런데, 순수 RGB 데이터만 포함하고 있는 byte 배열로부터 Mat을 생성하는 방법이 없습니다. [Cpp] Converting Image 글에 보면 byte [] to Mat이 있지만 그것은 byte 배열에 이미지 헤더 정보까지 모두 포함된 경우에 한해 적용됩니다. 즉, RGB 배열 값만 있는 것을 다음과 같이 하면,

Mat mat = Cv2.ImDecode(buffer, ImreadModes.Color);

mat 인스턴스에는 0 * 0 * CV_8UC1 규격으로 초기화되고 이는 분명 잘못된 이미지입니다. (이상하게도 예외가 발생하지 않고 그냥 잘못된 Mat 인스턴스가 반환됩니다.)

이럴 때는, byte [] 타입의 RGB 데이터로부터 초기화할 것이 아니라, 적절한 규격의 Mat 인스턴스로부터 바이트 배열을 얻어와 화면 캡처 이미지를 그곳에 저장하도록 바꾸는 것이 좋습니다. 따라서 Capture 소스 코드를 다음과 같이 바꿔줍니다.

Mat mat = new Mat(new OpenCvSharp.Size(manager.Width, manager.Height), MatType.CV_8UC4);

IntPtr dstPtr = mat.Data;

if (manager.Capture(copyFrameBuffer, dstPtr, 1000) == true)
{
    using (Mat gray = mat.CvtColor(ColorConversionCodes.BGRA2GRAY))
    using (Mat blur = gray.GaussianBlur(new OpenCvSharp.Size(7, 7), 1.5, 1.5))
    using (Mat canny = blur.Canny(0, 30, 3))
    using (Mat last = canny.CvtColor(ColorConversionCodes.GRAY2BGRA))
    {
        DataPointer dataPointer = new DataPointer(last.Data, (int)last.Total() * last.Channels());

        SharpDX.Direct2D1.Bitmap bitmap = _renderTarget.CreateBitmap(dataPointer);
        if (bitmap != null)
        {
            _queue.Add(bitmap);
            _count++;

            this.Invoke((Action)(() => this.Invalidate()));
        }
    }
}

(참고로, 1920 * 1080 화면을 저렇게 처리하는데 i5-4670 3.4GHz + GTX 1070 시스템에서 CPU 70%에 30fps 정도의 성능이 나옵니다.)


다음 그림은 Visual Studio가 실행된 모니터의 화면을 캡처해서 Blur/Canny 처리한 것입니다.

dxgi_opencv_1.png

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 12/18/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2017-12-18 11시48분
C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV (2)
; http://www.sysnet.pe.kr/2/0/11408
정성태

... 16  17  18  19  20  21  22  23  24  25  26  27  28  29  [30]  ...
NoWriterDateCnt.TitleFile(s)
11478정성태4/9/20182853디버깅 기술: 115. windbg - 덤프 파일로부터 PID와 환경 변수 등의 정보를 구하는 방법
11477정성태4/8/20182953오류 유형: 460. windbg - sos 명령어 수행 시 c0000006 오류 발생
11476정성태4/9/20182351디버깅 기술: 114. windbg - !threads 출력 결과로부터 닷넷 관리 스레드(System.Threading.Thread) 객체를 구하는 방법
11475정성태3/28/20183218디버깅 기술: 113. windbg - Thread.Suspend 호출 시 응용 프로그램 hang 현상에 대한 덤프 분석
11474정성태3/27/20182331오류 유형: 459. xperf: error: TEST.Event: Invalid flags. (0x3ec).
11473정성태3/22/20183699.NET Framework: 734. C# - Thread.Suspend 호출 시 응용 프로그램 hang 현상파일 다운로드1
11472정성태3/22/20183325개발 환경 구성: 356. GTX 1070, GTX 960, GT 640M의 cudaGetDeviceProperties 출력 결과
11471정성태3/20/20182881VC++: 125. CUDA로 작성한 RGB2RGBA 성능파일 다운로드1
11470정성태3/20/20185094오류 유형: 458. Visual Studio - CUDA 프로젝트 빌드 시 오류 C1189, expression must have a constant value
11469정성태3/19/20182854오류 유형: 457. error MSB3103: Invalid Resx file. Could not load file or assembly 'System.Windows.Forms, ...' or one of its dependencies.
11468정성태3/19/20182855오류 유형: 456. 닷넷 응용 프로그램 실행 시 0x80131401 예외 발생
11467정성태3/19/20182434오류 유형: 455. Visual Studio Installer - 업데이트 실패
11466정성태3/18/20182960개발 환경 구성: 355. 한 대의 PC에서 2개 이상의 DirectX 게임을 실행하는 방법
11463정성태3/15/20183178.NET Framework: 733. 스레드 간의 read/write 시에도 lock이 필요 없는 경우파일 다운로드1
11462정성태3/14/20183612개발 환경 구성: 354. HTTPS 호출에 대한 TLS 설정 확인하는 방법 [1]
11461정성태3/13/20184660오류 유형: 454. 윈도우 업데이트 설치 오류 - 0x800705b4 [1]
11460정성태3/14/20183275디버깅 기술: 112. windbg - 닷넷 메모리 덤프에서 전역 객체의 내용을 조사하는 방법
11459정성태3/13/20182416오류 유형: 453. Debug Diagnostic Tool에서 mscordacwks.dll을 찾지 못하는 문제
11458정성태2/21/20182903오류 유형: 452. This share requires the obsolete SMB1 protocol, which is unsafe and could expose your system to attack.
11457정성태2/17/20184400.NET Framework: 732. C# - Task.ContinueWith 설명파일 다운로드1
11456정성태4/10/20185911.NET Framework: 731. C# - await을 Task 타입이 아닌 사용자 정의 타입에 적용하는 방법 [3]파일 다운로드1
11455정성태2/17/20183461오류 유형: 451. ASP.NET Core - An error occurred during the compilation of a resource required to process this request.
11454정성태2/12/20187817기타: 71. 만료된 Office 제품 키를 변경하는 방법
11453정성태1/31/20182532오류 유형: 450. Azure Cloud Services(classic) 배포 시 "Certificate with thumbprint ... doesn't exist." 오류 발생
11452정성태1/31/20185259기타: 70. 재현 가능한 최소한의 예제 프로젝트란? [3]
11451정성태1/24/20183057디버깅 기술: 111. x86 메모리 덤프 분석 시 닷넷 메서드의 호출 인자 값 확인
... 16  17  18  19  20  21  22  23  24  25  26  27  28  29  [30]  ...