Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 10개 있습니다.)
VC++: 121. DXGI를 이용한 윈도우 화면 캡처 소스 코드(Visual C++)
; https://www.sysnet.pe.kr/2/0/11385

.NET Framework: 705. C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드
; https://www.sysnet.pe.kr/2/0/11400

.NET Framework: 706. C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력
; https://www.sysnet.pe.kr/2/0/11401

.NET Framework: 712. C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV
; https://www.sysnet.pe.kr/2/0/11407

.NET Framework: 713. C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV (2)
; https://www.sysnet.pe.kr/2/0/11408

.NET Framework: 913. C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 라이브러리
; https://www.sysnet.pe.kr/2/0/12238

.NET Framework: 1123. C# - (SharpDX + DXGI) 화면 캡처한 이미지를 빠르게 JPG로 변환하는 방법
; https://www.sysnet.pe.kr/2/0/12889

.NET Framework: 1126. C# - snagit처럼 화면 캡처를 연속으로 수행해 동영상 제작
; https://www.sysnet.pe.kr/2/0/12895

.NET Framework: 1128. C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리
; https://www.sysnet.pe.kr/2/0/12897

.NET Framework: 1152. C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)
; https://www.sysnet.pe.kr/2/0/12963




C# - (SharpDX + DXGI) 화면 캡처한 이미지를 빠르게 JPG로 변환하는 방법

예전 글에서,

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드
; https://www.sysnet.pe.kr/2/0/11400

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 라이브러리
; https://www.sysnet.pe.kr/2/0/12238

화면 캡처하는 방법을 소개했는데요, 이에 대해 다음의 질문이 들어왔군요. ^^

C# SharpDX 화면 캡쳐 관련해서 질문 드립니다.
; https://www.sysnet.pe.kr/3/0/5587

그러니까, 해당 질문을 했던 소스 코드를 구현해 보면 다음과 같이 할 수 있습니다.

private void CaptureLoop(DXGIManager manager, byte[] frame)
{
    while (true)
    {
        int signalId = EventWaitHandle.WaitAny(_waitSignals, Timeout.Infinite);

        if (signalId == 0)
        {
            break;
        }

        _bitmap = new Bitmap(manager.Width, manager.Height, PixelFormat.Format32bppArgb);

        Rectangle boundsRect = new Rectangle(0, 0, manager.Width, manager.Height);
        BitmapData bitmapData = _bitmap.LockBits(boundsRect, ImageLockMode.ReadWrite, _bitmap.PixelFormat);

        if (manager.Capture(frame, 1000) == true)
        {
            GCHandle pinnedArray = GCHandle.Alloc(frame, GCHandleType.Pinned);
            IntPtr srcPtr = pinnedArray.AddrOfPinnedObject();
            IntPtr dstPtr = bitmapData.Scan0;

            for (int y = 0; y < manager.Height; y++)
            {
                Utilities.CopyMemory(dstPtr, srcPtr, manager.Width * 4);
                srcPtr = IntPtr.Add(srcPtr, manager.Width * 4);
                dstPtr = IntPtr.Add(dstPtr, bitmapData.Stride);
            }

            pinnedArray.Free();
        }

        _bitmap.UnlockBits(bitmapData);

        // How to: Set JPEG Compression Level
        // https://learn.microsoft.com/en-us/dotnet/desktop/winforms/advanced/how-to-set-jpeg-compression-level
        {
            ImageCodecInfo jpgEncoder = GetEncoder(ImageFormat.Jpeg);

            System.Drawing.Imaging.Encoder myEncoder = System.Drawing.Imaging.Encoder.Quality;
            EncoderParameters myEncoderParameters = new EncoderParameters(1);
            EncoderParameter myEncoderParameter = new EncoderParameter(myEncoder, 80L);
            myEncoderParameters.Param[0] = myEncoderParameter;

            MemoryStream jpgStream = new MemoryStream();
            _bitmap.Save(jpgStream, jpgEncoder, myEncoderParameters);

            // File.WriteAllBytes("c:\\temp\\test.jpg", jpgStream.GetBuffer());
        }

        this.BeginInvoke((Action)(() => this.Invalidate()));
    }
}

그리고 질문하신 분의 의도는, JPG 이미지로 압축을 해 소켓 통신 시 데이터의 양을 줄이고 싶은 것입니다. 실제로, 1920 * 1080 이미지 데이터를 raw 데이터로 전송하면, 1920 * 1080 * 4(rgba)가 되므로 무려 8MB 가까운 크기가 됩니다. 따라서 이미지 압축을 할 만한 충분한 가치가 있는데요. 하나씩 개선을 해볼까요? ^^




우선, Capture에 전달한 버퍼를 위에서는 Bitmap에 새롭게 복사하고 있는데요, 사실 화면 캡처 양식과 Bitmap 데이터의 양식이 같으므로 그런 복사 과정을 생략하고 그냥 Bitmap이 마련한 버퍼를 전달하는 것이 가능합니다. 유의해야 하는 것이, Bitmap의 stride 값이 4의 배수(만약 negative stride로 지정했다면!)여야 한다는 것인데, 화면 캡처 데이터가 언제나 4의 배수이므로 사실 굳이 데이터 복사 과정이 필요 없는 것입니다.

따라서, 다음과 같이 바꿀 수 있습니다.

_bitmap = new Bitmap(manager.Width, manager.Height, PixelFormat.Format32bppArgb);

Rectangle boundsRect = new Rectangle(0, 0, manager.Width, manager.Height);
BitmapData bitmapData = _bitmap.LockBits(boundsRect, ImageLockMode.ReadWrite, _bitmap.PixelFormat);

if (manager.Capture(bitmapData.Scan0, 1000) == true)
{
    ImageCodecInfo jpgEncoder = GetEncoder(ImageFormat.Jpeg);

    System.Drawing.Imaging.Encoder myEncoder = System.Drawing.Imaging.Encoder.Quality;
    EncoderParameters myEncoderParameters = new EncoderParameters(1);
    EncoderParameter myEncoderParameter = new EncoderParameter(myEncoder, 80L);
    myEncoderParameters.Param[0] = myEncoderParameter;

    MemoryStream jpgStream = new MemoryStream();
    _bitmap.Save(jpgStream, jpgEncoder, myEncoderParameters);
    // File.WriteAllBytes("c:\\temp\\test_bmp.jpg", jpgStream.GetBuffer());

    _bitmap.UnlockBits(bitmapData);
}

코드가 훨씬 간단해졌습니다. 하지만, 실제로 해보면 저렇게 바꿨다고 해서 성능이 그다지 향상되지는 않습니다. 왜냐하면 1920*1080 모니터라고 했을 때 1080번 루프를 도는 것은 컴퓨터에게는 껌이기 때문입니다. ^^;




하지만, (그래도 찜찜한 stride도 그렇고) 굳이 Bitmap을 써야 할 필요가 있을까요? 개인적으로 예전에 OpenCV의 성능이 매우 믿음직스러웠는데요, ^^

내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유
; https://www.sysnet.pe.kr/2/0/11423

따라서 OpenCV에 이 과정을 맡기면,

OpenCV 응용 프로그램을 C#으로 구현 - OpenCvSharp
; https://www.sysnet.pe.kr/2/0/11402

C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV
; https://www.sysnet.pe.kr/2/0/11407

다음과 같이 재구성할 수 있습니다.

// Install-Package OpenCvSharp4 

Mat src = new Mat(manager.Height, manager.Width, MatType.CV_8UC4);
if (manager.Capture(src.Data, 1000) == true)
{
    ImageEncodingParam[] imParams = new ImageEncodingParam[1];
    imParams[0] = new ImageEncodingParam(ImwriteFlags.JpegQuality, 80);

    byte[] jpgBuffer = src.ImEncode(".jpg", imParams);

    // File.WriteAllBytes("c:\\temp\\test_mat.jpg", jpgBuffer); // 이미지가 정상인지 테스트
}

코드가 상당히 간결해져서 마음에 듭니다. ^^ 그리고 저렇게 해서 나온 최종 크기는 (제 경우에) 1920*1080 화면 캡처 시 178KB 정도입니다.




하지만, 정말 성능이 개선되었을지 테스트를 해봐야 합니다. ^^

제 컴퓨터 기준으로, 처음에 Bitmap을 경유해 JPG로 변환하는 것은 11~12ms 정도가 나왔습니다. 반면 OpenCVSharp으로 바꾼 경우에는 6~7ms가 나옵니다. 시간 상으로는 근소하지만 비율로는 2배 가까이 빨라졌으므로 고속 처리할 때는 OpenCVSharp을 사용할 의미가 충분히 있습니다. ^^

한 가지 재미있는 점은, OpenCVSharp의 옛날 버전으로 하는 경우 성능이 더 안 좋게 나옵니다. 가령 "C# - SharpDX + DXGI를 이용한 윈도우 화면 캡처 소스 코드 + Direct2D 출력 + OpenCV" 글에서 테스트했던 "3.3.1.20171117" 버전에서 위의 테스트를 해보면 24~26ms가 나옵니다.

그러니까, 구 버전의 OpenCVSharp에서 제공하는 Mat.ImEncode의 성능이 닷넷에서 원래 제공하던 ImageCodecInfo보다 2배 넘게 느린 것입니다.

따라서 가능한 최신 버전으로 업데이트하시고... 기왕이면 새로 나온 OpenCvSharp4를 설치하는 것이 좋겠습니다. ^^

참고로, JPEG Encoder를 직접 C#으로 만드는 것도 가능합니다.

A Simple JPEG Encoder in C#
; https://www.codeproject.com/Articles/83225/A-Simple-JPEG-Encoder-in-C

공부 차원에서는 저 소스 코드를 보면 되겠지만, 실제 업무에서는 "내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유"의 글에서처럼 C/C++의 힘을 빌리는 것이 성능상 더 좋습니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 9/7/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 61  62  63  64  65  66  67  68  69  70  71  72  73  74  [75]  ...
NoWriterDateCnt.TitleFile(s)
11935정성태6/9/201915307.NET Framework: 843. C# - PLplot 출력을 파일이 아닌 Window 화면으로 변경
11934정성태6/7/201916636VC++: 133. typedef struct와 타입 전방 선언으로 인한 C2371 오류파일 다운로드1
11933정성태6/7/201916283VC++: 132. enum 정의를 C++11의 enum class로 바꿀 때 유의할 사항파일 다운로드1
11932정성태6/7/201914936오류 유형: 544. C++ - fatal error C1017: invalid integer constant expression파일 다운로드1
11931정성태6/6/201915170개발 환경 구성: 441. C# - CairoSharp/GtkSharp 사용을 위한 프로젝트 구성 방법
11930정성태6/5/201915637.NET Framework: 842. .NET Reflection을 대체할 System.Reflection.Metadata 소개 [1]
11929정성태6/5/201915422.NET Framework: 841. Windows Forms/C# - 클립보드에 RTF 텍스트를 복사 및 확인하는 방법 [1]
11928정성태6/5/201913880오류 유형: 543. PowerShell 확장 설치 시 "Catalog file '[...].cat' is not found in the contents of the module" 오류 발생
11927정성태6/5/201915240스크립트: 15. PowerShell ISE의 스크립트를 복사 후 PPT/Word에 붙여 넣으면 한글이 깨지는 문제 [1]
11926정성태6/4/201916274오류 유형: 542. Visual Studio - pointer to incomplete class type is not allowed
11925정성태6/4/201915333VC++: 131. Visual C++ - uuid 확장 속성과 __uuidof 확장 연산자파일 다운로드1
11924정성태5/30/201917331Math: 57. C# - 해석학적 방법을 이용한 최소 자승법 [1]파일 다운로드1
11923정성태5/30/201916923Math: 56. C# - 그래프 그리기로 알아보는 경사 하강법의 최소/최댓값 구하기파일 다운로드1
11922정성태5/29/201914768.NET Framework: 840. ML.NET 데이터 정규화파일 다운로드1
11921정성태5/28/201920096Math: 55. C# - 다항식을 위한 최소 자승법(Least Squares Method)파일 다운로드1
11920정성태5/28/201912982.NET Framework: 839. C# - PLplot 색상 제어
11919정성태5/27/201916689Math: 54. C# - 최소 자승법의 1차 함수에 대한 매개변수를 단순 for 문으로 구하는 방법 [1]파일 다운로드1
11918정성태5/25/201917770Math: 53. C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method)파일 다운로드1
11917정성태5/24/201918051Math: 52. MathNet을 이용한 간단한 통계 정보 처리 - 분산/표준편차파일 다운로드1
11916정성태5/24/201915946Math: 51. MathNET + OxyPlot을 이용한 간단한 통계 정보 처리 - Histogram파일 다운로드1
11915정성태5/24/201918455Linux: 11. 리눅스의 환경 변수 관련 함수 정리 - putenv, setenv, unsetenv
11914정성태5/24/201917944Linux: 10. 윈도우의 GetTickCount와 리눅스의 clock_gettime파일 다운로드1
11913정성태5/23/201915403.NET Framework: 838. C# - 숫자형 타입의 bit(2진) 문자열, 16진수 문자열 구하는 방법파일 다운로드1
11912정성태5/23/201915094VS.NET IDE: 137. Visual Studio 2019 버전 16.1부터 리눅스 C/C++ 프로젝트에 추가된 WSL 지원
11911정성태5/23/201914012VS.NET IDE: 136. Visual Studio 2019 - 리눅스 C/C++ 프로젝트에 인텔리센스가 동작하지 않는 경우
11910정성태5/23/201923284Math: 50. C# - MathNet.Numerics의 Matrix(행렬) 연산 [1]파일 다운로드1
... 61  62  63  64  65  66  67  68  69  70  71  72  73  74  [75]  ...