Microsoft MVP성태의 닷넷 이야기
.NET Framework: 708. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 [링크 복사], [링크+제목 복사],
조회: 33515
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 10개 있습니다.)
.NET Framework: 707. OpenCV 응용 프로그램을 C#으로 구현 - OpenCvSharp
; https://www.sysnet.pe.kr/2/0/11402

.NET Framework: 708. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리
; https://www.sysnet.pe.kr/2/0/11403

.NET Framework: 709. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

.NET Framework: 710. C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11405

.NET Framework: 711. C# - OpenCvSharp의 Mat 데이터 조작 방법
; https://www.sysnet.pe.kr/2/0/11406

.NET Framework: 723. C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산)
; https://www.sysnet.pe.kr/2/0/11422

VC++: 123. 내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유
; https://www.sysnet.pe.kr/2/0/11423

.NET Framework: 781. C# - OpenCvSharp 사용 시 포인터를 이용한 속도 향상
; https://www.sysnet.pe.kr/2/0/11567

개발 환경 구성: 447. Visual Studio Code에서 OpenCvSharp 개발 환경 구성
; https://www.sysnet.pe.kr/2/0/11971

Graphics: 38. C# - OpenCvSharp.VideoWriter에 BMP 파일을 1초씩 출력하는 예제
; https://www.sysnet.pe.kr/2/0/12485




C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리

OpenCvSharp을 이용해,

OpenCV 응용 프로그램을 C#으로 구현 - OpenCvSharp
; https://www.sysnet.pe.kr/2/0/11402

동영상 처리하는 것도 다음과 같이 간단합니다.

[Cpp] Capturing Video
; https://github.com/shimat/opencvsharp/wiki/%5BCpp%5D-Capturing-Video

using OpenCvSharp;
using System;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            VideoCapture capture = new VideoCapture("c:\\temp\\test.avi");

            int sleepTime = (int)Math.Round(1000 / capture.Fps);

            using (Window window = new Window("capture"))
            using (Mat image = new Mat()) // Frame image buffer
            {
                // When the movie playback reaches end, Mat.data becomes NULL.
                while (true)
                {
                    capture.Read(image); // same as cvQueryFrame
                    if (image.Empty())
                        break;

                    window.ShowImage(image);
                    Cv2.WaitKey(sleepTime);
                }
            }
        }
    }
}

참고로 Cv2.WaitKey를 Thread.Sleep으로 바꾸면 동영상 출력이 안됩니다. (아마도 Cv2.WaitKey 내부 로직에는 OpenCvSharp.Window의 메시지 처리 등도 포함이 된 것 같습니다.)




그런데, Windows Forms로 올려서 OpenCvSharp.Window 없이 처리하려면 어떻게 해야 할까요? 이를 위해 다음과 같은 식으로 처리를 해봤는데요.

using OpenCvSharp;
using OpenCvSharp.Extensions;
using System;
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Drawing;
using System.Threading;
using System.Windows.Forms;

namespace WindowsFormsApp1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        protected override void OnPaintBackground(PaintEventArgs e)
        {
         //  base.OnPaintBackground(e);
        }

        protected override void OnPaint(PaintEventArgs e)
        {
            base.OnPaint(e);
            var g = e.Graphics;
            
            while (true)
            {
                if (_q.TryTake(out Bitmap item) == true)
                {
                    g.DrawImage(item, new PointF(0, 0));
                    item.Dispose();
                }
                else
                {
                    break;
                }
            }
        }

        BlockingCollection<Bitmap> _q = new BlockingCollection<Bitmap>();

        private Thread camera;

        private void CaptureCameraCallback()
        {
            VideoCapture capture = new VideoCapture("c:\\temp\\test.avi");

            if (capture.IsOpened() == false)
            {
                return;
            }

            int fps = (int)capture.Fps;

            int expectedProcessTimePerFrame = 1000 / fps;
            Stopwatch st = new Stopwatch();
            st.Start();

            using (Mat image = new Mat())
            {
                while (true)
                {
                    long started = st.ElapsedMilliseconds;
                    capture.Read(image);

                    if (image.Empty() == true)
                    {
                        break;
                    }

                    _q.Add(BitmapConverter.ToBitmap(image));
                    this.Invoke((Action)(() => this.Invalidate()));

                    int elapsed = (int)(st.ElapsedMilliseconds - started);
                    int delay = expectedProcessTimePerFrame - elapsed;

                    if (delay > 0)
                    {
                        Thread.Sleep(delay);
                    }
                }
            }
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            camera = new Thread(CaptureCameraCallback);
            camera.IsBackground = true;
            camera.Start();
        }
    }
}

이전의 OpenCvSharp.Window를 이용했던 예제와 비교해 성능이 심각하게 하락했습니다. 예를 들어 1280 * 720 해상도의 24 fps 동영상도 화면이 뚝뚝 끊기면서 나오고 CPU 사용량도 늘었습니다. 단순히 OpenCvSharp.Window를 출력할 때는 CPU가 거의 0에 가깝게 소비하고 있었는데 위와 같이 바꾸니까 항상 7 ~ 12% 이상을 소비합니다. (4Core 기준)

물론 OpenCvSharp.Window를 사용할 때와는 다르게 ToBitmap의 호출로 인한 버퍼 복사에 대한 부하가 있겠지만 가장 병목이 되는 지점은 Graphics.DrawImage였습니다. DrawImage 호출에 20ms ~ 50ms까지 부하가 나오므로 24fps를 위한 최소 기준인 41ms를 심심치 않게 초과하는 것입니다.

Graphics.DrawImage에 대해 검색해 봐도 비슷한 의견을 많이 볼 수 있습니다.

Is Graphics.DrawImage too slow for bigger images?
; https://stackoverflow.com/questions/11020710/is-graphics-drawimage-too-slow-for-bigger-images

그러니까, 혹시나 GDI로 영상 처리를 한다면 단일 프레임은 그나마 상관없겠지만 다중 프레임을 처리해야 하는 상황이라면 이런 성능 차이를 고려해 OpenCvSharp.Window로 처리하는 것이 권장됩니다.

(첨부한 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 12/26/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2017-12-17 01시46분
C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; http://www.sysnet.pe.kr/2/0/11404
정성태
2018-04-13 04시28분
[강용규] onpaint 의
        
if (_q.TryTake(out SharpDX.Direct2D1.Bitmap item) == true)

error CS1003: 구문 오류입니다. ','이(가) 필요합니다.
라는 오류가 뜨는데 이유가 무엇인지 혹시 아시는지요 ㅠ
[guest]
2018-04-13 06시24분
out 예약어가 괄호 안에서 사용할 수 있는 것은 C# 7.0부터 가능합니다. 6.0 이하의 컴파일러를 사용중이시라면 다음과 같이 변경하셔야 합니다.

SharpDX.Direct2D1.Bitmap item;
if (_q.TryTake(out item) == true)
정성태

... 61  62  63  64  65  66  67  [68]  69  70  71  72  73  74  75  ...
NoWriterDateCnt.TitleFile(s)
12269정성태7/16/202017771오류 유형: 632. .NET Core 웹 응용 프로그램 - The process was terminated due to an unhandled exception.
12268정성태7/15/202020653오류 유형: 631. .NET Core 웹 응용 프로그램 오류 - HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process
12267정성태7/15/202022595.NET Framework: 927. C# - 윈도우 프로그램에서 Credential Manager를 이용한 보안 정보 저장파일 다운로드1
12266정성태7/14/202019357오류 유형: 630. 사용자 계정을 지정해 CreateService API로 서비스를 등록한 경우 "Error 1069: The service did not start due to a logon failure." 오류발생
12265정성태7/10/202018226오류 유형: 629. Visual Studio - 웹 애플리케이션 실행 시 "Unable to connect to web server 'IIS Express'." 오류 발생
12264정성태7/9/202029841오류 유형: 628. docker: Error response from daemon: Conflict. The container name "..." is already in use by container "...".
12261정성태7/9/202020670VS.NET IDE: 148. 윈도우 10에서 .NET Core 응용 프로그램을 리눅스 환경에서 실행하는 2가지 방법 - docker, WSL 2 [5]
12260정성태7/8/202018575.NET Framework: 926. C# - ETW를 이용한 ThreadPool 스레드 감시파일 다운로드1
12259정성태7/8/202017409오류 유형: 627. nvlddmkm.sys의 BAD_POOL_HEADER BSOD 문제 [1]
12258정성태7/8/202021302기타: 77. DataDog APM 간략 소개
12257정성태7/7/202017546.NET Framework: 925. C# - ETW를 이용한 Monitor Enter/Exit 감시파일 다운로드1
12256정성태7/7/202019265.NET Framework: 924. C# - Reflection으로 변경할 수 없는 readonly 정적 필드 [4]
12255정성태7/6/202019917.NET Framework: 923. C# - ETW(Event Tracing for Windows)를 이용한 Finalizer 실행 감시파일 다운로드1
12254정성태7/2/202017948오류 유형: 626. git - REMOTE HOST IDENTIFICATION HAS CHANGED!
12253정성태7/2/202020934.NET Framework: 922. C# - .NET ThreadPool의 Local/Global Queue파일 다운로드1
12252정성태7/2/202022292.NET Framework: 921. C# - I/O 스레드를 사용한 비동기 소켓 서버/클라이언트파일 다운로드2
12251정성태7/1/202021752.NET Framework: 920. C# - 파일의 비동기 처리 유무에 따른 스레드 상황 [1]파일 다운로드2
12250정성태6/30/202023117.NET Framework: 919. C# - 닷넷에서의 진정한 비동기 호출을 가능케 하는 I/O 스레드 사용법 [1]파일 다운로드1
12249정성태6/29/202019123오류 유형: 625. Microsoft SQL Server 2019 RC1 Setup - 설치 제거 시 Warning 26003 오류 발생
12248정성태6/29/202016868오류 유형: 624. SQL 서버 오류 - service-specific error code 17051
12247정성태6/29/202018829.NET Framework: 918. C# - 불린 형 상수를 반환값으로 포함하는 3항 연산자 사용 시 단축 표현 권장(IDE0075) [2]파일 다운로드1
12246정성태6/29/202020054.NET Framework: 917. C# - USB 관련 ETW(Event Tracing for Windows)를 이용한 키보드 입력을 감지하는 방법
12245정성태6/24/202020519.NET Framework: 916. C# - Task.Yield 사용법 (2) [2]파일 다운로드1
12244정성태6/24/202020457.NET Framework: 915. ETW(Event Tracing for Windows)를 이용한 닷넷 프로그램의 내부 이벤트 활용 [1]파일 다운로드1
12243정성태6/23/202016862VS.NET IDE: 147. Visual C++ 프로젝트 - .NET Core EXE를 "Debugger Type"으로 지원하는 기능 추가
12242정성태6/23/202018500오류 유형: 623. AADSTS90072 - User account '...' from identity provider 'live.com' does not exist in tenant 'Microsoft Services'
... 61  62  63  64  65  66  67  [68]  69  70  71  72  73  74  75  ...