Microsoft MVP성태의 닷넷 이야기
.NET Framework: 710. C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D [링크 복사], [링크+제목 복사]
조회: 8872
글쓴 사람
홈페이지
첨부 파일

C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D

OpenCV로 Webcam 영상 처리하는 것은 동영상 파일 처리 때와 거의 동일합니다.

C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

그 소스 코드에서 바뀌는 거라고는 VideoCapture 생성자에 전달하는 인자가 동영상 파일이 아닌, PC에 장착된 카메라를 식별하는 번호라는 점입니다.

VideoCapture capture = new VideoCapture("c:\\temp\\test.avi");

==>

VideoCapture capture = new VideoCapture(0);

단지, 0번으로 다소 애매하게 지정한다는 것이 좀 아쉽다면 UWP 라이브러리를 이용해 비디오 장치를 열람해 이름을 알아내는 것도 가능합니다.

데스크톱 윈도우 응용 프로그램에서 UWP 라이브러리를 이용한 비디오 장치 열람하는 방법
; https://www.sysnet.pe.kr/2/0/11284

그런데 문제가 하나 있다면, Webcam의 FPS 수치를 알 길이 없다는 것입니다. 동영상 파일과는 달리 capture.Fps 값이 0으로 나오기 때문인데, 검색해 보면 다음과 같이 직접 capture.Read를 일정 수만큼 반복해 대략 측정하는 방법이 나옵니다.

How to find frame rate or frames per second (fps) in OpenCV ( Python / C++ ) ?
; https://www.learnopencv.com/how-to-find-frame-rate-or-frames-per-second-fps-in-opencv-python-cpp/

참고로 위의 덧글에 보면 OpenCV 3.2부터 webcam에도 FPS가 동작한다고 하는데 OpenCvSharp 현재 버전이 OpenCV 3.2를 기반으로 하고 있는데도 동작하지 않는 거 보면 그다지 신뢰가 가지 않습니다.




아래의 코드는 지난번 "C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D" 글에서 VideoCapture(0)으로 바꾼 것과 함께 Direct2D Bitmap 하나에 2개의 Mat 영상을 함께 출력하는 변화를 포함합니다.

using OpenCvSharp;
using SharpDX;
using SharpDX.Direct2D1;
using System;
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Threading;
using System.Windows.Forms;

namespace WindowsFormsApp1
{
    public partial class Form1 : Form
    {
        RenderTarget2D _renderTarget;
        Thread camera;
        BlockingCollection<SharpDX.Direct2D1.Bitmap> _q = new BlockingCollection<SharpDX.Direct2D1.Bitmap>();
        DataStream _bitmapData;

        public Form1()
        {
            InitializeComponent();
            _renderTarget = new RenderTarget2D();
        }

        protected override void OnFormClosing(FormClosingEventArgs e)
        {
            _renderTarget.Dispose();
            base.OnFormClosing(e);
        }

        protected override void OnPaintBackground(PaintEventArgs e)
        {
        }

        protected override void OnPaint(PaintEventArgs e)
        {
            base.OnPaint(e);

            while (true)
            {
                if (_q.TryTake(out SharpDX.Direct2D1.Bitmap item) == true)
                {
                    _renderTarget.Render(
                        (renderer) =>
                        {
                            this.Text = _q.Count.ToString();
                            renderer.DrawBitmap(item, 1.0f, BitmapInterpolationMode.Linear);
                        });
                    item.Dispose();
                }
                else
                {
                    break;
                }
            }
        }
        
        private void CaptureCameraCallback()
        {
            VideoCapture capture = new VideoCapture(0);

            if (capture.IsOpened() == false)
            {
                return;
            }

            this.Invoke((Action)(() =>
                {
                    this.Width = capture.FrameWidth;
                    this.Height = capture.FrameHeight * 2;
                    _renderTarget.Initialize(this.Handle, capture.FrameWidth, capture.FrameHeight * 2);
                }
            ));

            _bitmapData = new DataStream(capture.FrameWidth * capture.FrameHeight * 4 * 2, false, false);

            int expectedProcessTimePerFrame = 1000 / 30; // 30 fps
            Stopwatch st = new Stopwatch();
            st.Start();

            using (Mat image = new Mat())
            {
                while (true)
                {
                    long started = st.ElapsedMilliseconds;

                    capture.Read(image);
                    if (image.Empty() == true)
                    {
                        break;
                    }

                    using (Mat canny = image.Canny(50, 100))
                    {
                        SharpDX.Direct2D1.Bitmap bitmap = ToSharpDXBitmap(image, canny);
                        _q.Add(bitmap);
                    }

                    try
                    {
                        this.Invoke((Action)(() => this.Invalidate()));
                    }
                    catch (ObjectDisposedException) { }
                    catch (InvalidOperationException) { }

                    int elapsed = (int)(st.ElapsedMilliseconds - started);
                    int delay = expectedProcessTimePerFrame - elapsed;

                    if (delay > 0)
                    {
                        Thread.Sleep(delay);
                    }
                }
            }
        }

        private SharpDX.Direct2D1.Bitmap ToSharpDXBitmap(Mat org, Mat canny)
        {
            using (Mat orgData = org.CvtColor(ColorConversionCodes.BGR2BGRA))
            using (Mat cannyData = canny.CvtColor(ColorConversionCodes.GRAY2RGBA))
            {
                IntPtr dstPtr = _bitmapData.DataPointer;

                Utilities.CopyMemory(dstPtr, orgData.Data, (int)orgData.Total() * orgData.ElemSize());
                dstPtr = IntPtr.Add(dstPtr, (int)orgData.Total() * orgData.ElemSize());

                Utilities.CopyMemory(dstPtr, cannyData.Data, (int)cannyData.Total() * cannyData.ElemSize());

                return _renderTarget.CreateBitmap(_bitmapData);
            }
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            camera = new Thread(new ThreadStart(CaptureCameraCallback));
            camera.IsBackground = true;
            camera.Start();
        }
    }
}

따라서 실행해 보면 다음과 같이 화면의 높이를 이등분해서 위에는 원본 이미지, 아래에는 Canny 이미지가 나옵니다. (첨부 파일은 이 글의 예제 코드를 포함합니다.)

opencv_webcam_1.PNG




그러고 보니 webcam 관련해서 몇 번 다룬 적이 있군요. ^^

C# - AForge.NET을 이용한 웹캠 영상 출력
; https://www.sysnet.pe.kr/2/0/11085

Visual Studio 2013/2015 - Ceemple OpenCV 확장을 이용한 웹캠 영상 출력
; https://www.sysnet.pe.kr/2/0/11094




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 12/17/2017 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




... [31]  32  33  34  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
11451정성태1/24/20183057디버깅 기술: 111. x86 메모리 덤프 분석 시 닷넷 메서드의 호출 인자 값 확인
11450정성태11/15/20188419Windows: 146. PowerShell로 원격 프로세스(EXE, BAT) 실행하는 방법
11449정성태3/6/20184320오류 유형: 449. 단위 테스트 - Could not load file or assembly 'Microsoft.VisualStudio.QualityTools.VideoRecorderEngine' or one of its dependencies. [1]
11448정성태1/20/20182950오류 유형: 448. Fakes를 포함한 단위 테스트 프로젝트를 빌드 시 CS0619 관련 오류 발생
11447정성태1/20/20183370.NET Framework: 730. dotnet user-secrets 명령어파일 다운로드1
11446정성태1/20/20183337.NET Framework: 729. windbg로 살펴보는 GC heap의 Segment 구조파일 다운로드1
11445정성태1/20/20182896.NET Framework: 728. windbg - 눈으로 확인하는 Workstation GC / Server GC
11444정성태9/13/20183568VS.NET IDE: 125. Visual Studio에서 Selenium WebDriver를 이용한 웹 브라우저 단위 테스트 구성파일 다운로드1
11443정성태1/18/20183730VC++: 124. libuv 모듈 살펴 보기
11442정성태1/18/20182647개발 환경 구성: 353. ASP.NET Core 프로젝트의 "Enable unmanaged code debugging" 옵션 켜는 방법
11441정성태1/18/20182808오류 유형: 447. ASP.NET Core 배포 오류 - Ensure that restore has run and that you have included '...' in the TargetFrameworks for your project.
11440정성태1/17/20183214.NET Framework: 727. ASP.NET의 HttpContext.Current 구현에 대응하는 ASP.NET Core의 IHttpContextAccessor/HttpContextAccessor 사용법파일 다운로드1
11439정성태8/25/20186984기타: 69. C# - CPU 100% 부하 주는 프로그램파일 다운로드1
11438정성태1/17/20183767오류 유형: 446. Error CS0234 The type or namespace name 'ITuple' does not exist in the namespace
11437정성태1/17/20183398VS.NET IDE: 124. Platform Toolset 설정에 따른 Visual C++의 헤더 파일 기본 디렉터리
11436정성태1/16/20183365개발 환경 구성: 352. ASP.NET Core (EXE) 프로세스가 IIS에서 호스팅되는 방법 - ASP.NET Core Module(AspNetCoreModule) [1]
11435정성태1/16/20184224개발 환경 구성: 351. OWIN 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11434정성태1/15/20184288개발 환경 구성: 350. 사용자 정의 웹 서버(EXE)를 IIS에서 호스팅하는 방법 - HttpPlatformHandler (Reverse Proxy)파일 다운로드2
11433정성태1/15/20183651개발 환경 구성: 349. dotnet ef 명령어 사용을 위한 준비
11432정성태1/11/20184967.NET Framework: 726. WPF + Direct2D + SharpDX 출력 C# 예제파일 다운로드2
11431정성태1/11/20184322.NET Framework: 725. C# - 동기 방식이면서 비동기 메서드처럼 구현한 사례
11430정성태1/10/20186423.NET Framework: 724. WPF + Direct2D 출력 C# 예제 [1]파일 다운로드1
11429정성태1/9/20182756개발 환경 구성: 348. ASP.NET Core 2.1 Preview 버전 적용 방법
11428정성태1/7/20183814개발 환경 구성: 347. WinForm 프로젝트를 WPF 프로젝트 유형으로 변경하는 방법파일 다운로드1
11427정성태1/5/20183374오류 유형: 445. vcpkg 빌드 오류 - Starting the CLR failed with HRESULT 80040153
11426정성태10/19/20185089오류 유형: 444. curl로 호출할 때 발생하는 오류 정리
... [31]  32  33  34  35  36  37  38  39  40  41  42  43  44  45  ...