Microsoft MVP성태의 닷넷 이야기
.NET Framework: 710. C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D [링크 복사], [링크+제목 복사]
조회: 32555
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 2개 있습니다.)
(시리즈 글이 10개 있습니다.)
.NET Framework: 707. OpenCV 응용 프로그램을 C#으로 구현 - OpenCvSharp
; https://www.sysnet.pe.kr/2/0/11402

.NET Framework: 708. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리
; https://www.sysnet.pe.kr/2/0/11403

.NET Framework: 709. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

.NET Framework: 710. C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11405

.NET Framework: 711. C# - OpenCvSharp의 Mat 데이터 조작 방법
; https://www.sysnet.pe.kr/2/0/11406

.NET Framework: 723. C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산)
; https://www.sysnet.pe.kr/2/0/11422

VC++: 123. 내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유
; https://www.sysnet.pe.kr/2/0/11423

.NET Framework: 781. C# - OpenCvSharp 사용 시 포인터를 이용한 속도 향상
; https://www.sysnet.pe.kr/2/0/11567

개발 환경 구성: 447. Visual Studio Code에서 OpenCvSharp 개발 환경 구성
; https://www.sysnet.pe.kr/2/0/11971

Graphics: 38. C# - OpenCvSharp.VideoWriter에 BMP 파일을 1초씩 출력하는 예제
; https://www.sysnet.pe.kr/2/0/12485




C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D

OpenCV로 Webcam 영상 처리하는 것은 동영상 파일 처리 때와 거의 동일합니다.

C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

그 소스 코드에서 바뀌는 거라고는 VideoCapture 생성자에 전달하는 인자가 동영상 파일이 아닌, PC에 장착된 카메라를 식별하는 번호라는 점입니다.

VideoCapture capture = new VideoCapture("c:\\temp\\test.avi");

==>

VideoCapture capture = new VideoCapture(0);

단지, 0번으로 다소 애매하게 지정한다는 것이 좀 아쉽다면 UWP 라이브러리를 이용해 비디오 장치를 열람해 이름을 알아내는 것도 가능합니다.

데스크톱 윈도우 응용 프로그램에서 UWP 라이브러리를 이용한 비디오 장치 열람하는 방법
; https://www.sysnet.pe.kr/2/0/11284

그런데 문제가 하나 있다면, Webcam의 FPS 수치를 알 길이 없다는 것입니다. 동영상 파일과는 달리 capture.Fps 값이 0으로 나오기 때문인데, 검색해 보면 다음과 같이 직접 capture.Read를 일정 수만큼 반복해 대략 측정하는 방법이 나옵니다.

How to find frame rate or frames per second (fps) in OpenCV ( Python / C++ ) ?
; https://www.learnopencv.com/how-to-find-frame-rate-or-frames-per-second-fps-in-opencv-python-cpp/

참고로 위의 덧글에 보면 OpenCV 3.2부터 webcam에도 FPS가 동작한다고 하는데 OpenCvSharp 현재 버전이 OpenCV 3.2를 기반으로 하고 있는데도 동작하지 않는 거 보면 그다지 신뢰가 가지 않습니다.




아래의 코드는 지난번 "C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D" 글에서 VideoCapture(0)으로 바꾼 것과 함께 Direct2D Bitmap 하나에 2개의 Mat 영상을 함께 출력하는 변화를 포함합니다.

using OpenCvSharp;
using SharpDX;
using SharpDX.Direct2D1;
using System;
using System.Collections.Concurrent;
using System.Diagnostics;
using System.Threading;
using System.Windows.Forms;

namespace WindowsFormsApp1
{
    public partial class Form1 : Form
    {
        RenderTarget2D _renderTarget;
        Thread camera;
        BlockingCollection<SharpDX.Direct2D1.Bitmap> _q = new BlockingCollection<SharpDX.Direct2D1.Bitmap>();
        DataStream _bitmapData;

        public Form1()
        {
            InitializeComponent();
            _renderTarget = new RenderTarget2D();
        }

        protected override void OnFormClosing(FormClosingEventArgs e)
        {
            _renderTarget.Dispose();
            base.OnFormClosing(e);
        }

        protected override void OnPaintBackground(PaintEventArgs e)
        {
        }

        protected override void OnPaint(PaintEventArgs e)
        {
            base.OnPaint(e);

            while (true)
            {
                if (_q.TryTake(out SharpDX.Direct2D1.Bitmap item) == true)
                {
                    _renderTarget.Render(
                        (renderer) =>
                        {
                            this.Text = _q.Count.ToString();
                            renderer.DrawBitmap(item, 1.0f, BitmapInterpolationMode.Linear);
                        });
                    item.Dispose();
                }
                else
                {
                    break;
                }
            }
        }
        
        private void CaptureCameraCallback()
        {
            VideoCapture capture = new VideoCapture(0);

            if (capture.IsOpened() == false)
            {
                return;
            }

            this.Invoke((Action)(() =>
                {
                    this.Width = capture.FrameWidth;
                    this.Height = capture.FrameHeight * 2;
                    _renderTarget.Initialize(this.Handle, capture.FrameWidth, capture.FrameHeight * 2);
                }
            ));

            _bitmapData = new DataStream(capture.FrameWidth * capture.FrameHeight * 4 * 2, false, false);

            int expectedProcessTimePerFrame = 1000 / 30; // 30 fps
            Stopwatch st = new Stopwatch();
            st.Start();

            using (Mat image = new Mat())
            {
                while (true)
                {
                    long started = st.ElapsedMilliseconds;

                    capture.Read(image);
                    if (image.Empty() == true)
                    {
                        break;
                    }

                    using (Mat canny = image.Canny(50, 100))
                    {
                        SharpDX.Direct2D1.Bitmap bitmap = ToSharpDXBitmap(image, canny);
                        _q.Add(bitmap);
                    }

                    try
                    {
                        this.Invoke((Action)(() => this.Invalidate()));
                    }
                    catch (ObjectDisposedException) { }
                    catch (InvalidOperationException) { }

                    int elapsed = (int)(st.ElapsedMilliseconds - started);
                    int delay = expectedProcessTimePerFrame - elapsed;

                    if (delay > 0)
                    {
                        Thread.Sleep(delay);
                    }
                }
            }
        }

        private SharpDX.Direct2D1.Bitmap ToSharpDXBitmap(Mat org, Mat canny)
        {
            using (Mat orgData = org.CvtColor(ColorConversionCodes.BGR2BGRA))
            using (Mat cannyData = canny.CvtColor(ColorConversionCodes.GRAY2RGBA))
            {
                IntPtr dstPtr = _bitmapData.DataPointer;

                Utilities.CopyMemory(dstPtr, orgData.Data, (int)orgData.Total() * orgData.ElemSize());
                dstPtr = IntPtr.Add(dstPtr, (int)orgData.Total() * orgData.ElemSize());

                Utilities.CopyMemory(dstPtr, cannyData.Data, (int)cannyData.Total() * cannyData.ElemSize());

                return _renderTarget.CreateBitmap(_bitmapData);
            }
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            camera = new Thread(new ThreadStart(CaptureCameraCallback));
            camera.IsBackground = true;
            camera.Start();
        }
    }
}

따라서 실행해 보면 다음과 같이 화면의 높이를 이등분해서 위에는 원본 이미지, 아래에는 Canny 이미지가 나옵니다. (첨부 파일은 이 글의 예제 코드를 포함합니다.)

opencv_webcam_1.PNG




그러고 보니 webcam 관련해서 몇 번 다룬 적이 있군요. ^^

C# - AForge.NET을 이용한 웹캠 영상 출력
; https://www.sysnet.pe.kr/2/0/11085

Visual Studio 2013/2015 - Ceemple OpenCV 확장을 이용한 웹캠 영상 출력
; https://www.sysnet.pe.kr/2/0/11094




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 12/26/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2022-02-17 04시19분
#OpenCV – Detect and blur faces 😁 using haar cascades in C#
; https://dev.to/azure/opencv-detect-and-blur-faces-using-haar-cascades-in-c-1ao5

Cascade Classifier
; https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html

잘 만들어진 모델만 있다면... 이렇게 간단하게 가져다 사용할 수 있으니, 세상 참 좋아졌습니다. ^^
정성태

1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13456정성태11/25/20232557닷넷: 2169. C# - OpenAI를 사용해 PDF 데이터를 대상으로 OpenAI 챗봇 작성 [1]파일 다운로드1
13455정성태11/25/20232456닷넷: 2168. C# - Azure.AI.OpenAI 패키지로 OpenAI 사용파일 다운로드1
13454정성태11/23/20232814닷넷: 2167. C# - Qdrant Vector DB를 이용한 Embedding 벡터 값 보관/조회 (Azure OpenAI) [1]파일 다운로드1
13453정성태11/23/20232317오류 유형: 879. docker desktop 설치 시 "Invalid JSON string. (Exception from HRESULT: 0x83750007)"
13452정성태11/22/20232421닷넷: 2166. C# - Azure OpenAI API를 이용해 사용자가 제공하는 정보를 대상으로 검색하는 방법파일 다운로드1
13451정성태11/21/20232551닷넷: 2165. C# - Azure OpenAI API를 이용해 ChatGPT처럼 동작하는 콘솔 응용 프로그램 제작파일 다운로드1
13450정성태11/21/20232360닷넷: 2164. C# - Octokit을 이용한 GitHub Issue 검색파일 다운로드1
13449정성태11/21/20232426개발 환경 구성: 688. Azure OpenAI 서비스 신청 방법
13448정성태11/20/20232670닷넷: 2163. .NET 8 - Dynamic PGO를 결합한 성능 향상파일 다운로드1
13447정성태11/16/20232553닷넷: 2162. ASP.NET Core 웹 사이트의 SSL 설정을 코드로 하는 방법
13446정성태11/16/20232483닷넷: 2161. .NET Conf 2023 - Day 1 Blazor 개요 정리
13445정성태11/15/20232813Linux: 62. 리눅스/WSL에서 CA 인증서를 저장하는 방법
13444정성태11/15/20232554닷넷: 2160. C# 12 - Experimental 특성 지원
13443정성태11/14/20232605개발 환경 구성: 687. OpenSSL로 생성한 사용자 인증서를 ASP.NET Core 웹 사이트에 적용하는 방법
13442정성태11/13/20232425개발 환경 구성: 686. 비주얼 스튜디오로 실행한 ASP.NET Core 사이트를 WSL 2 인스턴스에서 https로 접속하는 방법
13441정성태11/12/20232732닷넷: 2159. C# - ASP.NET Core 프로젝트에서 서버 Socket을 직접 생성하는 방법파일 다운로드1
13440정성태11/11/20232411Windows: 253. 소켓 Listen 시 방화벽의 Public/Private 제어 기능이 비활성화된 경우
13439정성태11/10/20232917닷넷: 2158. C# - 소켓 포트를 미리 시스템에 등록/예약해 사용하는 방법(Port Exclusion Ranges)파일 다운로드1
13438정성태11/9/20232515닷넷: 2157. C# - WinRT 기능을 이용해 윈도우에서 실행 중인 Media App 제어
13437정성태11/8/20232710닷넷: 2156. .NET 7 이상의 콘솔 프로그램을 (dockerfile 없이) 로컬 docker에 배포하는 방법
13436정성태11/7/20232962닷넷: 2155. C# - .NET 8 런타임부터 (Reflection 없이) 특성을 이용해 public이 아닌 멤버 호출 가능
13435정성태11/6/20232889닷넷: 2154. C# - 네이티브 자원을 포함한 관리 개체(예: 스레드)의 GC 정리
13434정성태11/1/20232659스크립트: 62. 파이썬 - class의 정적 함수를 동적으로 교체
13433정성태11/1/20232372스크립트: 61. 파이썬 - 함수 오버로딩 미지원
13432정성태10/31/20232446오류 유형: 878. 탐색기의 WSL 디렉터리 접근 시 "Attempt to access invalid address." 오류 발생
13431정성태10/31/20232777스크립트: 60. 파이썬 - 비동기 FastAPI 앱을 gunicorn으로 호스팅
1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...