Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 5개 있습니다.)
(시리즈 글이 10개 있습니다.)
.NET Framework: 707. OpenCV 응용 프로그램을 C#으로 구현 - OpenCvSharp
; https://www.sysnet.pe.kr/2/0/11402

.NET Framework: 708. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리
; https://www.sysnet.pe.kr/2/0/11403

.NET Framework: 709. C# - OpenCvSharp을 이용한 동영상(avi, mp4, ...) 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11404

.NET Framework: 710. C# - OpenCvSharp을 이용한 Webcam 영상 처리 + Direct2D
; https://www.sysnet.pe.kr/2/0/11405

.NET Framework: 711. C# - OpenCvSharp의 Mat 데이터 조작 방법
; https://www.sysnet.pe.kr/2/0/11406

.NET Framework: 723. C# - OpenCvSharp 사용 시 C/C++을 이용한 속도 향상 (for 루프 연산)
; https://www.sysnet.pe.kr/2/0/11422

VC++: 123. 내가 만든 코드보다 OpenCV의 속도가 월등히 빠른 이유
; https://www.sysnet.pe.kr/2/0/11423

.NET Framework: 781. C# - OpenCvSharp 사용 시 포인터를 이용한 속도 향상
; https://www.sysnet.pe.kr/2/0/11567

개발 환경 구성: 447. Visual Studio Code에서 OpenCvSharp 개발 환경 구성
; https://www.sysnet.pe.kr/2/0/11971

Graphics: 38. C# - OpenCvSharp.VideoWriter에 BMP 파일을 1초씩 출력하는 예제
; https://www.sysnet.pe.kr/2/0/12485




C# - OpenCvSharp.VideoWriter에 BMP 파일을 1초씩 출력하는 예제

마침 질문도 있으니,

[WPF/OpenCV] 이미지->영상 저장에 대해서 질문 드립니다!!
; https://www.sysnet.pe.kr/3/0/5447

오랜만에 OpenCvSharp을 다뤄보겠습니다. ^^ 간략하게 개발 환경 구성하고,

Visual Studio Code에서 OpenCvSharp 개발 환경 구성
; https://www.sysnet.pe.kr/2/0/11971

Bitmap 파일로부터 Mat을 반환하는 간단한 도우미 타입을 만든 후,

using OpenCvSharp;
using System;
using System.Drawing;
using System.Drawing.Imaging;

namespace WindowsFormsApp1
{
    public class MatBitmap : IDisposable
    {
        string _filePath;
        Image _img;
        Bitmap _bitmap;
        BitmapData _data;
        Mat _mat;

        public MatBitmap(string filePath)
        {
            _filePath = filePath;
        }

        public Mat Mat
        {
            get
            {
                if (_mat == null)
                {
                    _mat = LoadBitmap(_filePath);
                }

                return _mat;
            }
        }

        public Mat LoadBitmap(string filePath)
        {
            _img = Bitmap.FromFile(filePath);

            Rectangle imgSize = new Rectangle(0, 0, _img.Width, _img.Height);
            _bitmap = new Bitmap(_img);
            _data = _bitmap.LockBits(
                    imgSize, System.Drawing.Imaging.ImageLockMode.ReadOnly, _img.PixelFormat);

            MatType type = MatType.CV_8UC3;

            switch (img.PixelFormat)
            {
                case PixelFormat.Format32bppArgb:
                    type = MatType.CV_8UC4;
                    break;
            }

            return new Mat(img.Height, img.Width, type, data.Scan0);
        }

        public void Dispose()
        {
            if (_data != null)
            {
                if (_bitmap != null)
                {
                    _bitmap.UnlockBits(_data);
                    _bitmap.Dispose();
                    _bitmap = null;
                }

                _data = null;
            }

            if (_img != null)
            {
                _img.Dispose();
                _img = null;
            }
        }
    }
}

이렇게 사용하면,

using OpenCvSharp;
using System;
using System.Windows.Forms;

namespace WindowsFormsApp1
{
    // Install-Package OpenCvSharp4
    // Install-Package OpenCvSharp4.Windows
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            MatBitmap[] bitmap = new MatBitmap[] {
            new MatBitmap("640x480_1.png"),
            new MatBitmap("640x480_2.png"),
            new MatBitmap("640x480_3.png") };

            int fps = 10;

            using (VideoWriter writer = new VideoWriter("test.avi", FourCC.XVID, fps, bitmap[0].Mat.Size(), true))
            {
                for (int i = 0; i < bitmap.Length; i++)
                {
                    for (int j = 0; j < fps; j++)
                    {
                        writer.Write(bitmap[i].Mat);
                    }

                    bitmap[i].Dispose();
                }
            }
        }
    }
}

3장의 "640x480_?.png" 파일을 읽어 각각 1초에 해당하는 분량으로 VideoWriter에 프레임을 쓰니 3초짜리 동영상이 만들어집니다. 굳이 더 이상 자세하게 설명할 것이 없군요. ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




위의 예제에 기반을 둬 질문에 대한 답변을 하자면, 그러니까 결국 UDP 통신으로 전송하는 데이터는 _bitmap.LockBits로 얻은 IntPtr이 가리키는 버퍼이기만 하면 됩니다. 그것을 받아서 VideoWriter로 쓰면 되는데, 단지 UDP의 특성상 전송에 대한 신뢰성을 확보할 수 없으므로 (10 fps인 경우) 1초에 해당하는 10 frame 데이터를 온전히 받는 것을 기대해서는 안 됩니다.

따라서, 이미지 데이터와 함께 부가 헤더를 붙여 통신 프로토콜을 맞춰야 합니다. 가령, 일련번호도 함께 전송하고 수신 측에서는 일련번호가 순서대로 오지 않는 것을 감안해 몇 초 정도 버퍼링을 하다가 그래도 맞춰지지 않는 프레임은 그냥 이전 번호에 해당하는 프레임을 연이어 쓰는 식으로 보완을 해야 합니다.

게다가 위의 소스 코드에서는 단순히 raw 이미지 데이터를 다루고 있지만, 통신이 관여한다면 다양한 압축 방식을 고려하는 것이 좀 더 현실적일 수 있습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 1/20/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2024-09-24 08시24분
안녕하세요. 좋은 글 잘 보고 있습니다.

질문이 있습니다.
실시간으로 (disk i/o, file i/o없이)메모리에서 bmp를 mp4로 인코딩하고 네트워크로 전송하는 방법을 알고 싶습니다.


제가 실시간 화면공유 같은 프로그램을 c#으로 만들 계획을 가지고 있습니다.
자료를 찾아보았는데 대부분이 bmp를 mp4 파일로 생성하는 것들이었습니다. ㅠㅠ
  - opencv나 ffmpeg같은 경우도 결과(mp4)를 파일로 쓰도록 되어 있었습니다.
  - shareX라는 프로그램도 확인해 보았는데 역시나 파일로 쓰도록 되어 있네요.
  - obs studio도 찾아 보았는데... 이것은 c,c++로 되어있고, 프로그램이 방대해서 분석하기가 쉽지 않았습니다.
  - shartDX의 sample도 파일로 쓰도록 되어 있네요.

제가 생각하는 로직을 간략하게 의사코드로 표현하면 아래처럼 될 듯 합니다.
while
{
  var bmp = 화면캡처()
  mp4로인코딩(bmp)
  네트워크로 전송 // rtsp등등 이용
  sleep(1000/30) // 30fps
}


힌트라도 좋으니, 도움을 받고 싶습니다.
aha1492@gmail.com
그럼, ...
sk hyun
2024-09-24 08시33분
저도 거기까진 해본 적이 없습니다. 단지, ffmpeg를 보면,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 인코딩 예제(encode_video.c)
; https://www.sysnet.pe.kr/2/0/12898

video_encode_example 함수 내부에서 for (int i = 0; i < 25 * 10; i++) 루프를 돌면서 10초짜리 frame 단편 이미지를 만들고 그것을 encode(...) 함수에 넘겨 h264 인코딩하는 코드가 나옵니다.

다시 말해, frame 단편 이미지가 바로 BMP라고 보면 되고, encode 함수 내에서 ffmpeg.avcodec_send_frame / ffmpeg.avcodec_receive_packet으로 구하게 된 pkt가 압축된 데이터가 됩니다.

따라서 pkt->data를 네트워크로 전송하는 식으로 구현하면 되지 않을까 싶은데요, 해보시고 ^^ 결과 좀 알려주세요. (저도 언제 한 번 해봐야 하는데, 자꾸만 미루게 되는군요. ^^;)
정성태

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13917정성태4/30/202548VS.NET IDE: 199. Directory.Build.props에 정의한 속성에 대해 Condition 제약으로 값을 변경하는 방법
13916정성태4/23/2025446디버깅 기술: 221. WinDbg 분석 사례 - ASP.NET HttpCookieCollection을 다중 스레드에서 사용할 경우 무한 루프 현상 - 두 번째 이야기
13915정성태4/13/20251671닷넷: 2331. C# - 실행 시에 메서드 가로채기 (.NET 9)파일 다운로드1
13914정성태4/11/20251978디버깅 기술: 220. windbg 분석 사례 - x86 ASP.NET 웹 응용 프로그램의 CPU 100% 현상 (4)
13913정성태4/10/20251204오류 유형: 950. Process Explorer - 64비트 윈도우에서 32비트 프로세스의 덤프를 뜰 때 "Error writing dump file: Access is denied." 오류
13912정성태4/9/2025864닷넷: 2330. C# - 실행 시에 메서드 가로채기 (.NET 5 ~ .NET 8)파일 다운로드1
13911정성태4/8/20251104오류 유형: 949. WinDbg - .NET Core/5+ 응용 프로그램 디버깅 시 sos 확장을 자동으로 로드하지 못하는 문제
13910정성태4/8/20251257디버깅 기술: 219. WinDbg - 명령어 내에서 환경 변수 사용법
13909정성태4/7/20251740닷넷: 2329. C# - 실행 시에 메서드 가로채기 (.NET Framework 4.8)파일 다운로드1
13908정성태4/2/20252138닷넷: 2328. C# - MailKit: SMTP, POP3, IMAP 지원 라이브러리
13907정성태3/29/20251944VS.NET IDE: 198. (OneDrive, Dropbox 등의 공유 디렉터리에 있는) C# 프로젝트의 출력 경로 변경하기
13906정성태3/27/20252213닷넷: 2327. C# - 초기화되지 않은 메모리에 접근하는 버그?파일 다운로드1
13905정성태3/26/20252248Windows: 281. C++ - Windows / Critical Section의 안정화를 위해 도입된 "Keyed Event"파일 다운로드1
13904정성태3/25/20251905디버깅 기술: 218. Windbg로 살펴보는 Win32 Critical Section파일 다운로드1
13903정성태3/24/20251522VS.NET IDE: 197. (OneDrive, Dropbox 등의 공유 디렉터리에 있는) C++ 프로젝트의 출력 경로 변경하기
13902정성태3/24/20251737개발 환경 구성: 742. Oracle - 테스트용 hr 계정 및 데이터 생성파일 다운로드1
13901정성태3/9/20252127Windows: 280. Hyper-V의 3가지 Thread Scheduler (Classic, Core, Root)
13900정성태3/8/20252346스크립트: 72. 파이썬 - SQLAlchemy + oracledb 연동
13899정성태3/7/20251821스크립트: 71. 파이썬 - asyncio의 ContextVar 전달
13898정성태3/5/20252139오류 유형: 948. Visual Studio - Proxy Authentication Required: dotnetfeed.blob.core.windows.net
13897정성태3/5/20252376닷넷: 2326. C# - PowerShell과 연동하는 방법 (두 번째 이야기)파일 다운로드1
13896정성태3/5/20252192Windows: 279. Hyper-V Manager - VM 목록의 CPU Usage 항목이 항상 0%로 나오는 문제
13895정성태3/4/20252234Linux: 117. eBPF / bpf2go - Map에 추가된 요소의 개수를 확인하는 방법
13894정성태2/28/20252266Linux: 116. eBPF / bpf2go - BTF Style Maps 정의 구문과 데이터 정렬 문제
13893정성태2/27/20252211Linux: 115. eBPF (bpf2go) - ARRAY / HASH map 기본 사용법
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...