Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 2개 있습니다.)

C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기

지난 글의 예제 코드는 yuv42p 프레임 한 장씩 rawvideo로 파일에 썼는데요,

C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기
; https://www.sysnet.pe.kr/2/0/12966

이제, 이 예제를 rawvideo가 아닌, 코덱을 이용해 인코딩시켜 어엿한 h264 비디오 스트림을 생성해 보겠습니다. ^^ 이를 위해 ffmpeg 예제를 포팅했던, 바로 그 동영상 인코딩 예제를 응용하면,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 인코딩 예제(encode_video.c)
; https://www.sysnet.pe.kr/2/0/12898

코드를 rawvideo가 아닌 H264 인코딩 예제로 바꿀 수 있습니다.

using FFmpeg.AutoGen;
using FFmpeg.AutoGen.Example;
using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.IO;

namespace bmp2avi
{
    internal unsafe class Program
    {
        static void Main(string[] args)
        {
            FFmpegBinariesHelper.RegisterFFmpegBinaries();

            string bmpFilePath = @"D:\media_sample\1922x1080_sample.png";
            string dstFilePath = @"c:\temp\output\bmp2yuv420p.h264";

            Image img = Bitmap.FromFile(bmpFilePath);
            Bitmap bmp = new Bitmap(img);
            int fps = 25;
            int seconds = 5;
            Rectangle imgSize = new Rectangle(0, 0, img.Width, img.Height);
            BitmapData bitmapData = bmp.LockBits(imgSize, ImageLockMode.ReadOnly, bmp.PixelFormat);

            Console.WriteLine(img.PixelFormat);

            AVPixelFormat srcFormat = (img.PixelFormat == System.Drawing.Imaging.PixelFormat.Format32bppArgb) ? AVPixelFormat.AV_PIX_FMT_BGRA
                : AVPixelFormat.AV_PIX_FMT_BGR24;
            AVPixelFormat dst_pix_fmt = AVPixelFormat.AV_PIX_FMT_YUV420P;

            SwsContext* sws_ctx = ffmpeg.sws_getContext(img.Width, img.Height, srcFormat, img.Width, img.Height, dst_pix_fmt,
                ffmpeg.SWS_BILINEAR, null, null, null);

            if (sws_ctx == null)
            {
                return;
            }

            byte_ptrArray4 src_data = new byte_ptrArray4();
            int_array4 src_linesize = new int_array4();
            int ret = 0;

            AVCodec* encoder = null;
            AVCodecContext* codecContext = null;
            AVFrame* frame = null;
            AVPacket* packet = null;
            byte[] end_code = new byte[] { 0, 0, 1, 0xb7 };

            AVCodecID codecId = AVCodecID.AV_CODEC_ID_H264;

            do
            {
                using FileStream fs = File.Create(dstFilePath);

                encoder = ffmpeg.avcodec_find_encoder(codecId);
                Console.WriteLine(FFmpegHelper.AnsiToString(encoder->name));
                Console.WriteLine(FFmpegHelper.AnsiToString(encoder->long_name));

                if (encoder == null)
                {
                    Console.WriteLine($"Codec not found: {codecId}");
                    break;
                }

                codecContext = ffmpeg.avcodec_alloc_context3(encoder);
                if (codecContext == null)
                {
                    Console.WriteLine($"Could not allocate video codec context: {codecId}");
                    break;
                }

                codecContext->bit_rate = 400000;

                codecContext->width = img.Width;
                codecContext->height = img.Height;
                codecContext->time_base = new AVRational { num = 1, den = fps };
                codecContext->framerate = new AVRational { num = fps, den = 1 };
                codecContext->gop_size = 10;
                codecContext->max_b_frames = 1;
                codecContext->pix_fmt = dst_pix_fmt;

                if (codecId == AVCodecID.AV_CODEC_ID_H264)
                {
                    ffmpeg.av_opt_set(codecContext->priv_data, "preset", "slow", 0);
                }

                ret = ffmpeg.avcodec_open2(codecContext, encoder, null);
                if (ret < 0)
                {
                    Console.WriteLine("Could not open codec");
                    break;
                }

                frame = ffmpeg.av_frame_alloc();

                if (frame == null)
                {
                    Console.WriteLine("Could not allocate video frame");
                    break;
                }

                frame->format = (int)codecContext->pix_fmt;
                frame->width = codecContext->width;
                frame->height = codecContext->height;

                ret = ffmpeg.av_frame_get_buffer(frame, 0);
                if (ret < 0)
                {
                    Console.WriteLine("Could not allocate raw picture buffer");
                    break;
                }

                src_data[0] = (byte*)bitmapData.Scan0.ToPointer();
                src_linesize[0] = bitmapData.Stride;

                packet = ffmpeg.av_packet_alloc();
                if (packet == null)
                {
                    break;
                }

                for (int i = 0; i < fps * seconds; i++)
                {
                    ret = ffmpeg.av_frame_make_writable(frame);
                    if (ret < 0)
                    {
                        break;
                    }

                    ret = ffmpeg.sws_scale(sws_ctx, src_data, src_linesize, 0, img.Height, frame->data, frame->linesize);

                    if (ret < 0)
                    {
                        Console.WriteLine("sws_scale failed");
                        break;
                    }

                    frame->pts = i;

                    encode(codecContext, frame, packet, fs);
                }

                encode(codecContext, null, packet, fs);

                Console.WriteLine("Play the output file with the command:");
                Console.WriteLine($"ffplay -autoexit {dstFilePath}");

                if (encoder->id == AVCodecID.AV_CODEC_ID_MPEG1VIDEO || encoder->id == AVCodecID.AV_CODEC_ID_MPEG2VIDEO)
                {
                    fs.Write(end_code, 0, end_code.Length);
                }

            } while (false);

            if (frame != null)
            {
                ffmpeg.av_frame_free(&frame);
            }

            if (packet != null)
            {
                ffmpeg.av_packet_free(&packet);
            }

            if (codecContext != null)
            {
                ffmpeg.avcodec_free_context(&codecContext);
            }

            if (bitmapData != null)
            {
                bmp.UnlockBits(bitmapData);
            }

            if (sws_ctx != null)
            {
                ffmpeg.sws_freeContext(sws_ctx);
            }
        }

        
        static unsafe void encode(AVCodecContext* enc_ctx, AVFrame* frame, AVPacket* pkt, FileStream output)
        {
            int ret;

            /* send the frame to the encoder */
            if (frame != null)
            {
                Console.WriteLine($"Send frame {frame->pts}");
            }

            ret = ffmpeg.avcodec_send_frame(enc_ctx, frame);
            if (ret < 0)
            {
                Console.WriteLine("Error sending a frame for encoding");
                return;
            }

            while (ret >= 0)
            {
                ret = ffmpeg.avcodec_receive_packet(enc_ctx, pkt);
                if (ret == ffmpeg.AVERROR(ffmpeg.EAGAIN) || ret == ffmpeg.AVERROR_EOF)
                {
                    return;
                }
                else if (ret < 0)
                {
                    Console.WriteLine("Error during encoding");
                    return;
                }

                Console.WriteLine($"Write packet {pkt->pts} (size={pkt->size})");
                output.Write(new ReadOnlySpan<byte>(pkt->data, pkt->size));

                ffmpeg.av_packet_unref(pkt);
            }
        }
    }
}

실행 후, 제 컴퓨터에서는 encoder의 이름이 다음과 같이 출력됩니다.

h264_mf
H264 via MediaFoundation

그리고 위의 코드는 아래의 글에서 사용했던 코드와 거의 일치합니다.

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)
; https://www.sysnet.pe.kr/2/0/12963

그래서, 1920x1080과 같은 큰 이미지에서는 동일하게 뭉개지는 현상이 나타납니다. 따라서, 그 현상은 bit_rate의 값을 올리면,

// codecContext->bit_rate = 400000;
codecContext->bit_rate = img.Width * img.Height * 4;

해결됩니다. 당연히 bit_rate를 올렸으니 크기도 증가하는데요, 400000이었을 때는 5초 테스트 영상에 455KB였지만, (img.Width * img.Height * 4)로 늘리면 1,314KB가 됩니다.

이렇게 출력한 영상도, ffprobe로 확인해 보면,

c:\temp\output> ffprobe bmp2yuv420p.h264
..[생략]...
Input #0, h264, from 'bmp2yuv420p.h264':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1922x1082, 25 fps, 25 tbr, 1200k tbn, 50 tbc

"C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)" 글에서 출력했던 영상과 출력이 유사합니다. 즉, container가 없는 유형입니다.

그러고 보니, decode_video.c 예제가 container가 없는 데이터 파일을 요구했었는데, 그것의 예제로 애당초 encode_video.c가 출력한 파일을 사용했다면 그렇게 헤매는 일도 없었을 것입니다. ^^ (하지만, 그렇게 헤맸기 때문에 컨테이너가 없는 유형과 있는 유형에 대한 ffmpeg 코드를 알게 되었으니 뭐든지 장/단점이 있습니다. ^^)

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, 컨테이너에 스트림을 담는 과정을 멀티플렉싱(Multiplexing, 줄임말로 먹싱(Muxing))이라고 한다는데요, 그러니까, 이번 예제를 제대로 된 컨테이너로 입히려면 다음의 예제에 있는 코드를 또다시 덧입혀야 하는 것입니다. ^^

muxing.c
; https://ffmpeg.org/doxygen/trunk/muxing_8c-example.html

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 muxing.c 예제 포팅
; https://www.sysnet.pe.kr/2/0/12971




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/15/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2022-02-16 11시34분
[후드] 점점 제가 원하는 기능이 다가오는 느낌이군요^^
[손님]

1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13034정성태4/21/20221534.NET Framework: 1996. C# XingAPI - 주식 종목에 따른 PBR, PER, ROE, ROA 구하는 방법(t3320, t8430 예제)파일 다운로드1
13033정성태4/18/20221946.NET Framework: 1195. C# - Thread.Yield와 Thread.Sleep(0)의 차이점(?)
13032정성태4/17/20221762오류 유형: 805. Github의 50MB 파일 크기 제한 - warning: GH001: Large files detected. You may want to try Git Large File Storage
13031정성태4/15/20221585.NET Framework: 1194. C# - IdealProcessor와 ProcessorAffinity의 차이점
13030정성태4/15/20221411오류 유형: 804. 정규 표현식 오류 - Quantifier {x,y} following nothing.
13029정성태4/14/20221500Windows: 203. iisreset 후에도 이전에 설정한 전역 환경 변수가 w3wp.exe에 적용되는 문제
13028정성태4/13/20221485.NET Framework: 1193. (appsettings.json처럼) web.config의 Debug/Release에 따른 설정 적용
13027정성태4/12/20221624.NET Framework: 1192. C# - 환경 변수의 변화를 알리는 WM_SETTINGCHANGE Win32 메시지 사용법파일 다운로드1
13026정성태4/11/20222198.NET Framework: 1191. C 언어로 작성된 FFmpeg Examples의 C# 포팅 전체 소스 코드 [2]
13025정성태4/11/20222412.NET Framework: 1190. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 vaapi_encode.c, vaapi_transcode.c 예제 포팅
13024정성태4/7/20221685.NET Framework: 1189. C# - 런타임 환경에 따라 달라진 AppDomain.GetCurrentThreadId 메서드
13023정성태4/6/20221686.NET Framework: 1188. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 transcoding.c 예제 포팅 [3]
13022정성태3/31/20221490Windows: 202. 윈도우 11 업그레이드 - "PC Health Check"를 통과했지만 여전히 업그레이드가 안 되는 경우 해결책
13021정성태3/31/20221664Windows: 201. Windows - INF 파일을 이용한 장치 제거 방법
13020정성태3/30/20221719.NET Framework: 1187. RDP 접속 시 WPF UserControl의 Unloaded 이벤트 발생파일 다운로드1
13019정성태3/30/20221593.NET Framework: 1186. Win32 Message를 Code로부터 메시지 이름 자체를 구하고 싶다면?파일 다운로드1
13018정성태3/29/20221748.NET Framework: 1185. C# - Unsafe.AsPointer가 반환한 포인터는 pinning 상태일까요? [5]
13017정성태3/28/20221826.NET Framework: 1184. C# - GC Heap에 위치한 참조 개체의 주소를 알아내는 방법 - 두 번째 이야기 [3]
13016정성태3/27/20221920.NET Framework: 1183. C# 11에 추가된 ref 필드의 (우회) 구현 방법파일 다운로드1
13015정성태3/26/20222310.NET Framework: 1182. C# 11 - ref struct에 ref 필드를 허용 [1]
13014정성태3/23/20221951VC++: 155. CComPtr/CComQIPtr과 Conformance mode 옵션의 충돌
13013정성태3/22/20221374개발 환경 구성: 641. WSL 우분투 인스턴스에 파이썬 2.7 개발 환경 구성하는 방법
13012정성태3/21/20221230오류 유형: 803. C# - Local '...' or its members cannot have their address taken and be used inside an anonymous method or lambda expression
13011정성태3/21/20221680오류 유형: 802. 윈도우 운영체제에서 웹캠 카메라 인식이 안 되는 경우
13010정성태3/21/20221414오류 유형: 801. Oracle.ManagedDataAccess.Core - GetTypes 호출 시 "Could not load file or assembly 'System.DirectoryServices.Protocols...'" 오류
13009정성태3/20/20221870개발 환경 구성: 640. docker - ibmcom/db2 컨테이너 실행
1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...