Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기

지난 글의 예제 코드는 yuv42p 프레임 한 장씩 rawvideo로 파일에 썼는데요,

C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기
; https://www.sysnet.pe.kr/2/0/12966

이제, 이 예제를 rawvideo가 아닌, 코덱을 이용해 인코딩시켜 어엿한 h264 비디오 스트림을 생성해 보겠습니다. ^^ 이를 위해 ffmpeg 예제를 포팅했던, 바로 그 동영상 인코딩 예제를 응용하면,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 인코딩 예제(encode_video.c)
; https://www.sysnet.pe.kr/2/0/12898

코드를 rawvideo가 아닌 H264 인코딩 예제로 바꿀 수 있습니다.

using FFmpeg.AutoGen;
using FFmpeg.AutoGen.Example;
using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.IO;

namespace bmp2avi
{
    internal unsafe class Program
    {
        static void Main(string[] args)
        {
            FFmpegBinariesHelper.RegisterFFmpegBinaries();

            string bmpFilePath = @"D:\media_sample\1922x1080_sample.png";
            string dstFilePath = @"c:\temp\output\bmp2yuv420p.h264";

            Image img = Bitmap.FromFile(bmpFilePath);
            Bitmap bmp = new Bitmap(img);
            int fps = 25;
            int seconds = 5;
            Rectangle imgSize = new Rectangle(0, 0, img.Width, img.Height);
            BitmapData bitmapData = bmp.LockBits(imgSize, ImageLockMode.ReadOnly, bmp.PixelFormat);

            Console.WriteLine(img.PixelFormat);

            AVPixelFormat srcFormat = (img.PixelFormat == System.Drawing.Imaging.PixelFormat.Format32bppArgb) ? AVPixelFormat.AV_PIX_FMT_BGRA
                : AVPixelFormat.AV_PIX_FMT_BGR24;
            AVPixelFormat dst_pix_fmt = AVPixelFormat.AV_PIX_FMT_YUV420P;

            SwsContext* sws_ctx = ffmpeg.sws_getContext(img.Width, img.Height, srcFormat, img.Width, img.Height, dst_pix_fmt,
                ffmpeg.SWS_BILINEAR, null, null, null);

            if (sws_ctx == null)
            {
                return;
            }

            byte_ptrArray4 src_data = new byte_ptrArray4();
            int_array4 src_linesize = new int_array4();
            int ret = 0;

            AVCodec* encoder = null;
            AVCodecContext* codecContext = null;
            AVFrame* frame = null;
            AVPacket* packet = null;
            byte[] end_code = new byte[] { 0, 0, 1, 0xb7 };

            AVCodecID codecId = AVCodecID.AV_CODEC_ID_H264;

            do
            {
                using FileStream fs = File.Create(dstFilePath);

                encoder = ffmpeg.avcodec_find_encoder(codecId);
                Console.WriteLine(FFmpegHelper.AnsiToString(encoder->name));
                Console.WriteLine(FFmpegHelper.AnsiToString(encoder->long_name));

                if (encoder == null)
                {
                    Console.WriteLine($"Codec not found: {codecId}");
                    break;
                }

                codecContext = ffmpeg.avcodec_alloc_context3(encoder);
                if (codecContext == null)
                {
                    Console.WriteLine($"Could not allocate video codec context: {codecId}");
                    break;
                }

                codecContext->bit_rate = 400000;

                codecContext->width = img.Width;
                codecContext->height = img.Height;
                codecContext->time_base = new AVRational { num = 1, den = fps };
                codecContext->framerate = new AVRational { num = fps, den = 1 };
                codecContext->gop_size = 10;
                codecContext->max_b_frames = 1;
                codecContext->pix_fmt = dst_pix_fmt;

                if (codecId == AVCodecID.AV_CODEC_ID_H264)
                {
                    ffmpeg.av_opt_set(codecContext->priv_data, "preset", "slow", 0);
                }

                ret = ffmpeg.avcodec_open2(codecContext, encoder, null);
                if (ret < 0)
                {
                    Console.WriteLine("Could not open codec");
                    break;
                }

                frame = ffmpeg.av_frame_alloc();

                if (frame == null)
                {
                    Console.WriteLine("Could not allocate video frame");
                    break;
                }

                frame->format = (int)codecContext->pix_fmt;
                frame->width = codecContext->width;
                frame->height = codecContext->height;

                ret = ffmpeg.av_frame_get_buffer(frame, 0);
                if (ret < 0)
                {
                    Console.WriteLine("Could not allocate raw picture buffer");
                    break;
                }

                src_data[0] = (byte*)bitmapData.Scan0.ToPointer();
                src_linesize[0] = bitmapData.Stride;

                packet = ffmpeg.av_packet_alloc();
                if (packet == null)
                {
                    break;
                }

                for (int i = 0; i < fps * seconds; i++)
                {
                    ret = ffmpeg.av_frame_make_writable(frame);
                    if (ret < 0)
                    {
                        break;
                    }

                    ret = ffmpeg.sws_scale(sws_ctx, src_data, src_linesize, 0, img.Height, frame->data, frame->linesize);

                    if (ret < 0)
                    {
                        Console.WriteLine("sws_scale failed");
                        break;
                    }

                    frame->pts = i;

                    encode(codecContext, frame, packet, fs);
                }

                encode(codecContext, null, packet, fs);

                Console.WriteLine("Play the output file with the command:");
                Console.WriteLine($"ffplay -autoexit {dstFilePath}");

                if (encoder->id == AVCodecID.AV_CODEC_ID_MPEG1VIDEO || encoder->id == AVCodecID.AV_CODEC_ID_MPEG2VIDEO)
                {
                    fs.Write(end_code, 0, end_code.Length);
                }

            } while (false);

            if (frame != null)
            {
                ffmpeg.av_frame_free(&frame);
            }

            if (packet != null)
            {
                ffmpeg.av_packet_free(&packet);
            }

            if (codecContext != null)
            {
                ffmpeg.avcodec_free_context(&codecContext);
            }

            if (bitmapData != null)
            {
                bmp.UnlockBits(bitmapData);
            }

            if (sws_ctx != null)
            {
                ffmpeg.sws_freeContext(sws_ctx);
            }
        }

        
        static unsafe void encode(AVCodecContext* enc_ctx, AVFrame* frame, AVPacket* pkt, FileStream output)
        {
            int ret;

            /* send the frame to the encoder */
            if (frame != null)
            {
                Console.WriteLine($"Send frame {frame->pts}");
            }

            ret = ffmpeg.avcodec_send_frame(enc_ctx, frame);
            if (ret < 0)
            {
                Console.WriteLine("Error sending a frame for encoding");
                return;
            }

            while (ret >= 0)
            {
                ret = ffmpeg.avcodec_receive_packet(enc_ctx, pkt);
                if (ret == ffmpeg.AVERROR(ffmpeg.EAGAIN) || ret == ffmpeg.AVERROR_EOF)
                {
                    return;
                }
                else if (ret < 0)
                {
                    Console.WriteLine("Error during encoding");
                    return;
                }

                Console.WriteLine($"Write packet {pkt->pts} (size={pkt->size})");
                output.Write(new ReadOnlySpan<byte>(pkt->data, pkt->size));

                ffmpeg.av_packet_unref(pkt);
            }
        }
    }
}

실행 후, 제 컴퓨터에서는 encoder의 이름이 다음과 같이 출력됩니다.

h264_mf
H264 via MediaFoundation

그리고 위의 코드는 아래의 글에서 사용했던 코드와 거의 일치합니다.

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)
; https://www.sysnet.pe.kr/2/0/12963

그래서, 1920x1080과 같은 큰 이미지에서는 동일하게 뭉개지는 현상이 나타납니다. 따라서, 그 현상은 bit_rate의 값을 올리면,

// codecContext->bit_rate = 400000;
codecContext->bit_rate = img.Width * img.Height * 4;

해결됩니다. 당연히 bit_rate를 올렸으니 크기도 증가하는데요, 400000이었을 때는 5초 테스트 영상에 455KB였지만, (img.Width * img.Height * 4)로 늘리면 1,314KB가 됩니다.

이렇게 출력한 영상도, ffprobe로 확인해 보면,

c:\temp\output> ffprobe bmp2yuv420p.h264
..[생략]...
Input #0, h264, from 'bmp2yuv420p.h264':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1922x1082, 25 fps, 25 tbr, 1200k tbn, 50 tbc

"C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)" 글에서 출력했던 영상과 출력이 유사합니다. 즉, container가 없는 유형입니다.

그러고 보니, decode_video.c 예제가 container가 없는 데이터 파일을 요구했었는데, 그것의 예제로 애당초 encode_video.c가 출력한 파일을 사용했다면 그렇게 헤매는 일도 없었을 것입니다. ^^ (하지만, 그렇게 헤맸기 때문에 컨테이너가 없는 유형과 있는 유형에 대한 ffmpeg 코드를 알게 되었으니 뭐든지 장/단점이 있습니다. ^^)

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, 컨테이너에 스트림을 담는 과정을 멀티플렉싱(Multiplexing, 줄임말로 먹싱(Muxing))이라고 한다는데요, 그러니까, 이번 예제를 제대로 된 컨테이너로 입히려면 다음의 예제에 있는 코드를 또다시 덧입혀야 하는 것입니다. ^^

muxing.c
; https://ffmpeg.org/doxygen/trunk/muxing_8c-example.html

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 muxing.c 예제 포팅
; https://www.sysnet.pe.kr/2/0/12971




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/15/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2022-02-16 11시34분
[후드] 점점 제가 원하는 기능이 다가오는 느낌이군요^^
[손님]

1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13017정성태3/28/20221044.NET Framework: 1184. C# - GC Heap에 위치한 참조 개체의 주소를 알아내는 방법 - 두 번째 이야기 [3]
13016정성태3/27/20221000.NET Framework: 1183. C# 11에 추가된 ref 필드의 (우회) 구현 방법파일 다운로드1
13015정성태3/26/20221066.NET Framework: 1182. C# 11 - ref struct에 ref 필드를 허용 [1]
13014정성태3/23/2022942VC++: 155. CComPtr/CComQIPtr과 Conformance mode 옵션의 충돌
13013정성태3/22/2022707개발 환경 구성: 641. WSL 우분투 인스턴스에 파이썬 2.7 개발 환경 구성하는 방법
13012정성태3/21/2022596오류 유형: 803. C# - Local '...' or its members cannot have their address taken and be used inside an anonymous method or lambda expression
13011정성태3/21/2022676오류 유형: 802. 윈도우 운영체제에서 웹캠 카메라 인식이 안 되는 경우
13010정성태3/21/2022685오류 유형: 801. Oracle.ManagedDataAccess.Core - GetTypes 호출 시 "Could not load file or assembly 'System.DirectoryServices.Protocols...'" 오류
13009정성태3/20/2022903개발 환경 구성: 640. docker - ibmcom/db2 컨테이너 실행
13008정성태3/19/2022769VS.NET IDE: 176. 비주얼 스튜디오 - 솔루션 탐색기에서 프로젝트를 선택할 때 csproj 파일이 열리지 않도록 만드는 방법
13007정성태3/18/2022901.NET Framework: 1181. C# - Oracle.ManagedDataAccess의 Pool 및 그것의 연결 개체 수를 알아내는 방법파일 다운로드1
13006정성태3/17/2022886.NET Framework: 1180. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 remuxing.c 예제 포팅
13005정성태3/17/2022770오류 유형: 800. C# - System.InvalidOperationException: Late bound operations cannot be performed on fields with types for which Type.ContainsGenericParameters is true.
13004정성태3/16/2022933디버깅 기술: 182. windbg - 닷넷 메모리 덤프에서 AppDomain에 걸친 정적(static) 필드 값을 조사하는 방법
13003정성태3/15/2022889.NET Framework: 1179. C# - (.NET Framework를 위한) Oracle.ManagedDataAccess 패키지의 성능 카운터 설정 방법
13002정성태3/14/2022924.NET Framework: 1178. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 http_multiclient.c 예제 포팅
13001정성태3/13/20221194.NET Framework: 1177. C# - 닷넷에서 허용하는 메서드의 매개변수와 호출 인자의 최대 수
13000정성태3/12/20221026.NET Framework: 1176. C# - Oracle.ManagedDataAccess.Core의 성능 카운터 설정 방법
12999정성태3/10/2022859.NET Framework: 1175. Visual Studio - 프로젝트 또는 솔루션의 Clean 작업 시 응용 프로그램에서 생성한 파일을 함께 삭제파일 다운로드1
12998정성태3/10/2022858.NET Framework: 1174. C# - ELEMENT_TYPE_FNPTR 유형의 사용 예
12997정성태3/10/2022958오류 유형: 799. Oracle.ManagedDataAccess - "ORA-01882: timezone region not found" 오류가 발생하는 이유
12996정성태3/9/202210102VS.NET IDE: 175. Visual Studio - 인텔리센스에서 오버로드 메서드를 키보드로 선택하는 방법
12995정성태3/8/20221097.NET Framework: 1173. .NET에서 Producer/Consumer를 구현한 BlockingCollection<T>
12994정성태3/8/20221012오류 유형: 798. WinDbg - Failed to load data access module, 0x80004002
12993정성태3/4/2022929.NET Framework: 1172. .NET에서 Producer/Consumer를 구현하는 기초 인터페이스 - IProducerConsumerCollection<T>
12992정성태3/3/20221196.NET Framework: 1171. C# - BouncyCastle을 사용한 암호화/복호화 예제파일 다운로드1
1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...