C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기
지난 글의 예제 코드는 yuv42p 프레임 한 장씩 rawvideo로 파일에 썼는데요,
C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기
; https://www.sysnet.pe.kr/2/0/12966
이제, 이 예제를 rawvideo가 아닌, 코덱을 이용해 인코딩시켜 어엿한 h264 비디오 스트림을 생성해 보겠습니다. ^^ 이를 위해 ffmpeg 예제를 포팅했던, 바로 그 동영상 인코딩 예제를 응용하면,
C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 인코딩 예제(encode_video.c)
; https://www.sysnet.pe.kr/2/0/12898
코드를 rawvideo가 아닌 H264 인코딩 예제로 바꿀 수 있습니다.
using FFmpeg.AutoGen;
using FFmpeg.AutoGen.Example;
using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.IO;
namespace bmp2avi
{
internal unsafe class Program
{
static void Main(string[] args)
{
FFmpegBinariesHelper.RegisterFFmpegBinaries();
string bmpFilePath = @"D:\media_sample\1922x1080_sample.png";
string dstFilePath = @"c:\temp\output\bmp2yuv420p.h264";
Image img = Bitmap.FromFile(bmpFilePath);
Bitmap bmp = new Bitmap(img);
int fps = 25;
int seconds = 5;
Rectangle imgSize = new Rectangle(0, 0, img.Width, img.Height);
BitmapData bitmapData = bmp.LockBits(imgSize, ImageLockMode.ReadOnly, bmp.PixelFormat);
Console.WriteLine(img.PixelFormat);
AVPixelFormat srcFormat = (img.PixelFormat == System.Drawing.Imaging.PixelFormat.Format32bppArgb) ? AVPixelFormat.AV_PIX_FMT_BGRA
: AVPixelFormat.AV_PIX_FMT_BGR24;
AVPixelFormat dst_pix_fmt = AVPixelFormat.AV_PIX_FMT_YUV420P;
SwsContext* sws_ctx = ffmpeg.sws_getContext(img.Width, img.Height, srcFormat, img.Width, img.Height, dst_pix_fmt,
ffmpeg.SWS_BILINEAR, null, null, null);
if (sws_ctx == null)
{
return;
}
byte_ptrArray4 src_data = new byte_ptrArray4();
int_array4 src_linesize = new int_array4();
int ret = 0;
AVCodec* encoder = null;
AVCodecContext* codecContext = null;
AVFrame* frame = null;
AVPacket* packet = null;
byte[] end_code = new byte[] { 0, 0, 1, 0xb7 };
AVCodecID codecId = AVCodecID.AV_CODEC_ID_H264;
do
{
using FileStream fs = File.Create(dstFilePath);
encoder = ffmpeg.avcodec_find_encoder(codecId);
Console.WriteLine(FFmpegHelper.AnsiToString(encoder->name));
Console.WriteLine(FFmpegHelper.AnsiToString(encoder->long_name));
if (encoder == null)
{
Console.WriteLine($"Codec not found: {codecId}");
break;
}
codecContext = ffmpeg.avcodec_alloc_context3(encoder);
if (codecContext == null)
{
Console.WriteLine($"Could not allocate video codec context: {codecId}");
break;
}
codecContext->bit_rate = 400000;
codecContext->width = img.Width;
codecContext->height = img.Height;
codecContext->time_base = new AVRational { num = 1, den = fps };
codecContext->framerate = new AVRational { num = fps, den = 1 };
codecContext->gop_size = 10;
codecContext->max_b_frames = 1;
codecContext->pix_fmt = dst_pix_fmt;
if (codecId == AVCodecID.AV_CODEC_ID_H264)
{
ffmpeg.av_opt_set(codecContext->priv_data, "preset", "slow", 0);
}
ret = ffmpeg.avcodec_open2(codecContext, encoder, null);
if (ret < 0)
{
Console.WriteLine("Could not open codec");
break;
}
frame = ffmpeg.av_frame_alloc();
if (frame == null)
{
Console.WriteLine("Could not allocate video frame");
break;
}
frame->format = (int)codecContext->pix_fmt;
frame->width = codecContext->width;
frame->height = codecContext->height;
ret = ffmpeg.av_frame_get_buffer(frame, 0);
if (ret < 0)
{
Console.WriteLine("Could not allocate raw picture buffer");
break;
}
src_data[0] = (byte*)bitmapData.Scan0.ToPointer();
src_linesize[0] = bitmapData.Stride;
packet = ffmpeg.av_packet_alloc();
if (packet == null)
{
break;
}
for (int i = 0; i < fps * seconds; i++)
{
ret = ffmpeg.av_frame_make_writable(frame);
if (ret < 0)
{
break;
}
ret = ffmpeg.sws_scale(sws_ctx, src_data, src_linesize, 0, img.Height, frame->data, frame->linesize);
if (ret < 0)
{
Console.WriteLine("sws_scale failed");
break;
}
frame->pts = i;
encode(codecContext, frame, packet, fs);
}
encode(codecContext, null, packet, fs);
Console.WriteLine("Play the output file with the command:");
Console.WriteLine($"ffplay -autoexit {dstFilePath}");
if (encoder->id == AVCodecID.AV_CODEC_ID_MPEG1VIDEO || encoder->id == AVCodecID.AV_CODEC_ID_MPEG2VIDEO)
{
fs.Write(end_code, 0, end_code.Length);
}
} while (false);
if (frame != null)
{
ffmpeg.av_frame_free(&frame);
}
if (packet != null)
{
ffmpeg.av_packet_free(&packet);
}
if (codecContext != null)
{
ffmpeg.avcodec_free_context(&codecContext);
}
if (bitmapData != null)
{
bmp.UnlockBits(bitmapData);
}
if (sws_ctx != null)
{
ffmpeg.sws_freeContext(sws_ctx);
}
}
static unsafe void encode(AVCodecContext* enc_ctx, AVFrame* frame, AVPacket* pkt, FileStream output)
{
int ret;
/* send the frame to the encoder */
if (frame != null)
{
Console.WriteLine($"Send frame {frame->pts}");
}
ret = ffmpeg.avcodec_send_frame(enc_ctx, frame);
if (ret < 0)
{
Console.WriteLine("Error sending a frame for encoding");
return;
}
while (ret >= 0)
{
ret = ffmpeg.avcodec_receive_packet(enc_ctx, pkt);
if (ret == ffmpeg.AVERROR(ffmpeg.EAGAIN) || ret == ffmpeg.AVERROR_EOF)
{
return;
}
else if (ret < 0)
{
Console.WriteLine("Error during encoding");
return;
}
Console.WriteLine($"Write packet {pkt->pts} (size={pkt->size})");
output.Write(new ReadOnlySpan<byte>(pkt->data, pkt->size));
ffmpeg.av_packet_unref(pkt);
}
}
}
}
실행 후, 제 컴퓨터에서는 encoder의 이름이 다음과 같이 출력됩니다.
h264_mf
H264 via MediaFoundation
그리고 위의 코드는 아래의 글에서 사용했던 코드와 거의 일치합니다.
C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)
; https://www.sysnet.pe.kr/2/0/12963
그래서, 1920x1080과 같은 큰 이미지에서는 동일하게 뭉개지는 현상이 나타납니다. 따라서, 그 현상은 bit_rate의 값을 올리면,
// codecContext->bit_rate = 400000;
codecContext->bit_rate = img.Width * img.Height * 4;
해결됩니다. 당연히 bit_rate를 올렸으니 크기도 증가하는데요, 400000이었을 때는 5초 테스트 영상에 455KB였지만, (img.Width * img.Height * 4)로 늘리면 1,314KB가 됩니다.
이렇게 출력한 영상도, ffprobe로 확인해 보면,
c:\temp\output> ffprobe bmp2yuv420p.h264
..[생략]...
Input #0, h264, from 'bmp2yuv420p.h264':
Duration: N/A, bitrate: N/A
Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1922x1082, 25 fps, 25 tbr, 1200k tbn, 50 tbc
"
C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)" 글에서 출력했던 영상과 출력이 유사합니다. 즉, container가 없는 유형입니다.
그러고 보니,
decode_video.c 예제가 container가 없는 데이터 파일을 요구했었는데, 그것의 예제로 애당초
encode_video.c가 출력한 파일을 사용했다면
그렇게 헤매는 일도 없었을 것입니다. ^^ (하지만, 그렇게 헤맸기 때문에 컨테이너가 없는 유형과 있는 유형에 대한 ffmpeg 코드를 알게 되었으니 뭐든지 장/단점이 있습니다. ^^)
(
첨부 파일은 이 글의 예제 코드를 포함합니다.)
참고로, 컨테이너에 스트림을 담는 과정을 멀티플렉싱(Multiplexing, 줄임말로 먹싱(Muxing))이라고 한다는데요, 그러니까, 이번 예제를 제대로 된 컨테이너로 입히려면 다음의 예제에 있는 코드를 또다시 덧입혀야 하는 것입니다. ^^
muxing.c
; https://ffmpeg.org/doxygen/trunk/muxing_8c-example.html
C# - ffmpeg(FFmpeg.AutoGen)를 이용한 muxing.c 예제 포팅
; https://www.sysnet.pe.kr/2/0/12971
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]