Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 2개 있습니다.)
(시리즈 글이 8개 있습니다.)
.NET Framework: 1140. C# - ffmpeg(FFmpeg.AutoGen)를 이용해 MP3 오디오 파일 인코딩/디코딩하는 예제
; https://www.sysnet.pe.kr/2/0/12939

.NET Framework: 1144. C# - ffmpeg(FFmpeg.AutoGen) AVFormatContext를 이용해 ffprobe처럼 정보 출력
; https://www.sysnet.pe.kr/2/0/12948

.NET Framework: 1145. C# - ffmpeg(FFmpeg.AutoGen) - Codec 정보 열람 및 사용 준비
; https://www.sysnet.pe.kr/2/0/12949

.NET Framework: 1148.  C# - ffmpeg(FFmpeg.AutoGen) - decoding 과정
; https://www.sysnet.pe.kr/2/0/12956

.NET Framework: 1149. C# - ffmpeg(FFmpeg.AutoGen) - 비디오 프레임 디코딩
; https://www.sysnet.pe.kr/2/0/12958

.NET Framework: 1155. C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기
; https://www.sysnet.pe.kr/2/0/12966

.NET Framework: 1156. C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기
; https://www.sysnet.pe.kr/2/0/12970

.NET Framework: 1160. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 qsv 디코딩
; https://www.sysnet.pe.kr/2/0/12977




C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기

지난 글의 예제 코드는 yuv42p 프레임 한 장씩 rawvideo로 파일에 썼는데요,

C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기
; https://www.sysnet.pe.kr/2/0/12966

이제, 이 예제를 rawvideo가 아닌, 코덱을 이용해 인코딩시켜 어엿한 h264 비디오 스트림을 생성해 보겠습니다. ^^ 이를 위해 ffmpeg 예제를 포팅했던, 바로 그 동영상 인코딩 예제를 응용하면,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 인코딩 예제(encode_video.c)
; https://www.sysnet.pe.kr/2/0/12898

코드를 rawvideo가 아닌 H264 인코딩 예제로 바꿀 수 있습니다.

using FFmpeg.AutoGen;
using FFmpeg.AutoGen.Example;
using System;
using System.Drawing;
using System.Drawing.Imaging;
using System.IO;

namespace bmp2avi
{
    internal unsafe class Program
    {
        static void Main(string[] args)
        {
            FFmpegBinariesHelper.RegisterFFmpegBinaries();

            string bmpFilePath = @"D:\media_sample\1922x1080_sample.png";
            string dstFilePath = @"c:\temp\output\bmp2yuv420p.h264";

            Image img = Bitmap.FromFile(bmpFilePath);
            Bitmap bmp = new Bitmap(img);
            int fps = 25;
            int seconds = 5;
            Rectangle imgSize = new Rectangle(0, 0, img.Width, img.Height);
            BitmapData bitmapData = bmp.LockBits(imgSize, ImageLockMode.ReadOnly, bmp.PixelFormat);

            Console.WriteLine(img.PixelFormat);

            AVPixelFormat srcFormat = (img.PixelFormat == System.Drawing.Imaging.PixelFormat.Format32bppArgb) ? AVPixelFormat.AV_PIX_FMT_BGRA
                : AVPixelFormat.AV_PIX_FMT_BGR24;
            AVPixelFormat dst_pix_fmt = AVPixelFormat.AV_PIX_FMT_YUV420P;

            SwsContext* sws_ctx = ffmpeg.sws_getContext(img.Width, img.Height, srcFormat, img.Width, img.Height, dst_pix_fmt,
                ffmpeg.SWS_BILINEAR, null, null, null);

            if (sws_ctx == null)
            {
                return;
            }

            byte_ptrArray4 src_data = new byte_ptrArray4();
            int_array4 src_linesize = new int_array4();
            int ret = 0;

            AVCodec* encoder = null;
            AVCodecContext* codecContext = null;
            AVFrame* frame = null;
            AVPacket* packet = null;
            byte[] end_code = new byte[] { 0, 0, 1, 0xb7 };

            AVCodecID codecId = AVCodecID.AV_CODEC_ID_H264;

            do
            {
                using FileStream fs = File.Create(dstFilePath);

                encoder = ffmpeg.avcodec_find_encoder(codecId);
                Console.WriteLine(FFmpegHelper.AnsiToString(encoder->name));
                Console.WriteLine(FFmpegHelper.AnsiToString(encoder->long_name));

                if (encoder == null)
                {
                    Console.WriteLine($"Codec not found: {codecId}");
                    break;
                }

                codecContext = ffmpeg.avcodec_alloc_context3(encoder);
                if (codecContext == null)
                {
                    Console.WriteLine($"Could not allocate video codec context: {codecId}");
                    break;
                }

                codecContext->bit_rate = 400000;

                codecContext->width = img.Width;
                codecContext->height = img.Height;
                codecContext->time_base = new AVRational { num = 1, den = fps };
                codecContext->framerate = new AVRational { num = fps, den = 1 };
                codecContext->gop_size = 10;
                codecContext->max_b_frames = 1;
                codecContext->pix_fmt = dst_pix_fmt;

                if (codecId == AVCodecID.AV_CODEC_ID_H264)
                {
                    ffmpeg.av_opt_set(codecContext->priv_data, "preset", "slow", 0);
                }

                ret = ffmpeg.avcodec_open2(codecContext, encoder, null);
                if (ret < 0)
                {
                    Console.WriteLine("Could not open codec");
                    break;
                }

                frame = ffmpeg.av_frame_alloc();

                if (frame == null)
                {
                    Console.WriteLine("Could not allocate video frame");
                    break;
                }

                frame->format = (int)codecContext->pix_fmt;
                frame->width = codecContext->width;
                frame->height = codecContext->height;

                ret = ffmpeg.av_frame_get_buffer(frame, 0);
                if (ret < 0)
                {
                    Console.WriteLine("Could not allocate raw picture buffer");
                    break;
                }

                src_data[0] = (byte*)bitmapData.Scan0.ToPointer();
                src_linesize[0] = bitmapData.Stride;

                packet = ffmpeg.av_packet_alloc();
                if (packet == null)
                {
                    break;
                }

                for (int i = 0; i < fps * seconds; i++)
                {
                    ret = ffmpeg.av_frame_make_writable(frame);
                    if (ret < 0)
                    {
                        break;
                    }

                    ret = ffmpeg.sws_scale(sws_ctx, src_data, src_linesize, 0, img.Height, frame->data, frame->linesize);

                    if (ret < 0)
                    {
                        Console.WriteLine("sws_scale failed");
                        break;
                    }

                    frame->pts = i;

                    encode(codecContext, frame, packet, fs);
                }

                encode(codecContext, null, packet, fs);

                Console.WriteLine("Play the output file with the command:");
                Console.WriteLine($"ffplay -autoexit {dstFilePath}");

                if (encoder->id == AVCodecID.AV_CODEC_ID_MPEG1VIDEO || encoder->id == AVCodecID.AV_CODEC_ID_MPEG2VIDEO)
                {
                    fs.Write(end_code, 0, end_code.Length);
                }

            } while (false);

            if (frame != null)
            {
                ffmpeg.av_frame_free(&frame);
            }

            if (packet != null)
            {
                ffmpeg.av_packet_free(&packet);
            }

            if (codecContext != null)
            {
                ffmpeg.avcodec_free_context(&codecContext);
            }

            if (bitmapData != null)
            {
                bmp.UnlockBits(bitmapData);
            }

            if (sws_ctx != null)
            {
                ffmpeg.sws_freeContext(sws_ctx);
            }
        }

        
        static unsafe void encode(AVCodecContext* enc_ctx, AVFrame* frame, AVPacket* pkt, FileStream output)
        {
            int ret;

            /* send the frame to the encoder */
            if (frame != null)
            {
                Console.WriteLine($"Send frame {frame->pts}");
            }

            ret = ffmpeg.avcodec_send_frame(enc_ctx, frame);
            if (ret < 0)
            {
                Console.WriteLine("Error sending a frame for encoding");
                return;
            }

            while (ret >= 0)
            {
                ret = ffmpeg.avcodec_receive_packet(enc_ctx, pkt);
                if (ret == ffmpeg.AVERROR(ffmpeg.EAGAIN) || ret == ffmpeg.AVERROR_EOF)
                {
                    return;
                }
                else if (ret < 0)
                {
                    Console.WriteLine("Error during encoding");
                    return;
                }

                Console.WriteLine($"Write packet {pkt->pts} (size={pkt->size})");
                output.Write(new ReadOnlySpan<byte>(pkt->data, pkt->size));

                ffmpeg.av_packet_unref(pkt);
            }
        }
    }
}

실행 후, 제 컴퓨터에서는 encoder의 이름이 다음과 같이 출력됩니다.

h264_mf
H264 via MediaFoundation

그리고 위의 코드는 아래의 글에서 사용했던 코드와 거의 일치합니다.

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)
; https://www.sysnet.pe.kr/2/0/12963

그래서, 1920x1080과 같은 큰 이미지에서는 동일하게 뭉개지는 현상이 나타납니다. 따라서, 그 현상은 bit_rate의 값을 올리면,

// codecContext->bit_rate = 400000;
codecContext->bit_rate = img.Width * img.Height * 4;

해결됩니다. 당연히 bit_rate를 올렸으니 크기도 증가하는데요, 400000이었을 때는 5초 테스트 영상에 455KB였지만, (img.Width * img.Height * 4)로 늘리면 1,314KB가 됩니다.

이렇게 출력한 영상도, ffprobe로 확인해 보면,

c:\temp\output> ffprobe bmp2yuv420p.h264
..[생략]...
Input #0, h264, from 'bmp2yuv420p.h264':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1922x1082, 25 fps, 25 tbr, 1200k tbn, 50 tbc

"C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)" 글에서 출력했던 영상과 출력이 유사합니다. 즉, container가 없는 유형입니다.

그러고 보니, decode_video.c 예제가 container가 없는 데이터 파일을 요구했었는데, 그것의 예제로 애당초 encode_video.c가 출력한 파일을 사용했다면 그렇게 헤매는 일도 없었을 것입니다. ^^ (하지만, 그렇게 헤맸기 때문에 컨테이너가 없는 유형과 있는 유형에 대한 ffmpeg 코드를 알게 되었으니 뭐든지 장/단점이 있습니다. ^^)

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, 컨테이너에 스트림을 담는 과정을 멀티플렉싱(Multiplexing, 줄임말로 먹싱(Muxing))이라고 한다는데요, 그러니까, 이번 예제를 제대로 된 컨테이너로 입히려면 다음의 예제에 있는 코드를 또다시 덧입혀야 하는 것입니다. ^^

muxing.c
; https://ffmpeg.org/doxygen/trunk/muxing_8c-example.html

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 muxing.c 예제 포팅
; https://www.sysnet.pe.kr/2/0/12971




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/15/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2022-02-16 11시34분
[후드] 점점 제가 원하는 기능이 다가오는 느낌이군요^^
[guest]

... 61  62  63  64  65  66  67  68  69  70  71  72  73  74  [75]  ...
NoWriterDateCnt.TitleFile(s)
12153정성태2/23/202024355.NET Framework: 898. Trampoline을 이용한 후킹의 한계파일 다운로드1
12152정성태2/23/202021396.NET Framework: 897. 실행 시에 메서드 가로채기 - CLR Injection: Runtime Method Replacer 개선 - 세 번째 이야기(Trampoline 후킹)파일 다운로드1
12151정성태2/22/202024038.NET Framework: 896. C# - Win32 API를 Trampoline 기법을 이용해 C# 메서드로 가로채는 방법 - 두 번째 이야기 (원본 함수 호출)파일 다운로드1
12150정성태2/21/202024111.NET Framework: 895. C# - Win32 API를 Trampoline 기법을 이용해 C# 메서드로 가로채는 방법 [1]파일 다운로드1
12149정성태2/20/202021013.NET Framework: 894. eBEST C# XingAPI 래퍼 - 연속 조회 처리 방법 [1]
12148정성태2/19/202025675디버깅 기술: 163. x64 환경에서 구현하는 다양한 Trampoline 기법 [1]
12147정성태2/19/202020992디버깅 기술: 162. x86/x64의 기계어 코드 최대 길이
12146정성태2/18/202022202.NET Framework: 893. eBEST C# XingAPI 래퍼 - 로그인 처리파일 다운로드1
12145정성태2/18/202023822.NET Framework: 892. eBEST C# XingAPI 래퍼 - Sqlite 지원 추가파일 다운로드1
12144정성태2/13/202024005.NET Framework: 891. 실행 시에 메서드 가로채기 - CLR Injection: Runtime Method Replacer 개선 - 두 번째 이야기파일 다운로드1
12143정성태2/13/202018418.NET Framework: 890. 상황별 GetFunctionPointer 반환값 정리 - x64파일 다운로드1
12142정성태2/12/202022331.NET Framework: 889. C# 코드로 접근하는 MethodDesc, MethodTable파일 다운로드1
12141정성태2/10/202021332.NET Framework: 888. C# - ASP.NET Core 웹 응용 프로그램의 출력 가로채기 [2]파일 다운로드1
12140정성태2/10/202022685.NET Framework: 887. C# - ASP.NET 웹 응용 프로그램의 출력 가로채기파일 다운로드1
12139정성태2/9/202022363.NET Framework: 886. C# - Console 응용 프로그램에서 UI 스레드 구현 방법
12138정성태2/9/202028587.NET Framework: 885. C# - 닷넷 응용 프로그램에서 SQLite 사용 [6]파일 다운로드1
12137정성태2/9/202020218오류 유형: 592. [AhnLab] 경고 - 디버거 실행을 탐지했습니다.
12136정성태2/6/202021880Windows: 168. Windows + S(또는 Q)로 뜨는 작업 표시줄의 검색 바가 동작하지 않는 경우
12135정성태2/6/202027683개발 환경 구성: 468. Nuget 패키지의 로컬 보관 폴더를 옮기는 방법 [2]
12134정성태2/5/202024952.NET Framework: 884. eBEST XingAPI의 C# 래퍼 버전 - XingAPINet Nuget 패키지 [5]파일 다운로드1
12133정성태2/5/202022702디버깅 기술: 161. Windbg 환경에서 확인해 본 .NET 메서드 JIT 컴파일 전과 후 - 두 번째 이야기
12132정성태1/28/202025724.NET Framework: 883. C#으로 구현하는 Win32 API 후킹(예: Sleep 호출 가로채기) [1]파일 다운로드1
12131정성태1/27/202024451개발 환경 구성: 467. LocaleEmulator를 이용해 유니코드를 지원하지 않는(한글이 깨지는) 프로그램을 실행하는 방법 [1]
12130정성태1/26/202022029VS.NET IDE: 142. Visual Studio에서 windbg의 "Open Executable..."처럼 EXE를 직접 열어 디버깅을 시작하는 방법
12129정성태1/26/202029031.NET Framework: 882. C# - 키움 Open API+ 사용 시 Registry 등록 없이 KHOpenAPI.ocx 사용하는 방법 [3]
12128정성태1/26/202023151오류 유형: 591. The code execution cannot proceed because mfc100.dll was not found. Reinstalling the program may fix this problem.
... 61  62  63  64  65  66  67  68  69  70  71  72  73  74  [75]  ...