Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)

지난 글에서,

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리
; https://www.sysnet.pe.kr/2/0/12897

화면 캡처 동영상을 OpenCvSharp.VideoWriter로 만들었던 것을 ffmpeg로 교체했었는데요, 일단 ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드를 이용해 포팅을 했지만 시간이 지날수록 화면이 깨지는 문제점이 있습니다.

그 당시에는 뭘 모르니 ^^; sws_scale에 문제가 있을 거라고 판단했었는데, 근래에 관련 소스 코드를 계속 공부하면서,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 프레임의 크기 및 포맷 변경 예제(scaling_video.c)
; https://www.sysnet.pe.kr/2/0/12961

저건 코덱 측 레벨의 문제이지, sws_scale과는 전혀 상관이 없는 문제로 보입니다. 그래서, 웹상에서 여러 가지 H264 인코딩 관련 예제를 찾아봤는데,

ffmpeg libx264 AVCodecContext settings
; https://stackoverflow.com/questions/9173012/ffmpeg-libx264-avcodeccontext-settings

위의 글에 bit_rate를 width * height * 4로 설정하는 코드가 있군요. ^^ 저게 설정을 하지 않으면 기본으로 200000 값을 가지고 있는데요, 어쨌든 저도 기존 소스 코드에서 아무것도 변경하지 않고 bit_rate만 늘렸더니,

public H264VideoStreamEncoder(Stream stream, AVCodecID codecId, AVPixelFormat destinationPixelFormat, int fps, Size frameSize)
{
    _stream = stream;
    _frameSize = frameSize;

    _pCodec = ffmpeg.avcodec_find_encoder(codecId);
    if (_pCodec == null) throw new InvalidOperationException("Codec not found.");

    _pCodecContext = ffmpeg.avcodec_alloc_context3(_pCodec);

    _pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 4;
    _pCodecContext->width = frameSize.Width;
    _pCodecContext->height = frameSize.Height;
    _pCodecContext->time_base = new AVRational { num = 1, den = fps };
    _pCodecContext->pix_fmt = destinationPixelFormat;
    ffmpeg.av_opt_set(_pCodecContext->priv_data, "preset", "veryslow", 0);

    ffmpeg.avcodec_open2(_pCodecContext, _pCodec, null).ThrowExceptionIfError();

    _linesizeY = frameSize.Width;
    _linesizeU = frameSize.Width / 2;
    _linesizeV = frameSize.Width / 2;

    _ySize = _linesizeY * frameSize.Height;
    _uSize = _linesizeU * frameSize.Height / 2;
}

오~~~ 깨지는 현상이 없어졌습니다. 그런데, 일부러 캡처하는 동안 해당 영역의 비주얼 스튜디오 윈도우를 빠르게 잡고 흔들었더니... 이렇게 깨지는 장면이 나옵니다.

h264_high_encode_1.png

그러다, 윈도우를 다시 놓으면 정상적으로 깨지지 않는 화면으로 돌아옵니다. 테스트를 해보니, 약 12 정도 곱해서 설정하면,

_pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 12;

유튜브에서 동계 올림픽 쇼트 트랙 동영상을 켜놓고 캡처를 한 것도 정상적으로 깨짐 현상이 없습니다. 그렇긴 한데, 문제가 있군요. ^^; 3분 정도 길이의 동영상인데 크기가 무려 380MB 가까이 됩니다. youtube_dl로 다운로드하면 소리 포함해도 88MB인 것을 감안하면 뭔가 또 다른 문제가 있는 듯합니다. ^^;




ffprobe로 위의 동영상 파일을 살펴보면,

C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1920x1080, 29.75 fps, 30 tbr, 1200k tbn, 60 tbc

희한하군요, bit_rate 값이 N/A가 나옵니다. 이것 때문인지 동영상의 전체 재생시간도 나오지 않습니다. 그리고 h264의 profile이 "Constrained Baseline"으로 나옵니다. 예전 소스 코드에서,

C# - ffmpeg(FFmpeg.AutoGen) AVFormatContext를 이용해 ffprobe처럼 정보 출력
; https://www.sysnet.pe.kr/2/0/12948

테스트한 대부분의 동영상은 "h264 (High)"였었는데요, 이 값이 어떤 대단한 역할을 하는지는 모르겠지만 그래도 쉽게 다음의 코드 설정을 했더니,

_pCodecContext->profile = ffmpeg.FF_PROFILE_H264_HIGH;

이렇게 바뀌었습니다. ^^

C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (High), yuv420p(progressive), 1920x1080, 30 fps, 30 tbr, 1200k tbn, 60 tbc

하지만, 딱히 저게 설정되었다고 뭔가 변화가 눈에 띄지는 않았습니다. ^^ 어쨌든, 이렇게 서서히 공부하면서 개선을 해나가면 언젠가는 쓸만한 화면 캡처 프로그램이 나오겠죠?!!! ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드가 출력하는 avi 파일은 container가 없는 비디오 스트림입니다. 그래서 단순히 윈도우에서 제공하는 "영화 및 TV" 앱을 이용해 재생하면 다음과 같은 오류 메시지가 발생합니다.

재생할 수 없음
이 파일을 재생할 수 없습니다. 파일 형식이 지원되지 않거나, 파일 확장명이 올바르지 않거나, 파일이 손상되었을 수 있습니다.
0xc00d36c4

이를 재생하려면 ffplay나 GOM 플레이어를 이용해야 합니다. 그리고, Container가 없는 유형이기 때문에 지난번에 설명한,

ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 디코딩 예제(decode_video.c) - 세 번째 이야기
; https://www.sysnet.pe.kr/2/0/12960

비디오 디코딩의 예제 파일로 사용해 정상적인 pgm 파일 출력을 볼 수 있습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/14/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12990정성태3/2/2022721오류 유형: 797. msbuild - The BaseOutputPath/OutputPath property is not set for project '[...].vcxproj'
12989정성태3/2/2022711오류 유형: 796. mstest.exe - System.IO.FileNotFoundException: Could not load file or assembly 'Microsoft.VisualStudio.QualityTools.Tips.WebLoadTest.Tip
12988정성태3/2/2022532오류 유형: 795. CI 환경에서 Docker build 시 csproj의 Link 파일에 대한 빌드 오류
12987정성태3/1/2022657.NET Framework: 1169. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 demuxing_decoding.c 예제 포팅
12986정성태2/28/2022686.NET Framework: 1168. C# -IIncrementalGenerator를 적용한 Version 2 Source Generator 실습
12985정성태2/28/2022778.NET Framework: 1167. C# -Version 1 Source Generator 실습
12984정성태2/24/2022617.NET Framework: 1166. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 filtering_video.c 예제 포팅
12983정성태2/24/2022645.NET Framework: 1165. .NET Core/5+ 빌드 시 runtimeconfig.json에 설정을 반영하는 방법
12982정성태2/24/2022616.NET Framework: 1164. HTTP Error 500.31 - ANCM Failed to Find Native Dependencies
12981정성태2/23/2022651VC++: 154. C/C++ 언어의 문자열 Literal에 인덱스 적용하는 구문 [1]
12980정성태2/23/2022826.NET Framework: 1163. C# - 윈도우 환경에서 usleep을 호출하는 방법 [2]
12979정성태2/22/20221079.NET Framework: 1162. C# - 인텔 CPU의 P-Core와 E-Core를 구분하는 방법파일 다운로드1
12978정성태2/21/2022639.NET Framework: 1161. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 resampling_audio.c 예제 포팅
12977정성태2/21/20221744.NET Framework: 1160. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 qsv 디코딩
12976정성태2/21/20221093VS.NET IDE: 174. Visual C++ - "External Dependencies" 노드 비활성화하는 방법
12975정성태2/20/2022858.NET Framework: 1159. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 qsvdec.c 예제 포팅파일 다운로드1
12974정성태2/20/2022701.NET Framework: 1158. C# - SqlConnection의 최소 Pooling 수를 초과한 DB 연결은 언제 해제될까요?
12973정성태2/16/2022827개발 환경 구성: 639. ffmpeg.exe - Intel Quick Sync Video(qsv)를 이용한 인코딩 [3]
12972정성태2/16/2022742Windows: 200. Intel CPU의 내장 그래픽 GPU가 작업 관리자에 없다면? [4]
12971정성태2/15/20221560.NET Framework: 1157. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 muxing.c 예제 포팅 [7]파일 다운로드1
12970정성태2/15/2022784.NET Framework: 1156. C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 h264 형식의 파일로 쓰기 [1]파일 다운로드1
12969정성태2/14/2022679개발 환경 구성: 638. Visual Studio의 Connection Manager 기능(Remote SSH 관리)을 위한 명령행 도구 - 두 번째 이야기파일 다운로드1
12968정성태2/14/2022481오류 유형: 794. msbuild 에러 - error NETSDK1005: Assets file '...\project.assets.json' doesn't have a target for '...'.
12967정성태2/14/2022693VC++: 153. Visual C++ - C99 표준의 Compund Literals 빌드 방법 [4]
12966정성태2/13/2022636.NET Framework: 1155. C# - ffmpeg(FFmpeg.AutoGen): Bitmap으로부터 yuv420p + rawvideo 형식의 파일로 쓰기파일 다운로드1
12965정성태2/13/2022835.NET Framework: 1154. "Hanja Hangul Project v1.01 (파이썬)"의 C# 버전
1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...