Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 2개 있습니다.)

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)

지난 글에서,

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리
; https://www.sysnet.pe.kr/2/0/12897

화면 캡처 동영상을 OpenCvSharp.VideoWriter로 만들었던 것을 ffmpeg로 교체했었는데요, 일단 ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드를 이용해 포팅을 했지만 시간이 지날수록 화면이 깨지는 문제점이 있습니다.

그 당시에는 뭘 모르니 ^^; sws_scale에 문제가 있을 거라고 판단했었는데, 근래에 관련 소스 코드를 계속 공부하면서,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 프레임의 크기 및 포맷 변경 예제(scaling_video.c)
; https://www.sysnet.pe.kr/2/0/12961

저건 코덱 측 레벨의 문제이지, sws_scale과는 전혀 상관이 없는 문제로 보입니다. 그래서, 웹상에서 여러 가지 H264 인코딩 관련 예제를 찾아봤는데,

ffmpeg libx264 AVCodecContext settings
; https://stackoverflow.com/questions/9173012/ffmpeg-libx264-avcodeccontext-settings

위의 글에 bit_rate를 width * height * 4로 설정하는 코드가 있군요. ^^ 저게 설정을 하지 않으면 기본으로 200000 값을 가지고 있는데요, 어쨌든 저도 기존 소스 코드에서 아무것도 변경하지 않고 bit_rate만 늘렸더니,

public H264VideoStreamEncoder(Stream stream, AVCodecID codecId, AVPixelFormat destinationPixelFormat, int fps, Size frameSize)
{
    _stream = stream;
    _frameSize = frameSize;

    _pCodec = ffmpeg.avcodec_find_encoder(codecId);
    if (_pCodec == null) throw new InvalidOperationException("Codec not found.");

    _pCodecContext = ffmpeg.avcodec_alloc_context3(_pCodec);

    _pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 4;
    _pCodecContext->width = frameSize.Width;
    _pCodecContext->height = frameSize.Height;
    _pCodecContext->time_base = new AVRational { num = 1, den = fps };
    _pCodecContext->pix_fmt = destinationPixelFormat;
    ffmpeg.av_opt_set(_pCodecContext->priv_data, "preset", "veryslow", 0);

    ffmpeg.avcodec_open2(_pCodecContext, _pCodec, null).ThrowExceptionIfError();

    _linesizeY = frameSize.Width;
    _linesizeU = frameSize.Width / 2;
    _linesizeV = frameSize.Width / 2;

    _ySize = _linesizeY * frameSize.Height;
    _uSize = _linesizeU * frameSize.Height / 2;
}

오~~~ 깨지는 현상이 없어졌습니다. 그런데, 일부러 캡처하는 동안 해당 영역의 비주얼 스튜디오 윈도우를 빠르게 잡고 흔들었더니... 이렇게 깨지는 장면이 나옵니다.

h264_high_encode_1.png

그러다, 윈도우를 다시 놓으면 정상적으로 깨지지 않는 화면으로 돌아옵니다. 테스트를 해보니, 약 12 정도 곱해서 설정하면,

_pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 12;

유튜브에서 동계 올림픽 쇼트 트랙 동영상을 켜놓고 캡처를 한 것도 정상적으로 깨짐 현상이 없습니다. 그렇긴 한데, 문제가 있군요. ^^; 3분 정도 길이의 동영상인데 크기가 무려 380MB 가까이 됩니다. youtube_dl로 다운로드하면 소리 포함해도 88MB인 것을 감안하면 뭔가 또 다른 문제가 있는 듯합니다. ^^;




ffprobe로 위의 동영상 파일을 살펴보면,

C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1920x1080, 29.75 fps, 30 tbr, 1200k tbn, 60 tbc

희한하군요, bit_rate 값이 N/A가 나옵니다. 이것 때문인지 동영상의 전체 재생시간도 나오지 않습니다. 그리고 h264의 profile이 "Constrained Baseline"으로 나옵니다. 예전 소스 코드에서,

C# - ffmpeg(FFmpeg.AutoGen) AVFormatContext를 이용해 ffprobe처럼 정보 출력
; https://www.sysnet.pe.kr/2/0/12948

테스트한 대부분의 동영상은 "h264 (High)"였었는데요, 이 값이 어떤 대단한 역할을 하는지는 모르겠지만 그래도 쉽게 다음의 코드 설정을 했더니,

_pCodecContext->profile = ffmpeg.FF_PROFILE_H264_HIGH;

이렇게 바뀌었습니다. ^^

C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (High), yuv420p(progressive), 1920x1080, 30 fps, 30 tbr, 1200k tbn, 60 tbc

하지만, 딱히 저게 설정되었다고 뭔가 변화가 눈에 띄지는 않았습니다. ^^ 어쨌든, 이렇게 서서히 공부하면서 개선을 해나가면 언젠가는 쓸만한 화면 캡처 프로그램이 나오겠죠?!!! ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드가 출력하는 avi 파일은 container가 없는 비디오 스트림입니다. 그래서 단순히 윈도우에서 제공하는 "영화 및 TV" 앱을 이용해 재생하면 다음과 같은 오류 메시지가 발생합니다.

재생할 수 없음
이 파일을 재생할 수 없습니다. 파일 형식이 지원되지 않거나, 파일 확장명이 올바르지 않거나, 파일이 손상되었을 수 있습니다.
0xc00d36c4

이를 재생하려면 ffplay나 GOM 플레이어를 이용해야 합니다. 그리고, Container가 없는 유형이기 때문에 지난번에 설명한,

ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 디코딩 예제(decode_video.c) - 세 번째 이야기
; https://www.sysnet.pe.kr/2/0/12960

비디오 디코딩의 예제 파일로 사용해 정상적인 pgm 파일 출력을 볼 수 있습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/14/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13034정성태4/21/20221534.NET Framework: 1996. C# XingAPI - 주식 종목에 따른 PBR, PER, ROE, ROA 구하는 방법(t3320, t8430 예제)파일 다운로드1
13033정성태4/18/20221946.NET Framework: 1195. C# - Thread.Yield와 Thread.Sleep(0)의 차이점(?)
13032정성태4/17/20221762오류 유형: 805. Github의 50MB 파일 크기 제한 - warning: GH001: Large files detected. You may want to try Git Large File Storage
13031정성태4/15/20221585.NET Framework: 1194. C# - IdealProcessor와 ProcessorAffinity의 차이점
13030정성태4/15/20221411오류 유형: 804. 정규 표현식 오류 - Quantifier {x,y} following nothing.
13029정성태4/14/20221500Windows: 203. iisreset 후에도 이전에 설정한 전역 환경 변수가 w3wp.exe에 적용되는 문제
13028정성태4/13/20221485.NET Framework: 1193. (appsettings.json처럼) web.config의 Debug/Release에 따른 설정 적용
13027정성태4/12/20221624.NET Framework: 1192. C# - 환경 변수의 변화를 알리는 WM_SETTINGCHANGE Win32 메시지 사용법파일 다운로드1
13026정성태4/11/20222198.NET Framework: 1191. C 언어로 작성된 FFmpeg Examples의 C# 포팅 전체 소스 코드 [2]
13025정성태4/11/20222412.NET Framework: 1190. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 vaapi_encode.c, vaapi_transcode.c 예제 포팅
13024정성태4/7/20221685.NET Framework: 1189. C# - 런타임 환경에 따라 달라진 AppDomain.GetCurrentThreadId 메서드
13023정성태4/6/20221686.NET Framework: 1188. C# - ffmpeg(FFmpeg.AutoGen)를 이용한 transcoding.c 예제 포팅 [3]
13022정성태3/31/20221490Windows: 202. 윈도우 11 업그레이드 - "PC Health Check"를 통과했지만 여전히 업그레이드가 안 되는 경우 해결책
13021정성태3/31/20221664Windows: 201. Windows - INF 파일을 이용한 장치 제거 방법
13020정성태3/30/20221719.NET Framework: 1187. RDP 접속 시 WPF UserControl의 Unloaded 이벤트 발생파일 다운로드1
13019정성태3/30/20221593.NET Framework: 1186. Win32 Message를 Code로부터 메시지 이름 자체를 구하고 싶다면?파일 다운로드1
13018정성태3/29/20221748.NET Framework: 1185. C# - Unsafe.AsPointer가 반환한 포인터는 pinning 상태일까요? [5]
13017정성태3/28/20221827.NET Framework: 1184. C# - GC Heap에 위치한 참조 개체의 주소를 알아내는 방법 - 두 번째 이야기 [3]
13016정성태3/27/20221920.NET Framework: 1183. C# 11에 추가된 ref 필드의 (우회) 구현 방법파일 다운로드1
13015정성태3/26/20222310.NET Framework: 1182. C# 11 - ref struct에 ref 필드를 허용 [1]
13014정성태3/23/20221951VC++: 155. CComPtr/CComQIPtr과 Conformance mode 옵션의 충돌
13013정성태3/22/20221374개발 환경 구성: 641. WSL 우분투 인스턴스에 파이썬 2.7 개발 환경 구성하는 방법
13012정성태3/21/20221230오류 유형: 803. C# - Local '...' or its members cannot have their address taken and be used inside an anonymous method or lambda expression
13011정성태3/21/20221680오류 유형: 802. 윈도우 운영체제에서 웹캠 카메라 인식이 안 되는 경우
13010정성태3/21/20221414오류 유형: 801. Oracle.ManagedDataAccess.Core - GetTypes 호출 시 "Could not load file or assembly 'System.DirectoryServices.Protocols...'" 오류
13009정성태3/20/20221870개발 환경 구성: 640. docker - ibmcom/db2 컨테이너 실행
1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...