C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)
지난 글에서,
C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리
; https://www.sysnet.pe.kr/2/0/12897
화면 캡처 동영상을 OpenCvSharp.VideoWriter로 만들었던 것을 ffmpeg로 교체했었는데요, 일단 ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드를 이용해 포팅을 했지만 시간이 지날수록 화면이 깨지는 문제점이 있습니다.
그 당시에는 뭘 모르니 ^^; sws_scale에 문제가 있을 거라고 판단했었는데, 근래에 관련 소스 코드를 계속 공부하면서,
C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 프레임의 크기 및 포맷 변경 예제(scaling_video.c)
; https://www.sysnet.pe.kr/2/0/12961
저건 코덱 측 레벨의 문제이지, sws_scale과는 전혀 상관이 없는 문제로 보입니다. 그래서, 웹상에서 여러 가지 H264 인코딩 관련 예제를 찾아봤는데,
ffmpeg libx264 AVCodecContext settings
; https://stackoverflow.com/questions/9173012/ffmpeg-libx264-avcodeccontext-settings
위의 글에 bit_rate를 width * height * 4로 설정하는 코드가 있군요. ^^ 저게 설정을 하지 않으면 기본으로 200000 값을 가지고 있는데요, 어쨌든 저도 기존 소스 코드에서 아무것도 변경하지 않고 bit_rate만 늘렸더니,
public H264VideoStreamEncoder(Stream stream, AVCodecID codecId, AVPixelFormat destinationPixelFormat, int fps, Size frameSize)
{
_stream = stream;
_frameSize = frameSize;
_pCodec = ffmpeg.avcodec_find_encoder(codecId);
if (_pCodec == null) throw new InvalidOperationException("Codec not found.");
_pCodecContext = ffmpeg.avcodec_alloc_context3(_pCodec);
_pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 4;
_pCodecContext->width = frameSize.Width;
_pCodecContext->height = frameSize.Height;
_pCodecContext->time_base = new AVRational { num = 1, den = fps };
_pCodecContext->pix_fmt = destinationPixelFormat;
ffmpeg.av_opt_set(_pCodecContext->priv_data, "preset", "veryslow", 0);
ffmpeg.avcodec_open2(_pCodecContext, _pCodec, null).ThrowExceptionIfError();
_linesizeY = frameSize.Width;
_linesizeU = frameSize.Width / 2;
_linesizeV = frameSize.Width / 2;
_ySize = _linesizeY * frameSize.Height;
_uSize = _linesizeU * frameSize.Height / 2;
}
오~~~ 깨지는 현상이 없어졌습니다. 그런데, 일부러 캡처하는 동안 해당 영역의 비주얼 스튜디오 윈도우를 빠르게 잡고 흔들었더니... 이렇게 깨지는 장면이 나옵니다.
그러다, 윈도우를 다시 놓으면 정상적으로 깨지지 않는 화면으로 돌아옵니다. 테스트를 해보니, 약 12 정도 곱해서 설정하면,
_pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 12;
유튜브에서 동계 올림픽 쇼트 트랙 동영상을 켜놓고 캡처를 한 것도 정상적으로 깨짐 현상이 없습니다. 그렇긴 한데, 문제가 있군요. ^^; 3분 정도 길이의 동영상인데 크기가 무려 380MB 가까이 됩니다. youtube_dl로 다운로드하면 소리 포함해도 88MB인 것을 감안하면 뭔가 또 다른 문제가 있는 듯합니다. ^^;
ffprobe로 위의 동영상 파일을 살펴보면,
C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
Duration: N/A, bitrate: N/A
Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1920x1080, 29.75 fps, 30 tbr, 1200k tbn, 60 tbc
희한하군요, bit_rate 값이 N/A가 나옵니다. 이것 때문인지 동영상의 전체 재생시간도 나오지 않습니다. 그리고 h264의 profile이 "Constrained Baseline"으로 나옵니다. 예전 소스 코드에서,
C# - ffmpeg(FFmpeg.AutoGen) AVFormatContext를 이용해 ffprobe처럼 정보 출력
; https://www.sysnet.pe.kr/2/0/12948
테스트한 대부분의 동영상은 "h264 (High)"였었는데요, 이 값이 어떤 대단한 역할을 하는지는 모르겠지만 그래도 쉽게 다음의 코드 설정을 했더니,
_pCodecContext->profile = ffmpeg.FF_PROFILE_H264_HIGH;
이렇게 바뀌었습니다. ^^
C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
Duration: N/A, bitrate: N/A
Stream #0:0: Video: h264 (High), yuv420p(progressive), 1920x1080, 30 fps, 30 tbr, 1200k tbn, 60 tbc
하지만, 딱히 저게 설정되었다고 뭔가 변화가 눈에 띄지는 않았습니다. ^^ 어쨌든, 이렇게 서서히 공부하면서 개선을 해나가면 언젠가는 쓸만한 화면 캡처 프로그램이 나오겠죠?!!! ^^
(
첨부 파일은 이 글의 예제 코드를 포함합니다.)
참고로, ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드가 출력하는 avi 파일은 container가 없는 비디오 스트림입니다. 그래서 단순히 윈도우에서 제공하는 "영화 및 TV" 앱을 이용해 재생하면 다음과 같은 오류 메시지가 발생합니다.
재생할 수 없음
이 파일을 재생할 수 없습니다. 파일 형식이 지원되지 않거나, 파일 확장명이 올바르지 않거나, 파일이 손상되었을 수 있습니다.
0xc00d36c4
이를 재생하려면 ffplay나 GOM 플레이어를 이용해야 합니다. 그리고, Container가 없는 유형이기 때문에 지난번에 설명한,
ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 디코딩 예제(decode_video.c) - 세 번째 이야기
; https://www.sysnet.pe.kr/2/0/12960
비디오 디코딩의 예제 파일로 사용해 정상적인 pgm 파일 출력을 볼 수 있습니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]