Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리 (저해상도 현상 해결)

지난 글에서,

C# - 화면 캡처한 이미지를 ffmpeg(FFmpeg.AutoGen)로 동영상 처리
; https://www.sysnet.pe.kr/2/0/12897

화면 캡처 동영상을 OpenCvSharp.VideoWriter로 만들었던 것을 ffmpeg로 교체했었는데요, 일단 ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드를 이용해 포팅을 했지만 시간이 지날수록 화면이 깨지는 문제점이 있습니다.

그 당시에는 뭘 모르니 ^^; sws_scale에 문제가 있을 거라고 판단했었는데, 근래에 관련 소스 코드를 계속 공부하면서,

C# - ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 프레임의 크기 및 포맷 변경 예제(scaling_video.c)
; https://www.sysnet.pe.kr/2/0/12961

저건 코덱 측 레벨의 문제이지, sws_scale과는 전혀 상관이 없는 문제로 보입니다. 그래서, 웹상에서 여러 가지 H264 인코딩 관련 예제를 찾아봤는데,

ffmpeg libx264 AVCodecContext settings
; https://stackoverflow.com/questions/9173012/ffmpeg-libx264-avcodeccontext-settings

위의 글에 bit_rate를 width * height * 4로 설정하는 코드가 있군요. ^^ 저게 설정을 하지 않으면 기본으로 200000 값을 가지고 있는데요, 어쨌든 저도 기존 소스 코드에서 아무것도 변경하지 않고 bit_rate만 늘렸더니,

public H264VideoStreamEncoder(Stream stream, AVCodecID codecId, AVPixelFormat destinationPixelFormat, int fps, Size frameSize)
{
    _stream = stream;
    _frameSize = frameSize;

    _pCodec = ffmpeg.avcodec_find_encoder(codecId);
    if (_pCodec == null) throw new InvalidOperationException("Codec not found.");

    _pCodecContext = ffmpeg.avcodec_alloc_context3(_pCodec);

    _pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 4;
    _pCodecContext->width = frameSize.Width;
    _pCodecContext->height = frameSize.Height;
    _pCodecContext->time_base = new AVRational { num = 1, den = fps };
    _pCodecContext->pix_fmt = destinationPixelFormat;
    ffmpeg.av_opt_set(_pCodecContext->priv_data, "preset", "veryslow", 0);

    ffmpeg.avcodec_open2(_pCodecContext, _pCodec, null).ThrowExceptionIfError();

    _linesizeY = frameSize.Width;
    _linesizeU = frameSize.Width / 2;
    _linesizeV = frameSize.Width / 2;

    _ySize = _linesizeY * frameSize.Height;
    _uSize = _linesizeU * frameSize.Height / 2;
}

오~~~ 깨지는 현상이 없어졌습니다. 그런데, 일부러 캡처하는 동안 해당 영역의 비주얼 스튜디오 윈도우를 빠르게 잡고 흔들었더니... 이렇게 깨지는 장면이 나옵니다.

h264_high_encode_1.png

그러다, 윈도우를 다시 놓으면 정상적으로 깨지지 않는 화면으로 돌아옵니다. 테스트를 해보니, 약 12 정도 곱해서 설정하면,

_pCodecContext->bit_rate = frameSize.Width * frameSize.Height * 12;

유튜브에서 동계 올림픽 쇼트 트랙 동영상을 켜놓고 캡처를 한 것도 정상적으로 깨짐 현상이 없습니다. 그렇긴 한데, 문제가 있군요. ^^; 3분 정도 길이의 동영상인데 크기가 무려 380MB 가까이 됩니다. youtube_dl로 다운로드하면 소리 포함해도 88MB인 것을 감안하면 뭔가 또 다른 문제가 있는 듯합니다. ^^;




ffprobe로 위의 동영상 파일을 살펴보면,

C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (Constrained Baseline), yuv420p(progressive), 1920x1080, 29.75 fps, 30 tbr, 1200k tbn, 60 tbc

희한하군요, bit_rate 값이 N/A가 나옵니다. 이것 때문인지 동영상의 전체 재생시간도 나오지 않습니다. 그리고 h264의 profile이 "Constrained Baseline"으로 나옵니다. 예전 소스 코드에서,

C# - ffmpeg(FFmpeg.AutoGen) AVFormatContext를 이용해 ffprobe처럼 정보 출력
; https://www.sysnet.pe.kr/2/0/12948

테스트한 대부분의 동영상은 "h264 (High)"였었는데요, 이 값이 어떤 대단한 역할을 하는지는 모르겠지만 그래도 쉽게 다음의 코드 설정을 했더니,

_pCodecContext->profile = ffmpeg.FF_PROFILE_H264_HIGH;

이렇게 바뀌었습니다. ^^

C:\temp> ffprobe test.avi
...[생략]...
Input #0, h264, from 'test.avi':
  Duration: N/A, bitrate: N/A
  Stream #0:0: Video: h264 (High), yuv420p(progressive), 1920x1080, 30 fps, 30 tbr, 1200k tbn, 60 tbc

하지만, 딱히 저게 설정되었다고 뭔가 변화가 눈에 띄지는 않았습니다. ^^ 어쨌든, 이렇게 서서히 공부하면서 개선을 해나가면 언젠가는 쓸만한 화면 캡처 프로그램이 나오겠죠?!!! ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, ffmpeg.AutoGen에서 제공하는 기본 H264 예제 코드가 출력하는 avi 파일은 container가 없는 비디오 스트림입니다. 그래서 단순히 윈도우에서 제공하는 "영화 및 TV" 앱을 이용해 재생하면 다음과 같은 오류 메시지가 발생합니다.

재생할 수 없음
이 파일을 재생할 수 없습니다. 파일 형식이 지원되지 않거나, 파일 확장명이 올바르지 않거나, 파일이 손상되었을 수 있습니다.
0xc00d36c4

이를 재생하려면 ffplay나 GOM 플레이어를 이용해야 합니다. 그리고, Container가 없는 유형이기 때문에 지난번에 설명한,

ffmpeg(FFmpeg.AutoGen)를 이용한 비디오 디코딩 예제(decode_video.c) - 세 번째 이야기
; https://www.sysnet.pe.kr/2/0/12960

비디오 디코딩의 예제 파일로 사용해 정상적인 pgm 파일 출력을 볼 수 있습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/14/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13186정성태12/6/202217오류 유형: 831. The framework 'Microsoft.AspNetCore.App', version '...' was not found.
13185정성태12/6/202238개발 환경 구성: 653. Windows 환경에서의 Hello World x64 어셈블리 예제 (NASM 버전)
13184정성태12/5/202276개발 환경 구성: 652. ml64.exe와 link.exe x64 실행 환경 구성
13183정성태12/4/202252오류 유형: 830. MASM + CRT 함수를 사용하는 경우 발생하는 컴파일 오류 정리
13182정성태12/4/202286Windows: 217. Windows 환경에서의 Hello World x64 어셈블리 예제 (MASM 버전)
13181정성태12/3/202281Linux: 54. 리눅스/WSL - hello world 어셈블리 코드 x86/x64 (nasm)
13180정성태12/2/202287.NET Framework: 2074. C# - 스택 메모리에 대한 여유 공간 확인하는 방법파일 다운로드1
13179정성태12/2/202254Windows: 216. Windows 11 - 22H2 업데이트 이후 Terminal 대신 cmd 창이 뜨는 경우
13178정성태12/1/2022146Windows: 215. Win32 API 금지된 함수 - IsBadXxxPtr 유의 함수들이 안전하지 않은 이유파일 다운로드1
13177정성태11/30/202298오류 유형: 829. uwsgi 설치 시 fatal error: Python.h: No such file or directory
13176정성태11/29/202274오류 유형: 828. gunicorn - ModuleNotFoundError: No module named 'flask'
13175정성태11/29/2022104오류 유형: 827. Python - ImportError: cannot import name 'html5lib' from 'pip._vendor'
13174정성태11/28/2022131.NET Framework: 2073. C# - VMMap처럼 스택 메모리의 reserve/guard/commit 상태 출력파일 다운로드1
13173정성태11/27/2022217.NET Framework: 2072. 닷넷 응용 프로그램의 스레드 스택 크기 변경
13172정성태11/25/2022267.NET Framework: 2071. 닷넷에서 ESP/RSP 레지스터 값을 구하는 방법파일 다운로드1
13171정성태11/25/2022222Windows: 214. 윈도우 - 스레드 스택의 "red zone"
13170정성태11/24/2022369Windows: 213. 윈도우 - 싱글 스레드는 컨텍스트 스위칭이 없을까요?
13169정성태11/23/2022381Windows: 212. 윈도우의 Protected Process (Light) 보안 [1]파일 다운로드2
13168정성태11/22/2022339제니퍼 .NET: 31. 제니퍼 닷넷 적용 사례 (9) - DB 서비스에 부하가 걸렸다?!
13167정성태11/21/2022331.NET Framework: 2070. .NET 7 - Console.ReadKey와 리눅스의 터미널 타입
13166정성태11/20/2022259개발 환경 구성: 651. Windows 사용자 경험으로 WSL 환경에 dotnet 런타임/SDK 설치 방법
13165정성태11/18/2022271개발 환경 구성: 650. Azure - "scm" 프로세스와 엮인 서비스 모음
13164정성태11/18/2022429개발 환경 구성: 649. Azure - 비주얼 스튜디오를 이용한 AppService 원격 디버그 방법
13163정성태11/17/2022280개발 환경 구성: 648. 비주얼 스튜디오에서 안드로이드 기기 인식하는 방법
13162정성태11/15/2022669.NET Framework: 2069. .NET 7 - AOT(ahead-of-time) 컴파일
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...