C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)
이전에 _O_WTEXT, _O_U16TEXT, _O_U8TEXT 옵션에서만 가능한 Unicode 모드를 살펴봤는데요,
C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드
; https://www.sysnet.pe.kr/2/0/13768
위의 글에서는 저수준의 file I/O 함수를 사용한 것이고, 이번에는
FILE을 사용한 Stream 방식의 I/O 함수로 다뤄보겠습니다. FILE의 경우,
fopen 함수에는 저수준의 _O_??? 상숫값들을 직접 받을 수 있는 인자가 없고, 대신 그것들을 표현하는 문자열만 가능합니다.
errno_t fopen_s(FILE** pFile, const char *filename, const char *mode);
errno_t _wfopen_s(FILE** pFile, const wchar_t *filename, const wchar_t *mode);
Visual C++는 _O_WTEXT, _O_U16TEXT, _O_U8TEXT 모드에 각각 대응하는 문자열을 새롭게 추가를 했는데요, 그래서 도입된 것이 "ccs" 옵션입니다.
- _O_WTEXT: "ccs=UNICODE"
- _O_U16TEXT: "ccs=UTF-16LE"
- _O_U8TEXT: "ccs=UTF-8"
이 외에 전체적인 규칙은 같습니다. 단지, 차이점이라면 유니코드 모드로 파일을 여는 경우 wchar_t 정렬로 데이터 I/O를 하지 않았을 때,
#include <iostream>
int main()
{
FILE* fs;
fopen_s(&fs, "test_utf16", "w+, ccs=UTF-16LE");
fputs("test", fs);
fclose(fs);
}
디버그 모드로
실행 시 이런 assertion 에러가 발생합니다. (만약 release 모드라면 crash와 함께 이벤트 뷰어에 기록이 남습니다.)
Debug Assertion Failed!
Program: ...u8text_u16text\unicode_mode\x64\Debug\ConsoleApplication1.exe
File: minkernel\crts\ucrt\src\appcrt\stdio\fputs.cpp
Line: 20
Expression: ( (_Stream.is_string_backed()) || (fn = _fileno(_Stream.public_stream()), ((_textmode_safe(fn) == __crt_lowio_text_mode::ansi) && !_tm_unicode_safe(fn))))
Low level File I/O에서는
"buffer_size % 2 == 0"라는 메시지가 발생했던 것과는... 뭐랄까 직관적으로 오류 원인을 파악하기 힘든 내용입니다.
제가 이전 글에서,
_O_WTEXT의 사용을 권장하지 않았는데요, 이게 고수준 File I/O 함수에서도 마찬가지로 혼란을 야기할 수 있습니다. 예를 들어, ccs=UNICODE는,
// C:\Program Files (x86)\Windows Kits\10\Source\10.0.22621.0\ucrt\inc\corecrt_internal_stdio.h
template <typename Character>
__acrt_stdio_stream_mode __cdecl __acrt_stdio_parse_mode(
Character const* const mode
) throw()
{
// ...[생략]...
// Otherwise, we saw the beginning of an encoding; parse it:
static Character const ccs[] = { 'c', 'c', 's' };
static Character const utf8_encoding[] = { 'U', 'T', 'F', '-', '8' };
static Character const utf16_encoding[] = { 'U', 'T', 'F', '-', '1', '6', 'L', 'E' };
static Character const unicode_encoding[] = { 'U', 'N', 'I', 'C', 'O', 'D', 'E' };
// ...[생략]...
if (stdio_traits::tcsnicmp(it, utf8_encoding, _countof(utf8_encoding)) == 0)
{
it += _countof(utf8_encoding);
result._lowio_mode |= _O_U8TEXT;
}
else if (stdio_traits::tcsnicmp(it, utf16_encoding, _countof(utf16_encoding)) == 0)
{
it += _countof(utf16_encoding);
result._lowio_mode |= _O_U16TEXT;
}
else if (stdio_traits::tcsnicmp(it, unicode_encoding, _countof(unicode_encoding)) == 0)
{
it += _countof(unicode_encoding);
result._lowio_mode |= _O_WTEXT;
}
else
{
_VALIDATE_RETURN(("Invalid file open mode", 0), EINVAL, result);
}
// ...[생략]...
}
분명히 _O_WTEXT 모드로 파일을 열게 되는 것과 같습니다. 그런데, 해당 모드로 Low Level에서와 High Level에서 파일을 열었을 때 출력 결과가 다릅니다.
예를 들어, 다음과 같이 2개의 파일을 생성해 보면,
{
FILE* fs;
fopen_s(&fs, "test_unicode.txt", "w+, ccs=UNICODE");
const wchar_t text[] = L"test";
fputws(text, fs);
fclose(fs);
}
{
int fd = 0;
_sopen_s(&fd, "test_unicode_ll.txt", _O_CREAT | _O_WRONLY | _O_TRUNC | _O_WTEXT, _SH_DENYNO, _S_IWRITE);
const wchar_t* text = L"test"; // 0xd803,0xdc80 == U+10C80
_write(fd, text, wcslen(text) * sizeof(wchar_t));
_close(fd);
}
High Level로 열은, 즉 fopen_s + ccs=UNICODE 옵션의 파일은 ASCII 포맷으로 저장이 되고,
c:\temp> powershell Format-Hex -Path test_unicode.txt
Path: C:\temp\test_unicode.txt
00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F
00000000 74 65 73 74 test
Low Level로 열은, 즉 _sopen_s + _O_WTEXT 옵션의 파일은 UTF-16LE 포맷으로 저장이 됩니다.
00000000 FF FE 74 00 65 00 73 00 74 00 .þt.e.s.t.
역시 혼란스럽죠? ^^; 게다가 "test_unicode.txt" 파일에 대해 _setmode로 신규 모드를 설정했을 때 반환하는 값은 _O_TEXT(0x4000) 모드로 나옵니다.
FILE* fs;
fopen_s(&fs, "test_unicode.txt", "w+, ccs=UNICODE");
int old_mode = _setmode(_fileno(fs), _O_WTEXT);
std::cout << "old_mode: 0x" << std::hex << old_mode << std::endl;
/* 출력 결과:
old_mode: 0x4000
*/
_O_TEXT 모드로 나온다는 결과는
이전의 저수준 I/O 결과와 동일해 일관성이 있다는 측면이 있지만, 그렇다면 오히려 "test_unicode.txt" 파일에는 ANSI로 출력되었어야 하는데 UTF-16으로 출력을 하고 있는 것입니다.
그러니까, 이것 역시 개인적으로는 ccs=UNICODE 옵션을 사용하지 않는 것을 권장합니다. (엄밀히 결과 파일로만 놓고 봤을 때는 ccs=UNICODE 옵션은 잘 작동하고 있다고 볼 수 있습니다.)
참고로, 이해를 돕기 위해 _O_U8TEXT, _O_U16TEXT에 대한 파일 I/O 예제를 C# 코드로 대응시키면 다음과 같습니다.
using System.Text;
internal class Program
{
static void Main(string[] args)
{
string text = "test한";
// _O_U8TEXT
{
using (FileStream fs = new FileStream("test_utf8.txt", FileMode.Truncate))
using (StreamWriter sw = new StreamWriter(fs, Encoding.UTF8))
{
sw.Write(text);
}
}
// _O_U16TEXT
{
using (FileStream fs = new FileStream("test_utf16le.txt", FileMode.Truncate))
using (StreamWriter sw = new StreamWriter(fs, Encoding.Unicode))
{
sw.Write(text);
}
}
}
}
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]