Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 3개 있습니다.)
C/C++: 178. C++ - 파일에 대한 Text 모드의 "translated" 동작
; https://www.sysnet.pe.kr/2/0/13766

C/C++: 179. C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드
; https://www.sysnet.pe.kr/2/0/13768

C/C++: 180. C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)
; https://www.sysnet.pe.kr/2/0/13776




C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)

이전에 _O_WTEXT, _O_U16TEXT, _O_U8TEXT 옵션에서만 가능한 Unicode 모드를 살펴봤는데요,

C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드
; https://www.sysnet.pe.kr/2/0/13768

위의 글에서는 저수준의 file I/O 함수를 사용한 것이고, 이번에는 FILE을 사용한 Stream 방식의 I/O 함수로 다뤄보겠습니다. FILE의 경우, fopen 함수에는 저수준의 _O_??? 상숫값들을 직접 받을 수 있는 인자가 없고, 대신 그것들을 표현하는 문자열만 가능합니다.

errno_t fopen_s(FILE** pFile, const char *filename, const char *mode);

errno_t _wfopen_s(FILE** pFile, const wchar_t *filename, const wchar_t *mode);

Visual C++는 _O_WTEXT, _O_U16TEXT, _O_U8TEXT 모드에 각각 대응하는 문자열을 새롭게 추가를 했는데요, 그래서 도입된 것이 "ccs" 옵션입니다.

  • _O_WTEXT: "ccs=UNICODE"
  • _O_U16TEXT: "ccs=UTF-16LE"
  • _O_U8TEXT: "ccs=UTF-8"

이 외에 전체적인 규칙은 같습니다. 단지, 차이점이라면 유니코드 모드로 파일을 여는 경우 wchar_t 정렬로 데이터 I/O를 하지 않았을 때,

#include <iostream>

int main()
{
    FILE* fs;
    fopen_s(&fs, "test_utf16", "w+, ccs=UTF-16LE");
    fputs("test", fs);
    fclose(fs);
}

디버그 모드로 실행 시 이런 assertion 에러가 발생합니다. (만약 release 모드라면 crash와 함께 이벤트 뷰어에 기록이 남습니다.)

Debug Assertion Failed!

Program: ...u8text_u16text\unicode_mode\x64\Debug\ConsoleApplication1.exe
File: minkernel\crts\ucrt\src\appcrt\stdio\fputs.cpp
Line: 20

Expression: ( (_Stream.is_string_backed()) || (fn = _fileno(_Stream.public_stream()), ((_textmode_safe(fn) == __crt_lowio_text_mode::ansi) && !_tm_unicode_safe(fn))))

Low level File I/O에서는 "buffer_size % 2 == 0"라는 메시지가 발생했던 것과는... 뭐랄까 직관적으로 오류 원인을 파악하기 힘든 내용입니다.




제가 이전 글에서, _O_WTEXT의 사용을 권장하지 않았는데요, 이게 고수준 File I/O 함수에서도 마찬가지로 혼란을 야기할 수 있습니다. 예를 들어, ccs=UNICODE는,

// C:\Program Files (x86)\Windows Kits\10\Source\10.0.22621.0\ucrt\inc\corecrt_internal_stdio.h

template <typename Character>
__acrt_stdio_stream_mode __cdecl __acrt_stdio_parse_mode(
    Character const* const mode
    ) throw()
{
    // ...[생략]...

    // Otherwise, we saw the beginning of an encoding; parse it:
    static Character const ccs[]              = { 'c', 'c', 's' };
    static Character const utf8_encoding[]    = { 'U', 'T', 'F', '-', '8' };
    static Character const utf16_encoding[]   = { 'U', 'T', 'F', '-', '1', '6', 'L', 'E' };
    static Character const unicode_encoding[] = { 'U', 'N', 'I', 'C', 'O', 'D', 'E' };

    // ...[생략]...

    if (stdio_traits::tcsnicmp(it, utf8_encoding, _countof(utf8_encoding)) == 0)
    {
        it += _countof(utf8_encoding);
        result._lowio_mode |= _O_U8TEXT;
    }
    else if (stdio_traits::tcsnicmp(it, utf16_encoding, _countof(utf16_encoding)) == 0)
    {
        it += _countof(utf16_encoding);
        result._lowio_mode |= _O_U16TEXT;
    }
    else if (stdio_traits::tcsnicmp(it, unicode_encoding, _countof(unicode_encoding)) == 0)
    {
        it += _countof(unicode_encoding);
        result._lowio_mode |= _O_WTEXT;
    }
    else
    {
        _VALIDATE_RETURN(("Invalid file open mode", 0), EINVAL, result);
    }

    // ...[생략]...
}

분명히 _O_WTEXT 모드로 파일을 열게 되는 것과 같습니다. 그런데, 해당 모드로 Low Level에서와 High Level에서 파일을 열었을 때 출력 결과가 다릅니다.

예를 들어, 다음과 같이 2개의 파일을 생성해 보면,

{
    FILE* fs;
    fopen_s(&fs, "test_unicode.txt", "w+, ccs=UNICODE");
    const wchar_t text[] = L"test";
    fputws(text, fs);
    fclose(fs);
}

{
    int fd = 0;
    _sopen_s(&fd, "test_unicode_ll.txt", _O_CREAT | _O_WRONLY | _O_TRUNC | _O_WTEXT, _SH_DENYNO, _S_IWRITE);

    const wchar_t* text = L"test"; // 0xd803,0xdc80 == U+10C80
    _write(fd, text, wcslen(text) * sizeof(wchar_t));
    _close(fd);
}

High Level로 열은, 즉 fopen_s + ccs=UNICODE 옵션의 파일은 ASCII 포맷으로 저장이 되고,

c:\temp> powershell Format-Hex -Path test_unicode.txt

           Path: C:\temp\test_unicode.txt

           00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F

00000000   74 65 73 74                                      test

Low Level로 열은, 즉 _sopen_s + _O_WTEXT 옵션의 파일은 UTF-16LE 포맷으로 저장이 됩니다.

00000000   FF FE 74 00 65 00 73 00 74 00                    .þt.e.s.t.

역시 혼란스럽죠? ^^; 게다가 "test_unicode.txt" 파일에 대해 _setmode로 신규 모드를 설정했을 때 반환하는 값은 _O_TEXT(0x4000) 모드로 나옵니다.

FILE* fs;
fopen_s(&fs, "test_unicode.txt", "w+, ccs=UNICODE");
int old_mode = _setmode(_fileno(fs), _O_WTEXT);
std::cout << "old_mode: 0x" << std::hex << old_mode << std::endl;

/* 출력 결과:
old_mode: 0x4000
*/

_O_TEXT 모드로 나온다는 결과는 이전의 저수준 I/O 결과와 동일해 일관성이 있다는 측면이 있지만, 그렇다면 오히려 "test_unicode.txt" 파일에는 ANSI로 출력되었어야 하는데 UTF-16으로 출력을 하고 있는 것입니다.

그러니까, 이것 역시 개인적으로는 ccs=UNICODE 옵션을 사용하지 않는 것을 권장합니다. (엄밀히 결과 파일로만 놓고 봤을 때는 ccs=UNICODE 옵션은 잘 작동하고 있다고 볼 수 있습니다.)




참고로, 이해를 돕기 위해 _O_U8TEXT, _O_U16TEXT에 대한 파일 I/O 예제를 C# 코드로 대응시키면 다음과 같습니다.

using System.Text;

internal class Program
{
    static void Main(string[] args)
    {
        string text = "test한";

        // _O_U8TEXT
        {
            using (FileStream fs = new FileStream("test_utf8.txt", FileMode.Truncate))
            using (StreamWriter sw = new StreamWriter(fs, Encoding.UTF8))
            {
                sw.Write(text);
            }
        }

        // _O_U16TEXT
        {
            using (FileStream fs = new FileStream("test_utf16le.txt", FileMode.Truncate))
            using (StreamWriter sw = new StreamWriter(fs, Encoding.Unicode))
            {
                sw.Write(text);
            }
        }
    }
}




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 10/28/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13782정성태10/23/20242990Linux: 93. Ubuntu 22.04 - 커널 이미지로부터 커널 함수 역어셈블
13781정성태10/22/20242888오류 유형: 930. WSL + eBPF: modprobe: FATAL: Module kheaders not found in directory
13780정성태10/22/20243107Linux: 92. WSL 2 - 커널 이미지로부터 커널 함수 역어셈블
13779정성태10/22/20243176개발 환경 구성: 729. WSL 2 - Mariner VM 커널 이미지 업데이트 방법
13778정성태10/21/20243390C/C++: 181. C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
13777정성태10/20/20243180Windows: 265. Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?
13776정성태10/19/20243245C/C++: 180. C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)파일 다운로드1
13775정성태10/19/20243264개발 환경 구성: 728. 윈도우 환경의 개발자를 위한 UTF-8 환경 설정
13774정성태10/18/20243083Linux: 91. Container 환경에서 출력하는 eBPF bpf_get_current_pid_tgid의 pid가 존재하지 않는 이유
13773정성태10/18/20243178Linux: 90. pid 네임스페이스 구성으로 본 WSL 2 + docker-desktop
13772정성태10/17/20243186Linux: 89. pid 네임스페이스 구성으로 본 WSL 2 배포본의 계층 관계
13771정성태10/17/20243098Linux: 88. WSL 2 리눅스 배포본 내에서의 pid 네임스페이스 구성
13770정성태10/17/20242949Linux: 87. ps + grep 조합에서 grep 명령어를 사용한 프로세스를 출력에서 제거하는 방법
13769정성태10/15/20243655Linux: 86. Golang + bpf2go를 사용한 eBPF 기본 예제파일 다운로드1
13768정성태10/15/20243190C/C++: 179. C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드파일 다운로드2
13767정성태10/14/20242994오류 유형: 929. bpftrace 수행 시 "ERROR: Could not resolve symbol: /proc/self/exe:BEGIN_trigger"
13766정성태10/14/20243027C/C++: 178. C++ - 파일에 대한 Text 모드의 "translated" 동작파일 다운로드1
13765정성태10/12/20242845오류 유형: 928. go build 시 "package maps is not in GOROOT" 오류
13764정성태10/11/20242891Linux: 85. Ubuntu - 원하는 golang 버전 설치
13763정성태10/11/20243116Linux: 84. WSL / Ubuntu 20.04 - bpftool 설치
13762정성태10/11/20243248Linux: 83. WSL / Ubuntu 22.04 - bpftool 설치
13761정성태10/11/20242964오류 유형: 927. WSL / Ubuntu - /usr/include/linux/types.h:5:10: fatal error: 'asm/types.h' file not found
13760정성태10/11/20243128Linux: 82. Ubuntu - clang 최신(stable) 버전 설치
13759정성태10/10/20244229C/C++: 177. C++ - 자유 함수(free function) 및 주소 지정 가능한 함수(addressable function) [6]
13758정성태10/8/20243853오류 유형: 926. dotnet tools를 sudo로 실행하는 경우 command not found
13757정성태10/8/20243809닷넷: 2306. Linux - dotnet tool의 설치 디렉터리가 PATH 환경변수에 자동 등록이 되는 이유
1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...