Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 3개 있습니다.)
C/C++: 178. C++ - 파일에 대한 Text 모드의 "translated" 동작
; https://www.sysnet.pe.kr/2/0/13766

C/C++: 179. C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드
; https://www.sysnet.pe.kr/2/0/13768

C/C++: 180. C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)
; https://www.sysnet.pe.kr/2/0/13776




C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)

이전에 _O_WTEXT, _O_U16TEXT, _O_U8TEXT 옵션에서만 가능한 Unicode 모드를 살펴봤는데요,

C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드
; https://www.sysnet.pe.kr/2/0/13768

위의 글에서는 저수준의 file I/O 함수를 사용한 것이고, 이번에는 FILE을 사용한 Stream 방식의 I/O 함수로 다뤄보겠습니다. FILE의 경우, fopen 함수에는 저수준의 _O_??? 상숫값들을 직접 받을 수 있는 인자가 없고, 대신 그것들을 표현하는 문자열만 가능합니다.

errno_t fopen_s(FILE** pFile, const char *filename, const char *mode);

errno_t _wfopen_s(FILE** pFile, const wchar_t *filename, const wchar_t *mode);

Visual C++는 _O_WTEXT, _O_U16TEXT, _O_U8TEXT 모드에 각각 대응하는 문자열을 새롭게 추가를 했는데요, 그래서 도입된 것이 "ccs" 옵션입니다.

  • _O_WTEXT: "ccs=UNICODE"
  • _O_U16TEXT: "ccs=UTF-16LE"
  • _O_U8TEXT: "ccs=UTF-8"

이 외에 전체적인 규칙은 같습니다. 단지, 차이점이라면 유니코드 모드로 파일을 여는 경우 wchar_t 정렬로 데이터 I/O를 하지 않았을 때,

#include <iostream>

int main()
{
    FILE* fs;
    fopen_s(&fs, "test_utf16", "w+, ccs=UTF-16LE");
    fputs("test", fs);
    fclose(fs);
}

디버그 모드로 실행 시 이런 assertion 에러가 발생합니다. (만약 release 모드라면 crash와 함께 이벤트 뷰어에 기록이 남습니다.)

Debug Assertion Failed!

Program: ...u8text_u16text\unicode_mode\x64\Debug\ConsoleApplication1.exe
File: minkernel\crts\ucrt\src\appcrt\stdio\fputs.cpp
Line: 20

Expression: ( (_Stream.is_string_backed()) || (fn = _fileno(_Stream.public_stream()), ((_textmode_safe(fn) == __crt_lowio_text_mode::ansi) && !_tm_unicode_safe(fn))))

Low level File I/O에서는 "buffer_size % 2 == 0"라는 메시지가 발생했던 것과는... 뭐랄까 직관적으로 오류 원인을 파악하기 힘든 내용입니다.




제가 이전 글에서, _O_WTEXT의 사용을 권장하지 않았는데요, 이게 고수준 File I/O 함수에서도 마찬가지로 혼란을 야기할 수 있습니다. 예를 들어, ccs=UNICODE는,

// C:\Program Files (x86)\Windows Kits\10\Source\10.0.22621.0\ucrt\inc\corecrt_internal_stdio.h

template <typename Character>
__acrt_stdio_stream_mode __cdecl __acrt_stdio_parse_mode(
    Character const* const mode
    ) throw()
{
    // ...[생략]...

    // Otherwise, we saw the beginning of an encoding; parse it:
    static Character const ccs[]              = { 'c', 'c', 's' };
    static Character const utf8_encoding[]    = { 'U', 'T', 'F', '-', '8' };
    static Character const utf16_encoding[]   = { 'U', 'T', 'F', '-', '1', '6', 'L', 'E' };
    static Character const unicode_encoding[] = { 'U', 'N', 'I', 'C', 'O', 'D', 'E' };

    // ...[생략]...

    if (stdio_traits::tcsnicmp(it, utf8_encoding, _countof(utf8_encoding)) == 0)
    {
        it += _countof(utf8_encoding);
        result._lowio_mode |= _O_U8TEXT;
    }
    else if (stdio_traits::tcsnicmp(it, utf16_encoding, _countof(utf16_encoding)) == 0)
    {
        it += _countof(utf16_encoding);
        result._lowio_mode |= _O_U16TEXT;
    }
    else if (stdio_traits::tcsnicmp(it, unicode_encoding, _countof(unicode_encoding)) == 0)
    {
        it += _countof(unicode_encoding);
        result._lowio_mode |= _O_WTEXT;
    }
    else
    {
        _VALIDATE_RETURN(("Invalid file open mode", 0), EINVAL, result);
    }

    // ...[생략]...
}

분명히 _O_WTEXT 모드로 파일을 열게 되는 것과 같습니다. 그런데, 해당 모드로 Low Level에서와 High Level에서 파일을 열었을 때 출력 결과가 다릅니다.

예를 들어, 다음과 같이 2개의 파일을 생성해 보면,

{
    FILE* fs;
    fopen_s(&fs, "test_unicode.txt", "w+, ccs=UNICODE");
    const wchar_t text[] = L"test";
    fputws(text, fs);
    fclose(fs);
}

{
    int fd = 0;
    _sopen_s(&fd, "test_unicode_ll.txt", _O_CREAT | _O_WRONLY | _O_TRUNC | _O_WTEXT, _SH_DENYNO, _S_IWRITE);

    const wchar_t* text = L"test"; // 0xd803,0xdc80 == U+10C80
    _write(fd, text, wcslen(text) * sizeof(wchar_t));
    _close(fd);
}

High Level로 열은, 즉 fopen_s + ccs=UNICODE 옵션의 파일은 ASCII 포맷으로 저장이 되고,

c:\temp> powershell Format-Hex -Path test_unicode.txt

           Path: C:\temp\test_unicode.txt

           00 01 02 03 04 05 06 07 08 09 0A 0B 0C 0D 0E 0F

00000000   74 65 73 74                                      test

Low Level로 열은, 즉 _sopen_s + _O_WTEXT 옵션의 파일은 UTF-16LE 포맷으로 저장이 됩니다.

00000000   FF FE 74 00 65 00 73 00 74 00                    .þt.e.s.t.

역시 혼란스럽죠? ^^; 게다가 "test_unicode.txt" 파일에 대해 _setmode로 신규 모드를 설정했을 때 반환하는 값은 _O_TEXT(0x4000) 모드로 나옵니다.

FILE* fs;
fopen_s(&fs, "test_unicode.txt", "w+, ccs=UNICODE");
int old_mode = _setmode(_fileno(fs), _O_WTEXT);
std::cout << "old_mode: 0x" << std::hex << old_mode << std::endl;

/* 출력 결과:
old_mode: 0x4000
*/

_O_TEXT 모드로 나온다는 결과는 이전의 저수준 I/O 결과와 동일해 일관성이 있다는 측면이 있지만, 그렇다면 오히려 "test_unicode.txt" 파일에는 ANSI로 출력되었어야 하는데 UTF-16으로 출력을 하고 있는 것입니다.

그러니까, 이것 역시 개인적으로는 ccs=UNICODE 옵션을 사용하지 않는 것을 권장합니다. (엄밀히 결과 파일로만 놓고 봤을 때는 ccs=UNICODE 옵션은 잘 작동하고 있다고 볼 수 있습니다.)




참고로, 이해를 돕기 위해 _O_U8TEXT, _O_U16TEXT에 대한 파일 I/O 예제를 C# 코드로 대응시키면 다음과 같습니다.

using System.Text;

internal class Program
{
    static void Main(string[] args)
    {
        string text = "test한";

        // _O_U8TEXT
        {
            using (FileStream fs = new FileStream("test_utf8.txt", FileMode.Truncate))
            using (StreamWriter sw = new StreamWriter(fs, Encoding.UTF8))
            {
                sw.Write(text);
            }
        }

        // _O_U16TEXT
        {
            using (FileStream fs = new FileStream("test_utf16le.txt", FileMode.Truncate))
            using (StreamWriter sw = new StreamWriter(fs, Encoding.Unicode))
            {
                sw.Write(text);
            }
        }
    }
}




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 10/28/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 76  77  78  79  80  81  82  [83]  84  85  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
11862정성태4/7/201920262개발 환경 구성: 437. .NET EXE의 ASLR 기능을 끄는 방법
11861정성태4/6/201919633디버깅 기술: 126. windbg - .NET x86 CLR2/CLR4 EXE의 EntryPoint
11860정성태4/5/201923552오류 유형: 527. Visual C++ 컴파일 오류 - error C2220: warning treated as error - no 'object' file generated
11859정성태4/4/201920821디버깅 기술: 125. WinDbg로 EXE의 EntryPoint에서 BP 거는 방법
11858정성태3/27/201921679VC++: 129. EXE를 LoadLibrary로 로딩해 PE 헤더에 있는 EntryPoint를 직접 호출하는 방법파일 다운로드1
11857정성태3/26/201919556VC++: 128. strncpy 사용 시 주의 사항(Linux / Windows)
11856정성태3/25/201919788VS.NET IDE: 134. 마이크로소프트의 CoreCLR 프로파일러 리눅스 예제를 Visual Studio F5 원격 디버깅하는 방법 [1]파일 다운로드1
11855정성태3/25/201921979개발 환경 구성: 436. 페이스북 HTTPS 인증을 localhost에서 테스트하는 방법
11854정성태3/25/201917678VS.NET IDE: 133. IIS Express로 호스팅하는 사이트를 https로 접근하는 방법
11853정성태3/24/201920436개발 환경 구성: 435. 존재하지 않는 IP 주소에 대한 Dns.GetHostByAddress/gethostbyaddr/GetNameInfoW 실행이 느리다면? - 두 번째 이야기 [1]
11852정성태3/20/201919636개발 환경 구성: 434. 존재하지 않는 IP 주소에 대한 Dns.GetHostByAddress/gethostbyaddr/GetNameInfoW 실행이 느리다면?파일 다운로드1
11851정성태3/19/201923389Linux: 8. C# - 리눅스 환경에서 DllImport 대신 라이브러리 동적 로드 처리 [2]
11850정성태3/18/201922476.NET Framework: 813. C# async 메서드에서 out/ref/in 유형의 인자를 사용하지 못하는 이유
11849정성태3/18/201921789.NET Framework: 812. pscp.exe 기능을 C#으로 제어하는 방법파일 다운로드1
11848정성태3/17/201918558스크립트: 14. 윈도우 CMD - 파일이 변경된 경우 파일명을 변경해 복사하고 싶다면?
11847정성태3/17/201923023Linux: 7. 리눅스 C/C++ - 공유 라이브러리 동적 로딩 후 export 함수 사용 방법파일 다운로드1
11846정성태3/15/201921675Linux: 6. getenv, setenv가 언어/운영체제마다 호환이 안 되는 문제
11845정성태3/15/201921779Linux: 5. Linux 응용 프로그램의 (C++) so 의존성 줄이기(ReleaseMinDependency) [3]
11844정성태3/14/201923113개발 환경 구성: 434. Visual Studio 2019 - 리눅스 프로젝트를 이용한 공유/실행(so/out) 프로그램 개발 환경 설정 [1]파일 다운로드1
11843정성태3/14/201918045기타: 75. MSDN 웹 사이트를 기본으로 영문 페이지로 열고 싶다면?
11842정성태3/13/201916417개발 환경 구성: 433. 마이크로소프트의 CoreCLR 프로파일러 예제를 Visual Studio CMake로 빌드하는 방법 [1]파일 다운로드1
11841정성태3/13/201916704VS.NET IDE: 132. Visual Studio 2019 - CMake의 컴파일러를 기본 g++에서 clang++로 변경
11840정성태3/13/201918335오류 유형: 526. 윈도우 10 Ubuntu App 환경에서는 USB 외장 하드 접근 불가
11839정성태3/12/201922328디버깅 기술: 124. .NET Core 웹 앱을 호스팅하는 Azure App Services의 프로세스 메모리 덤프 및 windbg 분석 개요 [3]
11838정성태3/7/201925923.NET Framework: 811. (번역글) .NET Internals Cookbook Part 1 - Exceptions, filters and corrupted processes [1]파일 다운로드1
11837정성태3/6/201939846기타: 74. 도서: 시작하세요! C# 7.3 프로그래밍 [10]
... 76  77  78  79  80  81  82  [83]  84  85  86  87  88  89  90  ...