Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 
(연관된 글이 2개 있습니다.)
(시리즈 글이 5개 있습니다.)
Windows: 265. Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?
; https://www.sysnet.pe.kr/2/0/13777

C/C++: 181. C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
; https://www.sysnet.pe.kr/2/0/13778

C/C++: 182. 윈도우가 운영하는 2개의 Code Page
; https://www.sysnet.pe.kr/2/0/13785

Windows: 267. Win32 API의 A(ANSI) 버전은 DBCS를 사용할까요?
; https://www.sysnet.pe.kr/2/0/13791

C/C++: 183. C++ - 윈도우에서 한글(및 유니코드)을 포함한 콘솔 프로그램을 컴파일 및 실행하는 방법
; https://www.sysnet.pe.kr/2/0/13793




Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?

Win32 API는 "문자열" 타입이 관련되면 "A" 버전과 "W" 버전으로 나뉩니다. 가령 아래의 GetModuleFileName 함수는,

GetModuleFileNameA function (libloaderapi.h)
; https://learn.microsoft.com/en-us/windows/win32/api/libloaderapi/nf-libloaderapi-getmodulefilenamea

GetModuleFileNameW function (libloaderapi.h)
; https://learn.microsoft.com/en-us/windows/win32/api/libloaderapi/nf-libloaderapi-getmodulefilenamew

A/W 버전에 따라 각각 LPSTR, LPWSTR로 나뉘고,

DWORD GetModuleFileNameA([in, optional] HMODULE hModule, [out] LPSTR lpFilename, [in] DWORD nSize);

DWORD GetModuleFileNameW([in, optional] HMODULE hModule, [out] LPWSTR lpFilename, [in] DWORD nSize);

결국 1바이트 char, 2바이트 wchar_t의 차이에 해당합니다.

// C:\Program Files (x86)\Windows Kits\10\Include\10.0.22621.0\um\winnt.h

typedef char CHAR;
typedef _Null_terminated_ CHAR *NPSTR, *LPSTR, *PSTR;

typedef wchar_t WCHAR;
typedef _Null_terminated_ WCHAR *NWPSTR, *LPWSTR, *PWSTR;

여기서 W 버전은 유니코드 문자열을 처리하기 위한 버전인데요, 그렇다면 마이크로소프트는 어떤 인코딩을 사용해 W 버전을 처리하는 것일까요?

종종 웹상의 자료를 읽다보면, 어떤 문서를 보면 UCS-2라고 나오고, 어떤 문서에는 UTF-16이라고 나오는데요, 분명히 그 둘 간에는 차이점이 있습니다. 단지, 상업용 운영체제인 Windows가 전체 유니코드 영역을 다루지 못하는 제품은 아닌 듯하므로 얼핏 UTF-16 인코딩이 맞을 것으로 짐작은 할 수 있는데요, 사실 간단하게 테스트를 해보면 쉽게 알 수 있는 문제입니다.

가령, UCS-2의 경우 2바이트를 넘는 문자는 표현할 수 없기 때문에, 다음과 같은 UTF-16 인코딩 문자열은 정상적으로 출력이 안 되어야 합니다.

#include <Windows.h>

int main()
{
    HANDLE hStdOut = GetStdHandle(STD_OUTPUT_HANDLE);

    if (hStdOut == INVALID_HANDLE_VALUE) {
        return 1;
    }

    wchar_t text[] = L"Hello, World: \xD803\xDC80\n"; // 0xd803, 0xdc80: U+10C80 문자의 UTF-16 인코딩 값
    int len = (DWORD)wcslen(text);
    DWORD written = 0;

    WriteConsoleW(hStdOut, (PVOID)text, len, &written, nullptr);

    CloseHandle(hStdOut);
}

/* 출력 결과:
Hello, World: 𐲀
*/

출력 결과에도 나오지만, 윈도우의 유니코드 버전은 UTF-16 인코딩을 지원하기 때문에 위 코드는 정상적으로 동작합니다. 그런데 왜, UCS-2라는 말이 섞이는 걸까요? 검색해 보니, 마침 이에 대한 답이 나옵니다. ^^

Text - Does Windows use UTF-16 or UCS-2?
; http://zuga.net/articles/text-does-windows-use-utf-16-or-ucs-2/

그러니까, Windows NT 3.1이 출시된 당시에는 (Visual C++의 wchar_t 타입인) 2바이트면 유니코드의 모든 문자를 처리하기에 적절했으므로 UCS-2를 채택했다고 합니다. 그렇군요, 역사를 이해해야할 필요가 있었던 것입니다.

그런 의미에서 UTF-16의 경우,

// https://en.wikipedia.org/wiki/UTF-16

The UTF-16 encoding scheme was developed as a compromise and introduced with version 2.0 of the Unicode standard in July 1996.[13] It is fully specified in RFC 2781, published in 2000 by the IETF.


1996년에 표준이 나오기 시작했으니, 1993년에 나온 (NT의 첫 번째 버전인) Windows NT 3.1 입장에서는 오히려 UCS-2를 도입하는 것조차도 아마 early adopter에 속했을 듯합니다. (사실 Windows NT 3.1의 제품 개발을 1989년 11월에 시작했다는 것을 감안하면 그 결정은 더욱 이른 시기에 했을 것입니다.)

그래서 초기 Win32 API는 "W" 버전에 대한 유니코드 처리를 UCS-2로 했다는 것이 맞습니다. 그러다, 이후 Windows 2000이 나올 때는 UCS-2가 아닌 UTF-16을 채택했기 때문에 이제 wchar_t는 UTF-16 인코딩으로 지금까지 이어진 것입니다. (달리 말해, Visual C++ 컴파일러가 생성한 바이너리에 wchar_t 문자열은 UTF-16 인코딩으로 저장됩니다.)

결국, 오래된 문서에서는 UCS-2라고, 이후 문서에서는 UTF-16이라고 나뉘어 문서들이 퍼져 있는 것입니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/12/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13793정성태10/28/20245121C/C++: 183. C++ - 윈도우에서 한글(및 유니코드)을 포함한 콘솔 프로그램을 컴파일 및 실행하는 방법
13792정성태10/27/20244606Linux: 99. Linux - 프로세스의 실행 파일 경로 확인
13791정성태10/27/20244869Windows: 267. Win32 API의 A(ANSI) 버전은 DBCS를 사용할까요?파일 다운로드1
13790정성태10/27/20244589Linux: 98. Ubuntu 22.04 - 리눅스 커널 빌드 및 업그레이드
13789정성태10/27/20244890Linux: 97. menuconfig에 CONFIG_DEBUG_INFO_BTF, CONFIG_DEBUG_INFO_BTF_MODULES 옵션이 없는 경우
13788정성태10/26/20244427Linux: 96. eBPF (bpf2go) - fentry, fexit를 이용한 트레이스
13787정성태10/26/20244924개발 환경 구성: 730. github - Linux 커널 repo를 윈도우 환경에서 git clone하는 방법 [1]
13786정성태10/26/20245186Windows: 266. Windows - 대소문자 구분이 가능한 파일 시스템
13785정성태10/23/20244955C/C++: 182. 윈도우가 운영하는 2개의 Code Page파일 다운로드1
13784정성태10/23/20245219Linux: 95. eBPF - kprobe를 이용한 트레이스
13783정성태10/23/20244827Linux: 94. eBPF - vmlinux.h 헤더 포함하는 방법 (bpf2go에서 사용)
13782정성태10/23/20244590Linux: 93. Ubuntu 22.04 - 커널 이미지로부터 커널 함수 역어셈블
13781정성태10/22/20244769오류 유형: 930. WSL + eBPF: modprobe: FATAL: Module kheaders not found in directory
13780정성태10/22/20245525Linux: 92. WSL 2 - 커널 이미지로부터 커널 함수 역어셈블
13779정성태10/22/20244824개발 환경 구성: 729. WSL 2 - Mariner VM 커널 이미지 업데이트 방법
13778정성태10/21/20245633C/C++: 181. C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
13777정성태10/20/20244920Windows: 265. Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?
13776정성태10/19/20245227C/C++: 180. C++ - 고수준 FILE I/O 함수에서의 Unicode stream 모드(_O_WTEXT, _O_U16TEXT, _O_U8TEXT)파일 다운로드1
13775정성태10/19/20245466개발 환경 구성: 728. 윈도우 환경의 개발자를 위한 UTF-8 환경 설정
13774정성태10/18/20245164Linux: 91. Container 환경에서 출력하는 eBPF bpf_get_current_pid_tgid의 pid가 존재하지 않는 이유
13773정성태10/18/20244852Linux: 90. pid 네임스페이스 구성으로 본 WSL 2 + docker-desktop
13772정성태10/17/20245127Linux: 89. pid 네임스페이스 구성으로 본 WSL 2 배포본의 계층 관계
13771정성태10/17/20245032Linux: 88. WSL 2 리눅스 배포본 내에서의 pid 네임스페이스 구성
13770정성태10/17/20245312Linux: 87. ps + grep 조합에서 grep 명령어를 사용한 프로세스를 출력에서 제거하는 방법
13769정성태10/15/20246088Linux: 86. Golang + bpf2go를 사용한 eBPF 기본 예제파일 다운로드1
13768정성태10/15/20245362C/C++: 179. C++ - _O_WTEXT, _O_U16TEXT, _O_U8TEXT의 Unicode stream 모드파일 다운로드2
1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...