Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 
(연관된 글이 2개 있습니다.)
(시리즈 글이 5개 있습니다.)
Windows: 265. Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?
; https://www.sysnet.pe.kr/2/0/13777

C/C++: 181. C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
; https://www.sysnet.pe.kr/2/0/13778

C/C++: 182. 윈도우가 운영하는 2개의 Code Page
; https://www.sysnet.pe.kr/2/0/13785

Windows: 267. Win32 API의 A(ANSI) 버전은 DBCS를 사용할까요?
; https://www.sysnet.pe.kr/2/0/13791

C/C++: 183. C++ - 윈도우에서 한글(및 유니코드)을 포함한 콘솔 프로그램을 컴파일 및 실행하는 방법
; https://www.sysnet.pe.kr/2/0/13793




Win32 API의 W(유니코드) 버전은 UCS-2일까요? UTF-16 인코딩일까요?

Win32 API는 "문자열" 타입이 관련되면 "A" 버전과 "W" 버전으로 나뉩니다. 가령 아래의 GetModuleFileName 함수는,

GetModuleFileNameA function (libloaderapi.h)
; https://learn.microsoft.com/en-us/windows/win32/api/libloaderapi/nf-libloaderapi-getmodulefilenamea

GetModuleFileNameW function (libloaderapi.h)
; https://learn.microsoft.com/en-us/windows/win32/api/libloaderapi/nf-libloaderapi-getmodulefilenamew

A/W 버전에 따라 각각 LPSTR, LPWSTR로 나뉘고,

DWORD GetModuleFileNameA([in, optional] HMODULE hModule, [out] LPSTR lpFilename, [in] DWORD nSize);

DWORD GetModuleFileNameW([in, optional] HMODULE hModule, [out] LPWSTR lpFilename, [in] DWORD nSize);

결국 1바이트 char, 2바이트 wchar_t의 차이에 해당합니다.

// C:\Program Files (x86)\Windows Kits\10\Include\10.0.22621.0\um\winnt.h

typedef char CHAR;
typedef _Null_terminated_ CHAR *NPSTR, *LPSTR, *PSTR;

typedef wchar_t WCHAR;
typedef _Null_terminated_ WCHAR *NWPSTR, *LPWSTR, *PWSTR;

여기서 W 버전은 유니코드 문자열을 처리하기 위한 버전인데요, 그렇다면 마이크로소프트는 어떤 인코딩을 사용해 W 버전을 처리하는 것일까요?

종종 웹상의 자료를 읽다보면, 어떤 문서를 보면 UCS-2라고 나오고, 어떤 문서에는 UTF-16이라고 나오는데요, 분명히 그 둘 간에는 차이점이 있습니다. 단지, 상업용 운영체제인 Windows가 전체 유니코드 영역을 다루지 못하는 제품은 아닌 듯하므로 얼핏 UTF-16 인코딩이 맞을 것으로 짐작은 할 수 있는데요, 사실 간단하게 테스트를 해보면 쉽게 알 수 있는 문제입니다.

가령, UCS-2의 경우 2바이트를 넘는 문자는 표현할 수 없기 때문에, 다음과 같은 UTF-16 인코딩 문자열은 정상적으로 출력이 안 되어야 합니다.

#include <Windows.h>

int main()
{
    HANDLE hStdOut = GetStdHandle(STD_OUTPUT_HANDLE);

    if (hStdOut == INVALID_HANDLE_VALUE) {
        return 1;
    }

    wchar_t text[] = L"Hello, World: \xD803\xDC80\n"; // 0xd803, 0xdc80: U+10C80 문자의 UTF-16 인코딩 값
    int len = (DWORD)wcslen(text);
    DWORD written = 0;

    WriteConsoleW(hStdOut, (PVOID)text, len, &written, nullptr);

    CloseHandle(hStdOut);
}

/* 출력 결과:
Hello, World: 𐲀
*/

출력 결과에도 나오지만, 윈도우의 유니코드 버전은 UTF-16 인코딩을 지원하기 때문에 위 코드는 정상적으로 동작합니다. 그런데 왜, UCS-2라는 말이 섞이는 걸까요? 검색해 보니, 마침 이에 대한 답이 나옵니다. ^^

Text - Does Windows use UTF-16 or UCS-2?
; http://zuga.net/articles/text-does-windows-use-utf-16-or-ucs-2/

그러니까, Windows NT 3.1이 출시된 당시에는 (Visual C++의 wchar_t 타입인) 2바이트면 유니코드의 모든 문자를 처리하기에 적절했으므로 UCS-2를 채택했다고 합니다. 그렇군요, 역사를 이해해야할 필요가 있었던 것입니다.

그런 의미에서 UTF-16의 경우,

// https://en.wikipedia.org/wiki/UTF-16

The UTF-16 encoding scheme was developed as a compromise and introduced with version 2.0 of the Unicode standard in July 1996.[13] It is fully specified in RFC 2781, published in 2000 by the IETF.


1996년에 표준이 나오기 시작했으니, 1993년에 나온 (NT의 첫 번째 버전인) Windows NT 3.1 입장에서는 오히려 UCS-2를 도입하는 것조차도 아마 early adopter에 속했을 듯합니다. (사실 Windows NT 3.1의 제품 개발을 1989년 11월에 시작했다는 것을 감안하면 그 결정은 더욱 이른 시기에 했을 것입니다.)

그래서 초기 Win32 API는 "W" 버전에 대한 유니코드 처리를 UCS-2로 했다는 것이 맞습니다. 그러다, 이후 Windows 2000이 나올 때는 UCS-2가 아닌 UTF-16을 채택했기 때문에 이제 wchar_t는 UTF-16 인코딩으로 지금까지 이어진 것입니다. (달리 말해, Visual C++ 컴파일러가 생성한 바이너리에 wchar_t 문자열은 UTF-16 인코딩으로 저장됩니다.)

결국, 오래된 문서에서는 UCS-2라고, 이후 문서에서는 UTF-16이라고 나뉘어 문서들이 퍼져 있는 것입니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/12/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  [2]  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13813정성태11/12/20241037닷넷: 2310. .NET의 Rune 타입과 emoji 표현파일 다운로드1
13812정성태11/11/2024921오류 유형: 933. Active Directory - The forest functional level is not supported.
13811정성태11/11/2024963Linux: 104. Linux - COLUMNS 환경변수가 언제나 80으로 설정되는 환경
13810정성태11/10/20241068Linux: 103. eBPF (bpf2go) - Tracepoint를 이용한 트레이스 (BPF_PROG_TYPE_TRACEPOINT)
13809정성태11/10/20241028Windows: 271. 윈도우 서버 2025 마이그레이션
13808정성태11/9/20241074오류 유형: 932. Linux - 커널 업그레이드 후 "error: bad shim signature" 오류 발생
13807정성태11/9/20241118Linux: 102. Linux - 커널 이미지 파일 서명 (Ubuntu 환경)
13806정성태11/8/20241072Windows: 270. 어댑터 상세 정보(Network Connection Details) 창의 내용이 비어 있는 경우
13805정성태11/8/2024983오류 유형: 931. Active Directory의 adprep 또는 복제가 안 되는 경우
13804정성태11/7/2024978Linux: 101. eBPF 함수의 인자를 다루는 방법
13803정성태11/7/20241133닷넷: 2309. C# - .NET Core에서 바뀐 DateTime.Ticks의 정밀도
13802정성태11/6/20241124Windows: 269. GetSystemTimeAsFileTime과 GetSystemTimePreciseAsFileTime의 차이점파일 다운로드1
13801정성태11/5/20241101Linux: 100. eBPF의 2가지 방식 - libbcc와 libbpf(CO-RE)
13800정성태11/3/20241769닷넷: 2308. C# - ICU 라이브러리를 활용한 문자열의 대소문자 변환 [2]파일 다운로드1
13799정성태11/2/20241437개발 환경 구성: 732. 모바일 웹 브라우저에서 유니코드 문자가 표시되지 않는 경우
13798정성태11/2/20241529개발 환경 구성: 731. 유니코드 - 출력 예시 및 폰트 찾기
13797정성태11/1/20241601C/C++: 185. C++ - 문자열의 대소문자를 변환하는 transform + std::tolower/toupper 방식의 문제점파일 다운로드1
13796정성태10/31/20241496C/C++: 184. C++ - ICU dll을 이용하는 예제 코드 (Windows)파일 다운로드1
13795정성태10/31/20241449Windows: 268. Windows - 리눅스 환경처럼 공백으로 끝나는 프롬프트 만들기
13794정성태10/30/20241594닷넷: 2307. C# - 윈도우에서 한글(및 유니코드)을 포함한 콘솔 프로그램을 컴파일 및 실행하는 방법
13793정성태10/28/20241513C/C++: 183. C++ - 윈도우에서 한글(및 유니코드)을 포함한 콘솔 프로그램을 컴파일 및 실행하는 방법
13792정성태10/27/20241387Linux: 99. Linux - 프로세스의 실행 파일 경로 확인
13791정성태10/27/20241403Windows: 267. Win32 API의 A(ANSI) 버전은 DBCS를 사용할까요?파일 다운로드1
13790정성태10/27/20241442Linux: 98. Ubuntu 22.04 - 리눅스 커널 빌드 및 업그레이드
13789정성태10/27/20241361Linux: 97. menuconfig에 CONFIG_DEBUG_INFO_BTF, CONFIG_DEBUG_INFO_BTF_MODULES 옵션이 없는 경우
13788정성태10/26/20241433Linux: 96. eBPF (bpf2go) - fentry, fexit를 이용한 트레이스
1  [2]  3  4  5  6  7  8  9  10  11  12  13  14  15  ...