윈도우가 운영하는 2개의 Code Page
Win32 API에는 Code Page를 반환하는 2개의 함수가 있습니다.
GetACP function (winnls.h)
; https://learn.microsoft.com/en-us/windows/win32/api/winnls/nf-winnls-getacp
GetConsoleOutputCP function
; https://learn.microsoft.com/en-us/windows/console/getconsoleoutputcp
문서에도 설명이 나오지만 차이가 있긴 합니다. 간략하게 정리해 볼까요? ^^
우선, 다음의 소스코드로,
#include <iostream>
#include <Windows.h>
int main()
{
{
UINT cp = ::GetConsoleOutputCP();
std::cout << "Console Output Code Page: " << cp << std::endl;
}
{
UINT cp = ::GetACP();
std::cout << "Code Page: " << cp << std::endl;
}
}
한글 Windows 11 환경, 또는 "Use Unicode UTF-8 for worldwide language support" 옵션에서 실행해 보면 이런 결과가 나옵니다.
// [한글 Windows 11]
Console Output Code Page: 949
Code Page: 949
// [한글/영문 상관없이 utf-8 설정한 경우]
Console Output Code Page: 65001
Code Page: 65001
2개 함수의 값이 같습니다. 다른 값을 기대했다면 "영문 Windows 11"에서 실행해 보면 됩니다. ^^
// [영문 Windows 11]
Console Output Code Page: 437
Code Page: 1252
이런 결과에 대해 공식 문서의 설명을 찾을 수는 없었지만, 그동안의 경험으로 미뤄 짐작해 볼 수는 있는데요, "GetConsoleOutputCP" 함수가 반환하는 것은 "Command Prompt" 명령행 창의 호환성을 위해 설정된 코드 페이지입니다. 그와 관련해서는 아래의 문서를 보면,
Code page 437
; https://en.wikipedia.org/wiki/Code_page_437
Code page 437 (CCSID 437) is the character set of the original IBM PC (personal computer).[2] It is also known as CP437, OEM-US, OEM 437,[3] PC-8,[4] or DOS Latin US.[5] The set includes all printable ASCII characters as well as some accented letters (diacritics), Greek letters, icons, and line-drawing symbols. It is sometimes referred to as the "OEM font" or "high ASCII", or as "extended ASCII"[4] (one of many mutually incompatible ASCII extensions).
"the original IBM PC"라는 것에서 그 의미를 찾을 수 있습니다. GetConsoleOutputCP 함수가 하위 호환성을 위해 설정된 코드 페이지라면, GetACP 함수는 윈도우 본연의 코드 페이지를 반환합니다. 당시 Windows 3.x나 95 등의 버전이 나오는 시기에는
기존 DOS 환경에서 만들어진 프로그램들과의 호환을 위해 CP437을 채택하는 것이 맞았을 것입니다. 반면 Windows GUI 응용 프로그램이라면 완전히 새롭게 만들어지는 것이므로 굳이 437 코드 페이지를 따를 필요는 없었을 것이고, 가능한 유용한 문자를 가진 코드 페이지를 선택하는 것이 좋았을 것입니다.
실제로, 그 당시 DOS 프로그램들은 "선(Line)" 표현을 위해 437 코드 페이지에서 제공하는 문자들을 제법 사용했었습니다.
[출처:
https://en.wikipedia.org/wiki/Code_page_437]
하지만, Windows GUI 응용 프로그램에서는 어차피 선(Line)을 그리는 GDI 함수가 있으므로 그 영역을 다른 문자로 채운 것이 더 좋았을 것입니다. 실제로 아래는 1252 코드 페이지의 새로운 문자를 보여줍니다.
[출처:
https://en.wikipedia.org/wiki/Windows-1252]
재미있는 건, 1252에 대해서도 사연이 있다는 건데요,
Code Pages
; https://learn.microsoft.com/en-us/windows/win32/intl/code-pages
Originally, Windows code page 1252, the code page commonly used for English and other Western European languages, was based on an American National Standards Institute (ANSI) draft. That draft eventually became ISO 8859-1, but Windows code page 1252 was implemented before the standard became final, and is not exactly the same as ISO 8859-1.
정리해 보면, ANSI 초안이 나중에 ISO 8859-1 표준이 되었지만,
ISO/IEC 8859-1
; https://en.wikipedia.org/wiki/ISO/IEC_8859-1#Code_page_layout
Windows는 그 표준이 나오기 전에 1252 코드 페이지로 구현을 했다고 합니다. 그러니까, ISO 8859-1이 먼저 나왔다면 영문 윈도우의 GetACP 함수는 1252가 아니라 28591 (iso-8859-1 ISO 8859-1 Latin 1; Western European (ISO)) 값이 나왔을 지도 모를 일입니다.
그런데 사실 Windows-1252는 ISO 8859-1의 문자 셋을 그대로 가지고 있고, 8859-1이 사용하지 않은 일부 영역(0x80 ~ 0x9F)에 27개의 문자를 더 채운 차이만 가지고 있습니다. 그렇게 보면 얼핏 8859-1이 먼저 나오고 1252가 나온 것처럼 보이기도 합니다. ^^; 관련해서 검색해 보면 다음의 글도 나오는군요. ^^
Differences between ANSI, ISO-8859-1 and MacRoman character sets
; https://www.alanwood.net/demos/charsetdiffs.html
Of the three main 8-bit character sets, only ISO-8859-1 is produced by a standards organization. The three sets are identical for the 95 characters from 32 to 126, the ASCII character set. The ANSI character set, also known as Windows-1252, has become a Microsoft proprietary character set; it is a superset of ISO-8859-1 with the addition of 27 characters in locations that ISO designates for control codes. Apple’s proprietary MacRoman character set contains a similar variety of characters from 128 to 255, but with very few of them assigned the same numbers, and also assigns characters to the control-code positions.
간단하게 저 2개의 코드 페이지로 인한 차이점을 직접 확인해 볼까요? ^^ (이하, 모든 예제 코드는 '영문 Windows 11'에서 실행하는 것을 전제로 합니다.)
437 코드 페이지에서는 0xf2 문자가 '≥' (
Greater-Than or Equal To)입니다. 따라서 이것을 출력하려면 다음과 같이 콘솔에서 출력할 수 있습니다.
printf("Greater-Than or Equal To: \xf2\n");
// 출력 결과: Greater-Than or Equal To: ≥
그런데, '\xf2' escape sequence를 사용하지 않고 직접 '≥'를 출력하면,
printf("Greater-Than or Equal To: ≥\n");
// 출력 결과: Greater-Than or Equal To: ?
의도치 않은 '?' 문자가 출력됩니다. 이유가 뭘까요? 원칙은 지난 글을 그대로 따르면 됩니다.
C/C++ - 소스코드 파일의 인코딩, 바이너리 모듈 상태의 인코딩
; https://www.sysnet.pe.kr/2/0/13778
여기서 소스코드 파일은 utf-8로 인코딩이 됩니다. 그 과정에서 \xf2는 문자열 그대로 '\', 'x', 'f', '2'를 파일에 저장하지만, '≥' 문자는 UTF-8 인코딩에 해당하는
U+2265 값으로, 즉 0xE2 0x89 0xA5 3바이트로 저장됩니다. 이후, C++ 컴파일러는 저 입력을 받아 시스템의 코드 페이지로 변환해서 char 타입에 해당하는 문자열을 바이너리 모듈에 출력합니다. 즉, C++ 언어의 문법에 따라 escape sequence로 표현한 0xf2는 그 값 그대로 바이너리에 저장이 되지만, '≥' 문자의 경우에는 (컴파일러가 실행 중인 영문 윈도우의) 1252 코드 페이지에 없기 때문에 변환에 실패해
fallback 문자가 나온 것입니다.
참고로, 위의 예제 코드는 영문 Windows 11에서 437 코드 페이지로 실행되므로 기본적으로는 다음과 같이 코드를 작성한 것과 같습니다.
SetConsoleOutputCP(437);
printf("Greater-Than or Equal To: \xf2\n");
printf("Greater-Than or Equal To: ≥\n");
이것을 응용하면, 가령 SetConsoleOutputCP로 코드 페이지를 1252로 바꾼다면 당연히 그에 해당하는 문자를 출력할 수 있다는 의미가 됩니다.
테스트를 위해 코드 페이지를 1252로 바꾸고 문자도
그에 속하는 'Euro Sign(0x80)'을 출력해 보면,
SetConsoleOutputCP(1252);
printf("Euro Sign: \x80\n"); // 1252 코드 페이지의 '€' 문자 (U+20AC)
printf("Euro Sign: €\n");
/* 출력 결과:
Euro Sign: €
Euro Sign: €
*/
의도했던 대로 '€' 문자가 출력됐지만, 그렇다면 이번에는 왜 '\x80'이 아닌 '€' 문자를 직접 쓴 것까지 출력이 된 걸까요? 이제는 답을 하실 수 있겠죠? ^^ 소스코드는 utf-8로 인코딩돼 '€' 문자는 0xE2 0x82 0xAC 바이트로 저장됩니다. C++ 컴파일러는 저 문자열을 시스템의 코드 페이지, 즉 1252 인코딩으로 바이너리에 출력해야 하는데, '€' 문자는 1252 코드 페이지에 있는 문자이므로 0xE2 0x82 0xAC 값이 0x80으로 저장됩니다.
그렇게 만들어진 EXE 파일이 실행되고, 화면의 코드 페이지가 1252이므로 0x80은 '€' 문자로 잘 출력이 됩니다.
(영문 윈도우에서) 콘솔 프로그램의 경우 437 코드 페이지를 사용하지만, GUI 응용 프로그램은 1252 코드 페이지를 사용합니다.
Text - ASCII vs. CP-1252 vs. CP-437
; http://zuga.net/articles/text-ascii-vs-cp-1252-vs-cp-437/
CP-1252 is an 8-bit character encoding based on ASCII (identical up to code point 127). This is the default codepage for graphical applications under Windows.
CP-437 is an 8-bit character encoding based on ASCII (identical up to code point 127). This is the default codepage for console applications under Windows.
다시 말해, 응용 프로그램의 유형이 GUI Application이라면 코드 페이지 1252에 속하는 문자(예를 들어, '€')를 출력해야 할 때 굳이 현재의 코드 페이지를 바꿀 필요가 없습니다.
이에 대한 테스트를 C++ Windows Application 프로젝트를 만든 후, WM_PAINT 메시지에서 다음과 같이 코드를 추가해 보면 됩니다.
LRESULT CALLBACK WndProc(HWND hWnd, UINT message, WPARAM wParam, LPARAM lParam)
{
switch (message)
{
case WM_COMMAND:
// ...[생략]...
break;
case WM_PAINT:
{
PAINTSTRUCT ps;
HDC hdc = BeginPaint(hWnd, &ps);
char text[] = "\x80\n";
int len = (DWORD)strlen(text);
DWORD written = 0;
::TextOutA(hdc, 50, 50, text, len);
EndPaint(hWnd, &ps);
}
break;
// ...[생략]...
}
return 0;
}
예상할 수 있듯이, 위의 코드를 실행해 보면 코드 페이지를 변경하지 않았는데도 화면에 '€' 문자가 출력됩니다. 특이하게도, GUI 응용 프로그램의 경우에는 콘솔에서처럼 SetConsoleOutputCP 함수를 이용해 코드 페이지를 변경하는 방법이 없습니다. (변경하려면,
제어판을 이용해 시스템 레벨로 변경해야 합니다.)
그래도 괜찮을 수 있는 이유는,
W 버전의 API를 제공하기 때문입니다. 따라서 다른 코드 페이지에 있는 문자를 출력하고 싶다면 그 문자에 해당하는 UTF-16 값을 사용해
TextOutW 함수 등을 이용해 출력하면 됩니다.
(
첨부 파일은 이 글의 예제 코드를 포함합니다.)
기타, 코드 페이지와 연관해 2개의 함수가 더 있는데요,
GetConsoleCP function
; https://learn.microsoft.com/en-us/windows/console/getconsolecp
SetConsoleCP function
; https://learn.microsoft.com/en-us/windows/console/setconsolecp
이것은 '입력' 값을 대상으로 코드 페이지를 조회/적용하는 함수입니다. 그런 의미에서 GetConsoleOutputCP, SetConsoleOutputCP 함수는 출력을 대상으로 합니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]