Microsoft MVP성태의 닷넷 이야기
.NET Framework: 368. Encoding 타입의 대체(fallback) 메카니즘 [링크 복사], [링크+제목 복사],
조회: 19956
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 2개 있습니다.)
(시리즈 글이 7개 있습니다.)
.NET Framework: 248. 닷넷에서 지원되는 문자열 인코딩 이름 목록
; https://www.sysnet.pe.kr/2/0/1147

.NET Framework: 368. Encoding 타입의 대체(fallback) 메카니즘
; https://www.sysnet.pe.kr/2/0/1446

.NET Framework: 373. C# 문자열의 인코딩이란?
; https://www.sysnet.pe.kr/2/0/1461

.NET Framework: 701. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

.NET Framework: 702. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)
; https://www.sysnet.pe.kr/2/0/11381

.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037

닷넷: 2190. C# - 닷넷 코어/5+에서 달라지는 System.Text.Encoding 지원
; https://www.sysnet.pe.kr/2/0/13506




Encoding 타입의 대체(fallback) 메카니즘

이번 글은 다음의 질문에 대한 답변입니다.

ksc5601에서 지원하지않는 확장문자 찾는방법
; https://www.sysnet.pe.kr/3/0/1136

사실, "찾는 방법"까지는 설명할 수 없고 이런 기능을 하도록 BCL의 기능을 하나 이용해 볼 텐데요.

일단, 문제를 간략화 시켜 정리해 보면 다음과 같습니다.

  • 유니코드 데이터를 읽어서 ks_c_5601-1987로 변환.
  • 이 과정에서 ks_c_5601-1987에서 표현할 수 없는 유니코드 문자는 원하는 문자로 대체

그런데, Java를 언급하는 것으로 보아 실제로 사용된 인코딩 방식은 윈도우 기준으로 보면 "ks_c_5601-1987"이 아니라 "euc-kr"이 아닌가 싶습니다. 전에도 아래의 글을 통해 한번 언급했지만,

유니코드와 한글 - 유니코드와 닷넷을 이용한 한글 처리
; https://www.sysnet.pe.kr/2/0/1294

"샾"이라는 문자는 euc-kr 인코딩에서 표현이 안되는 것이지, ks_c_5601-1987에는 해당 단어가 표현가능합니다. (자바에서는 euc-kr이 ks_c_5601-1987로 사용되는 것으로 알고 있습니다.)

이를 감안해서, 이후로는 euc-kr로 두고 설명을 하겠습니다.




자, 그럼 코드로 표현해 볼까요? ^^

static void Main(string[] args)
{
    // 샾: 0xC0FE
    // 유니코드 C000~CFFF
    // ; http://ko.wikipedia.org/wiki/%EC%9C%A0%EB%8B%88%EC%BD%94%EB%93%9C_C000~CFFF

    // Little-endian 유니 코드
    // 클라이언트로부터 입력된 데이터가 unicodeBuffer에 있다고 가정.
    byte[] unicodeBuffer = Encoding.Unicode.GetBytes("샾");

    // 전달받은 유니코드 인코딩된 데이터를 다시 디코딩
    string orgText = Encoding.Unicode.GetString(unicodeBuffer);

    // 복원된 데이터를 다시 euc-kr로 인코딩
    Encoding eucEncode = Encoding.GetEncoding("euc-kr");

    byte [] eucBuffer = eucEncode.GetBytes(orgText);
    string target = eucEncode.GetString(eucBuffer);

    Console.WriteLine(target);
}

위의 코드를 실행했을 때 화면에는 "?" 글자만 찍힙니다. 유니코드로는 표현 가능한 "샾" 글자가 euc-kr 인코딩에는 없기 때문입니다.

닷넷 BCL의 Encoding 타입은 변환되지 않는 글자에 대해 기본적으로 '?'로 치환합니다. 물론, '?' 기본문자를 바꾸는 것도 가능한데 이를 위해 GetEncoding 메소드에 다음의 2가지 인자를 넣어주어야 합니다.

Encoding eucEncode = Encoding.GetEncoding("euc-kr",
    new EncoderReplacementFallback("*"), new DecoderReplacementFallback("*"));

이렇게 변경하고 다시 실행해 보면, "샾" 글자가 "*"로 치환된 것을 확인할 수 있습니다.

제가 Java는 잘 몰라서 ^^ 유사한 코드를 알진 못하지만 아마도 닷넷의 EncoderReplacementFallback 같은 방식이 자바에서도 제공될 것이므로 그것을 찾아보면 됩니다.




만약, 자바에서 제공되지 않는다면 직접 euc-kr과 unicode 간의 매핑을 해줘야 합니다. 제가 알기로는 이에 대한 공식화된 규칙은 없으며 다른 사람들이 만들어 놓은 소스 코드를 참조하시는 것이 그나마 빠르게 시작할 수 있는 방법입니다.

EUC-KR to UNICODE mapping 
; http://ricardohu.wikispaces.com/EUC-KR+to+UNICODE+mapping

위의 코드 표에서 euc-kr에는 없는 unicode 값이 들어온다면 그 글자를 원하는 것으로 치환하도록 직접 코드를 만들어 주어야 합니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/2/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2020-02-04 10시51분
C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037

Encoding defaultEncoding = Encoding.GetEncoding(Encoding.ASCII.CodePage,
    new EncoderReplacementFallback(""), new DecoderReplacementFallback(""));

SetDefaultEncoding(defaultEncoding);
정성태

... 16  17  18  19  20  21  [22]  23  24  25  26  27  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
13089정성태6/28/20226587개발 환경 구성: 646. HOSTS 파일 변경 시 Edge 브라우저에 반영하는 방법
13088정성태6/27/20225643개발 환경 구성: 645. "Developer Command Prompt for VS 2022" 명령행 환경의 폰트를 바꾸는 방법
13087정성태6/23/20228679스크립트: 41. 파이썬 - FastAPI / uvicorn 호스팅 환경에서 asyncio 사용하는 방법 [1]
13086정성태6/22/20228104.NET Framework: 2026. C# 11 - 문자열 보간 개선 2가지파일 다운로드1
13085정성태6/22/20228191.NET Framework: 2025. C# 11 - 원시 문자열 리터럴(raw string literals)파일 다운로드1
13084정성태6/21/20226745개발 환경 구성: 644. Windows - 파이썬 2.7을 msi 설치 없이 구성하는 방법
13083정성태6/20/20227377.NET Framework: 2024. .NET 7에 도입된 GC의 메모리 해제에 대한 segment와 region의 차이점 [2]
13082정성태6/19/20226391.NET Framework: 2023. C# - Process의 I/O 사용량을 보여주는 GetProcessIoCounters Win32 API파일 다운로드1
13081정성태6/17/20226440.NET Framework: 2022. C# - .NET 7 Preview 5 신규 기능 - System.IO.Stream ReadExactly / ReadAtLeast파일 다운로드1
13080정성태6/17/20227075개발 환경 구성: 643. Visual Studio 2022 17.2 버전에서 C# 11 또는 .NET 7.0 preview 적용
13079정성태6/17/20224693오류 유형: 814. 파이썬 - Error: The file/path provided (...) does not appear to exist
13078정성태6/16/20226839.NET Framework: 2021. WPF - UI Thread와 Render Thread파일 다운로드1
13077정성태6/15/20227127스크립트: 40. 파이썬 - PostgreSQL 환경 구성
13075정성태6/15/20226085Linux: 50. Linux - apt와 apt-get의 차이 [2]
13074정성태6/13/20226403.NET Framework: 2020. C# - NTFS 파일에 사용자 정의 속성값 추가하는 방법파일 다운로드1
13073정성태6/12/20226630Windows: 207. Windows Server 2022에 도입된 WSL 2
13072정성태6/10/20226913Linux: 49. Linux - ls 명령어로 출력되는 디렉터리 색상 변경 방법
13071정성태6/9/20227530스크립트: 39. Python에서 cx_Oracle 환경 구성
13070정성태6/8/20227348오류 유형: 813. Windows 11에서 입력 포커스가 바뀌는 문제 [1]
13069정성태5/26/20229602.NET Framework: 2019. C# - .NET에서 제공하는 3가지 Timer 비교 [2]
13068정성태5/24/20228058.NET Framework: 2018. C# - 일정 크기를 할당하는 동안 GC를 (가능한) 멈추는 방법 [1]파일 다운로드1
13067정성태5/23/20227351Windows: 206. Outlook - 1년 이상 지난 메일이 기본적으로 안 보이는 문제
13066정성태5/23/20226702Windows: 205. Windows 11 - Windows + S(또는 Q)로 뜨는 작업 표시줄의 검색 바가 동작하지 않는 경우
13065정성태5/20/20227339.NET Framework: 2017. C# - Windows I/O Ring 소개 [2]파일 다운로드1
13064정성태5/18/20226937.NET Framework: 2016. C# - JIT 컴파일러의 인라인 메서드 처리 유무
13063정성태5/18/20227379.NET Framework: 2015. C# - 인라인 메서드(inline methods)
... 16  17  18  19  20  21  [22]  23  24  25  26  27  28  29  30  ...