Microsoft MVP성태의 닷넷 이야기
.NET Framework: 373. C# 문자열의 인코딩이란? [링크 복사], [링크+제목 복사],
조회: 42401
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)
(시리즈 글이 7개 있습니다.)
.NET Framework: 248. 닷넷에서 지원되는 문자열 인코딩 이름 목록
; https://www.sysnet.pe.kr/2/0/1147

.NET Framework: 368. Encoding 타입의 대체(fallback) 메카니즘
; https://www.sysnet.pe.kr/2/0/1446

.NET Framework: 373. C# 문자열의 인코딩이란?
; https://www.sysnet.pe.kr/2/0/1461

.NET Framework: 701. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

.NET Framework: 702. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)
; https://www.sysnet.pe.kr/2/0/11381

.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037

닷넷: 2190. C# - 닷넷 코어/5+에서 달라지는 System.Text.Encoding 지원
; https://www.sysnet.pe.kr/2/0/13506




C# 문자열의 인코딩이란?

오늘 아는 분으로부터 뜻밖의 질문을 받아서... ^^ 음... 이런 것도 헷갈릴 수 있겠구나... 하는 생각이 들어 정리해 보았습니다.

일단, 그 분의 질문은 이런 것이었습니다.

Java의 Netty 서버로 전송하는데, 당연히 Java 클라이언트는 잘 실행이 되지만 C#으로 만든 클라이언트는 한글만 들어가면 호출에 실패한다.


이런 경우... 대부분 인코딩 문제인데요. 그래서, Java 클라이언트와 C# 클라이언트를 각각 실행하고 그 순간의 통신을 Network Monitor로 가로채서 한글이 있는 부분을 확인해 보라고 했습니다.

그 결과, "서울"이라는 문자열을 보낸 경우 각각 다음의 바이트 값들이 보였다고 합니다.

* Java
EC 84 9c EC 9A B8 
 
* C#
BC AD BF EF

해보시면 알겠지만, Java의 결과는 UTF-8 인코딩 된 바이트 스트림이고, C#의 결과는 ks_c_5601-1987의 것입니다. 원인 파악이 되었으니 이제 다음과 같이 코딩을 해서 넘겨주면 되는 일이었습니다.

string txt = "서울";

byte [] contents = Encoding.UTF8.GetBytes(txt);

// 이후, contents 배열을 Netty 서버에 전송

그런데, 그 분이 즐겨 사용하던 Netty용 C# 라이브러리의 전송 API가 다음과 같이 문자열을 받는 것이었다고 합니다.

public class Netty
{
    public static void Send(string txt);
}

그래서... 전송을 아래와 같은 식으로 해버린 것이지요.

===== 전에는 이렇게 했는데 =====
string txt = "서울";
Netty.Send(txt);

===== 인코딩을 위해 다음과 같이 변경 =====
string txt = "서울";

byte [] contents = Encoding.UTF8.GetBytes(txt);
string output = Encoding.UTF8.GetString(contents);

Netty.Send(output); // 다시 C# string 인스턴스를 인자로 제공

문제는, ^^ 인코딩을 한 바이트 배열을 다시 string으로 변환했다고 해서 그것이 C# string의 메모리에 UTF-8로 저장되는 것은 아니라는 점입니다. 왜냐하면, C#은 string 인스턴스의 모든 바이트 배열을 무조건 UTF-16 LE 방식으로 인코딩시켜 메모리에 들고 있기 때문입니다. 즉, 모든 Encoding.GetString 메서드는 특정 인코딩 방식으로 변환된 바이트 배열을 UTF-16 LE 인코딩으로 다시 변환시키는 역할을 합니다.

위의 코드가 문제가 되는 이유는 결국 Netty.Send 메서드 내에서 다음과 같이 전송을 하기 때문입니다.

public static void Send(string txt)
{
    byte [] encoded = Encoding.Default.GetBytes(txt); // 한글 윈도우의 경우, Default == ks_c_5601-1987
    Socket.Send(encoded);
}

이를 해결하기 위해서는 Netty 라이브러리가 인코딩 인자를 하나 더 받는 메서드를 제공해 주던가,

public static void Send(string txt, Encoding encoder)
{
    byte [] encoded = encoder.GetBytes(txt);
    Socket.Send(encoded);
}

Netty.Send("서울", Encoding.UTF8);

아니면 직접 바이트 배열을 받는 메서드가 있어야 합니다.

public static void Send(byte [] buffer)
{
    Socket.Send(buffer);
}

byte [] contents = Encoding.UTF8.GetBytes(txt);
Netty.Send(contents);

(2020-10-24 업데이트) 공식적이지는 않지만 이런 상황에서 다음의 우회 방법이 있습니다.

C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037




참고로, 다음의 글을 보시면 더욱 도움이 되겠지요. ^^

유니코드와 한글 - 유니코드와 닷넷을 이용한 한글 처리
; https://www.sysnet.pe.kr/2/0/1294




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 6/27/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
13103정성태7/22/202214834오류 유형: 818. WSL - systemd-genie와 관련한 2가지(systemd-remount-fs.service, multipathd.socket) 에러
13102정성태7/19/202214829.NET Framework: 2033. .NET Core/5+에서는 구할 수 없는 HttpRuntime.AppDomainAppId
13101정성태7/15/202227631도서: 시작하세요! C# 10 프로그래밍
13100정성태7/15/202216477.NET Framework: 2032. C# 11 - shift 연산자 재정의에 대한 제약 완화 (Relaxing Shift Operator)
13099정성태7/14/202215992.NET Framework: 2031. C# 11 - 사용자 정의 checked 연산자파일 다운로드1
13098정성태7/13/202213608개발 환경 구성: 647. Azure - scale-out 상태의 App Service에서 특정 인스턴스에 요청을 보내는 방법 [1]
13097정성태7/12/202212599오류 유형: 817. Golang - binary.Read: invalid type int32
13096정성태7/8/202216575.NET Framework: 2030. C# 11 - UTF-8 문자열 리터럴
13095정성태7/7/202214058Windows: 208. AD 도메인에 참여하지 않은 컴퓨터에서 Kerberos 인증을 사용하는 방법
13094정성태7/6/202213812오류 유형: 816. Golang - "short write" 오류 원인
13093정성태7/5/202214723.NET Framework: 2029. C# - HttpWebRequest로 localhost 접속 시 2초 이상 지연
13092정성태7/3/202216018.NET Framework: 2028. C# - HttpWebRequest의 POST 동작 방식파일 다운로드1
13091정성태7/3/202214697.NET Framework: 2027. C# - IPv4, IPv6를 모두 지원하는 서버 소켓 생성 방법
13090정성태6/29/202213638오류 유형: 815. PyPI에 업로드한 패키지가 반영이 안 되는 경우
13089정성태6/28/202214319개발 환경 구성: 646. HOSTS 파일 변경 시 Edge 브라우저에 반영하는 방법
13088정성태6/27/202212754개발 환경 구성: 645. "Developer Command Prompt for VS 2022" 명령행 환경의 폰트를 바꾸는 방법
13087정성태6/23/202216993스크립트: 41. 파이썬 - FastAPI / uvicorn 호스팅 환경에서 asyncio 사용하는 방법 [1]
13086정성태6/22/202216232.NET Framework: 2026. C# 11 - 문자열 보간 개선 2가지파일 다운로드1
13085정성태6/22/202216293.NET Framework: 2025. C# 11 - 원시 문자열 리터럴(raw string literals)파일 다운로드1
13084정성태6/21/202214623개발 환경 구성: 644. Windows - 파이썬 2.7을 msi 설치 없이 구성하는 방법
13083정성태6/20/202215321.NET Framework: 2024. .NET 7에 도입된 GC의 메모리 해제에 대한 segment와 region의 차이점 [2]
13082정성태6/19/202214349.NET Framework: 2023. C# - Process의 I/O 사용량을 보여주는 GetProcessIoCounters Win32 API파일 다운로드1
13081정성태6/17/202213804.NET Framework: 2022. C# - .NET 7 Preview 5 신규 기능 - System.IO.Stream ReadExactly / ReadAtLeast파일 다운로드1
13080정성태6/17/202214548개발 환경 구성: 643. Visual Studio 2022 17.2 버전에서 C# 11 또는 .NET 7.0 preview 적용
13079정성태6/17/202211975오류 유형: 814. 파이썬 - Error: The file/path provided (...) does not appear to exist
13078정성태6/16/202215034.NET Framework: 2021. WPF - UI Thread와 Render Thread파일 다운로드1
... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...