Microsoft MVP성태의 닷넷 이야기
.NET Framework: 373. C# 문자열의 인코딩이란? [링크 복사], [링크+제목 복사],
조회: 43119
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)
(시리즈 글이 7개 있습니다.)
.NET Framework: 248. 닷넷에서 지원되는 문자열 인코딩 이름 목록
; https://www.sysnet.pe.kr/2/0/1147

.NET Framework: 368. Encoding 타입의 대체(fallback) 메카니즘
; https://www.sysnet.pe.kr/2/0/1446

.NET Framework: 373. C# 문자열의 인코딩이란?
; https://www.sysnet.pe.kr/2/0/1461

.NET Framework: 701. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

.NET Framework: 702. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)
; https://www.sysnet.pe.kr/2/0/11381

.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037

닷넷: 2190. C# - 닷넷 코어/5+에서 달라지는 System.Text.Encoding 지원
; https://www.sysnet.pe.kr/2/0/13506




C# 문자열의 인코딩이란?

오늘 아는 분으로부터 뜻밖의 질문을 받아서... ^^ 음... 이런 것도 헷갈릴 수 있겠구나... 하는 생각이 들어 정리해 보았습니다.

일단, 그 분의 질문은 이런 것이었습니다.

Java의 Netty 서버로 전송하는데, 당연히 Java 클라이언트는 잘 실행이 되지만 C#으로 만든 클라이언트는 한글만 들어가면 호출에 실패한다.


이런 경우... 대부분 인코딩 문제인데요. 그래서, Java 클라이언트와 C# 클라이언트를 각각 실행하고 그 순간의 통신을 Network Monitor로 가로채서 한글이 있는 부분을 확인해 보라고 했습니다.

그 결과, "서울"이라는 문자열을 보낸 경우 각각 다음의 바이트 값들이 보였다고 합니다.

* Java
EC 84 9c EC 9A B8 
 
* C#
BC AD BF EF

해보시면 알겠지만, Java의 결과는 UTF-8 인코딩 된 바이트 스트림이고, C#의 결과는 ks_c_5601-1987의 것입니다. 원인 파악이 되었으니 이제 다음과 같이 코딩을 해서 넘겨주면 되는 일이었습니다.

string txt = "서울";

byte [] contents = Encoding.UTF8.GetBytes(txt);

// 이후, contents 배열을 Netty 서버에 전송

그런데, 그 분이 즐겨 사용하던 Netty용 C# 라이브러리의 전송 API가 다음과 같이 문자열을 받는 것이었다고 합니다.

public class Netty
{
    public static void Send(string txt);
}

그래서... 전송을 아래와 같은 식으로 해버린 것이지요.

===== 전에는 이렇게 했는데 =====
string txt = "서울";
Netty.Send(txt);

===== 인코딩을 위해 다음과 같이 변경 =====
string txt = "서울";

byte [] contents = Encoding.UTF8.GetBytes(txt);
string output = Encoding.UTF8.GetString(contents);

Netty.Send(output); // 다시 C# string 인스턴스를 인자로 제공

문제는, ^^ 인코딩을 한 바이트 배열을 다시 string으로 변환했다고 해서 그것이 C# string의 메모리에 UTF-8로 저장되는 것은 아니라는 점입니다. 왜냐하면, C#은 string 인스턴스의 모든 바이트 배열을 무조건 UTF-16 LE 방식으로 인코딩시켜 메모리에 들고 있기 때문입니다. 즉, 모든 Encoding.GetString 메서드는 특정 인코딩 방식으로 변환된 바이트 배열을 UTF-16 LE 인코딩으로 다시 변환시키는 역할을 합니다.

위의 코드가 문제가 되는 이유는 결국 Netty.Send 메서드 내에서 다음과 같이 전송을 하기 때문입니다.

public static void Send(string txt)
{
    byte [] encoded = Encoding.Default.GetBytes(txt); // 한글 윈도우의 경우, Default == ks_c_5601-1987
    Socket.Send(encoded);
}

이를 해결하기 위해서는 Netty 라이브러리가 인코딩 인자를 하나 더 받는 메서드를 제공해 주던가,

public static void Send(string txt, Encoding encoder)
{
    byte [] encoded = encoder.GetBytes(txt);
    Socket.Send(encoded);
}

Netty.Send("서울", Encoding.UTF8);

아니면 직접 바이트 배열을 받는 메서드가 있어야 합니다.

public static void Send(byte [] buffer)
{
    Socket.Send(buffer);
}

byte [] contents = Encoding.UTF8.GetBytes(txt);
Netty.Send(contents);

(2020-10-24 업데이트) 공식적이지는 않지만 이런 상황에서 다음의 우회 방법이 있습니다.

C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037




참고로, 다음의 글을 보시면 더욱 도움이 되겠지요. ^^

유니코드와 한글 - 유니코드와 닷넷을 이용한 한글 처리
; https://www.sysnet.pe.kr/2/0/1294




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 6/27/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
13113정성태7/31/202216797.NET Framework: 2038. C# 11 - Span 타입에 대한 패턴 매칭 (Pattern matching on ReadOnlySpan<char>)
13112정성태7/30/202217653.NET Framework: 2037. C# 11 - 목록 패턴(List patterns) [1]파일 다운로드1
13111정성태7/29/202217059.NET Framework: 2036. C# 11 - IntPtr/UIntPtr과 nint/nuint의 통합파일 다운로드1
13110정성태7/27/202216792.NET Framework: 2035. C# 11 - 새로운 연산자 ">>>" (Unsigned Right Shift)파일 다운로드1
13109정성태7/27/202218311VS.NET IDE: 177. 비주얼 스튜디오 2022를 이용한 (소스 코드가 없는) 닷넷 모듈 디버깅 - "외부 원본(External Sources)" [1]
13108정성태7/26/202215725Linux: 53. container에 실행 중인 Golang 프로세스를 디버깅하는 방법 [1]
13107정성태7/25/202214546Linux: 52. Debian/Ubuntu 계열의 docker container에서 자주 설치하게 되는 명령어
13106정성태7/24/202214123오류 유형: 819. 닷넷 6 프로젝트의 "Conditional compilation symbols" 기본값 오류
13105정성태7/23/202216538.NET Framework: 2034. .NET Core/5+ 환경에서 (프로젝트가 아닌) C# 코드 파일을 입력으로 컴파일하는 방법 - 두 번째 이야기 [1]
13104정성태7/23/202220261Linux: 51. WSL - init에서 systemd로 전환하는 방법
13103정성태7/22/202215587오류 유형: 818. WSL - systemd-genie와 관련한 2가지(systemd-remount-fs.service, multipathd.socket) 에러
13102정성태7/19/202215461.NET Framework: 2033. .NET Core/5+에서는 구할 수 없는 HttpRuntime.AppDomainAppId
13101정성태7/15/202228595도서: 시작하세요! C# 10 프로그래밍
13100정성태7/15/202217272.NET Framework: 2032. C# 11 - shift 연산자 재정의에 대한 제약 완화 (Relaxing Shift Operator)
13099정성태7/14/202216762.NET Framework: 2031. C# 11 - 사용자 정의 checked 연산자파일 다운로드1
13098정성태7/13/202214399개발 환경 구성: 647. Azure - scale-out 상태의 App Service에서 특정 인스턴스에 요청을 보내는 방법 [1]
13097정성태7/12/202213461오류 유형: 817. Golang - binary.Read: invalid type int32
13096정성태7/8/202217107.NET Framework: 2030. C# 11 - UTF-8 문자열 리터럴
13095정성태7/7/202214545Windows: 208. AD 도메인에 참여하지 않은 컴퓨터에서 Kerberos 인증을 사용하는 방법
13094정성태7/6/202214217오류 유형: 816. Golang - "short write" 오류 원인
13093정성태7/5/202214979.NET Framework: 2029. C# - HttpWebRequest로 localhost 접속 시 2초 이상 지연
13092정성태7/3/202216613.NET Framework: 2028. C# - HttpWebRequest의 POST 동작 방식파일 다운로드1
13091정성태7/3/202215192.NET Framework: 2027. C# - IPv4, IPv6를 모두 지원하는 서버 소켓 생성 방법
13090정성태6/29/202214377오류 유형: 815. PyPI에 업로드한 패키지가 반영이 안 되는 경우
13089정성태6/28/202215065개발 환경 구성: 646. HOSTS 파일 변경 시 Edge 브라우저에 반영하는 방법
13088정성태6/27/202213495개발 환경 구성: 645. "Developer Command Prompt for VS 2022" 명령행 환경의 폰트를 바꾸는 방법
... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...