Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 7개 있습니다.)
.NET Framework: 248. 닷넷에서 지원되는 문자열 인코딩 이름 목록
; https://www.sysnet.pe.kr/2/0/1147

.NET Framework: 368. Encoding 타입의 대체(fallback) 메카니즘
; https://www.sysnet.pe.kr/2/0/1446

.NET Framework: 373. C# 문자열의 인코딩이란?
; https://www.sysnet.pe.kr/2/0/1461

.NET Framework: 701. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

.NET Framework: 702. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)
; https://www.sysnet.pe.kr/2/0/11381

.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037

닷넷: 2190. C# - 닷넷 코어/5+에서 달라지는 System.Text.Encoding 지원
; https://www.sysnet.pe.kr/2/0/13506




한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)

지난 글에서 Decoder 타입의 사용법을 알아봤는데요.

한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

그런데, 실제 통신 환경에서 Decoder 타입을 유지하는 것은 왠지 오버헤드 같습니다. 그보다, 한글 조합이 안 된 상태의 바이트 배열을 다음번 조합으로 미루는 방법을 사용하는 것도 괜찮을 것 같습니다.

Decoder 타입을 보면, GetChars 메서드의 호출로 미완성의 char가 있는 경우 내부의 HasState 속성 값이 true로 바뀌면서 bits 필드로 상태 값을 유지하는데 모두 internal 접근자를 갖고 있습니다. 따라서 Reflection을 이용해 다음과 같이 처리하는 것도 가능합니다.

static void Test()
{
    int bits = 0;

    {
        Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
        SendBuffer(utf8Decoder, buf1);
        bits = GetBits(utf8Decoder);
    }

    {
        Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
        SetBits(utf8Decoder, bits);

        SendBuffer(utf8Decoder, buf2);
    }
}

private static void SetBits(Decoder utf8Decoder, int bits)
{
    FieldInfo fi = GetFieldInfo(utf8Decoder);
    fi.SetValue(utf8Decoder, bits);
}

private static FieldInfo GetFieldInfo(Decoder decoder)
{
    return decoder.GetType().GetField("bits", System.Reflection.BindingFlags.NonPublic | System.Reflection.BindingFlags.Instance);
}

private static int GetBits(Decoder utf8Decoder)
{
    FieldInfo fi = GetFieldInfo(utf8Decoder);
    return (int)fi.GetValue(utf8Decoder);
}

보는 바와 같이 decoder 인스턴스를 유지하지 않아도 bits 값을 보존하는 것만으로 디코딩을 정상적으로 수행할 수 있습니다.




그런데, 왠지 public 접근자가 아닌 것이 좀 걸립니다. 그런 경우라면 그냥 Decoder 인스턴스를 직렬화해서 통신 간에 들고 있으면 됩니다.

byte[] buf = null;
{
    Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
    SendBuffer(utf8Decoder, buf1);

    MemoryStream ms = new MemoryStream();
    BinaryFormatter formatter = new BinaryFormatter();
    formatter.Serialize(ms, utf8Decoder);

    buf = ms.ToArray();
}

{
    BinaryFormatter formatter = new BinaryFormatter();
    Decoder utf8Decoder = formatter.Deserialize(new MemoryStream(buf)) as Decoder;

    SendBuffer(utf8Decoder, buf2);
}

유지해야 할 값이 직접적인 Decoder 인스턴스에서 byte 배열로 바뀌었습니다.




그 외에, 또 다른 방법으로는 디코딩 시에 아직 char로 변환되지 못한 바이트 배열(UTF8의 경우 최대 6개의 바이트)이 있는 경우 다음번 디코딩 과정에 참여하도록 만드는 것입니다. 그러니까 대충 다음과 같은 과정을 거치는 것입니다.

byte[] remains = null;

{
    remains = SendBuffer(buf1);
}

{
    List<byte> buf = new List<byte>();

    if (remains != null)
    {
        buf.AddRange(remains);
    }

    buf.AddRange(buf2);

    SendBuffer(buf.ToArray());
}

이 글을 쓰기 위해 급조한 코드라 별로 마음에 들지 않아 이것은 첨부 파일로 대신합니다. 나중에 실제로 쓰게 되면 그때나 다듬어야 겠습니다. ^^; 끝!




첨부 파일은 위의 예제 순서에 따라 decoder_sample1, decoder_sample2, decoder_sample3 폴더로 나뉩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 12/27/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... [31]  32  33  34  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
12843정성태10/3/20216582스크립트: 29. 파이썬 - fork 시 기존 클라이언트 소켓 및 스레드의 동작파일 다운로드1
12842정성태10/1/202124744오류 유형: 763. 파이썬 오류 - AttributeError: type object '...' has no attribute '...'
12841정성태10/1/20218369스크립트: 28. 모든 파이썬 프로세스에 올라오는 특별한 파일 - sitecustomize.py
12840정성태9/30/20218406.NET Framework: 1119. Entity Framework의 Join 사용 시 다중 칼럼에 대한 OR 조건 쿼리파일 다운로드1
12839정성태9/15/20219485.NET Framework: 1118. C# 11 - 제네릭 타입의 특성 적용파일 다운로드1
12838정성태9/13/20219110.NET Framework: 1117. C# - Task에 전달한 Action, Func 유형에 따라 달라지는 async/await 비동기 처리 [2]파일 다운로드1
12837정성태9/11/20218046VC++: 151. Golang - fmt.Errorf, errors.Is, errors.As 설명
12836정성태9/10/20217627Linux: 45. 리눅스 - 실행 중인 다른 프로그램의 출력을 확인하는 방법
12835정성태9/7/20218937.NET Framework: 1116. C# 10 - (15) CallerArgumentExpression 특성 추가 [2]파일 다운로드1
12834정성태9/7/20217309오류 유형: 762. Visual Studio 2019 Build Tools - 'C:\Program' is not recognized as an internal or external command, operable program or batch file.
12833정성태9/6/20216767VC++: 150. Golang - TCP client/server echo 예제 코드파일 다운로드1
12832정성태9/6/20217580VC++: 149. Golang - 인터페이스 포인터가 의미 있을까요?
12831정성태9/6/20216138VC++: 148. Golang - 채널에 따른 다중 작업 처리파일 다운로드1
12830정성태9/6/20218353오류 유형: 761. Internet Explorer에서 파일 다운로드 시 "Your current security settings do not allow this file to be downloaded." 오류
12829정성태9/5/202110002.NET Framework: 1115. C# 10 - (14) 구조체 타입에 기본 생성자 정의 가능파일 다운로드1
12828정성태9/4/20218129.NET Framework: 1114. C# 10 - (13) 단일 파일 내에 적용되는 namespace 선언파일 다운로드1
12827정성태9/4/20218121스크립트: 27. 파이썬 - 웹 페이지 데이터 수집을 위한 scrapy Crawler 사용법 요약
12826정성태9/3/202110366.NET Framework: 1113. C# 10 - (12) 문자열 보간 성능 개선 [1]파일 다운로드1
12825정성태9/3/20217909개발 환경 구성: 603. GoLand - WSL 환경과 연동
12824정성태9/2/202116987오류 유형: 760. 파이썬 tensorflow - Dst tensor is not initialized. 오류 메시지
12823정성태9/2/20216730스크립트: 26. 파이썬 - PyCharm을 이용한 fork 디버그 방법
12822정성태9/1/202111935오류 유형: 759. 파이썬 tensorflow - ValueError: Shapes (...) and (...) are incompatible [2]
12821정성태9/1/20217469.NET Framework: 1112. C# - .NET 6부터 공개된 ISpanFormattable 사용법
12820정성태9/1/20217786VC++: 147. Golang - try/catch에 대응하는 panic/recover [1]파일 다운로드1
12819정성태8/31/20217905.NET Framework: 1111. C# - FormattableString 타입
12818정성태8/31/20217145Windows: 198. 윈도우 - 작업 관리자에서 (tensorflow 등으로 인한) GPU 연산 부하 보는 방법
... [31]  32  33  34  35  36  37  38  39  40  41  42  43  44  45  ...