Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 7개 있습니다.)
.NET Framework: 248. 닷넷에서 지원되는 문자열 인코딩 이름 목록
; https://www.sysnet.pe.kr/2/0/1147

.NET Framework: 368. Encoding 타입의 대체(fallback) 메카니즘
; https://www.sysnet.pe.kr/2/0/1446

.NET Framework: 373. C# 문자열의 인코딩이란?
; https://www.sysnet.pe.kr/2/0/1461

.NET Framework: 701. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

.NET Framework: 702. 한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)
; https://www.sysnet.pe.kr/2/0/11381

.NET Framework: 867. C# - Encoding.Default 값을 바꿀 수 있을까요?
; https://www.sysnet.pe.kr/2/0/12037

닷넷: 2190. C# - 닷넷 코어/5+에서 달라지는 System.Text.Encoding 지원
; https://www.sysnet.pe.kr/2/0/13506




한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법(두 번째 이야기)

지난 글에서 Decoder 타입의 사용법을 알아봤는데요.

한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법
; https://www.sysnet.pe.kr/2/0/11378

그런데, 실제 통신 환경에서 Decoder 타입을 유지하는 것은 왠지 오버헤드 같습니다. 그보다, 한글 조합이 안 된 상태의 바이트 배열을 다음번 조합으로 미루는 방법을 사용하는 것도 괜찮을 것 같습니다.

Decoder 타입을 보면, GetChars 메서드의 호출로 미완성의 char가 있는 경우 내부의 HasState 속성 값이 true로 바뀌면서 bits 필드로 상태 값을 유지하는데 모두 internal 접근자를 갖고 있습니다. 따라서 Reflection을 이용해 다음과 같이 처리하는 것도 가능합니다.

static void Test()
{
    int bits = 0;

    {
        Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
        SendBuffer(utf8Decoder, buf1);
        bits = GetBits(utf8Decoder);
    }

    {
        Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
        SetBits(utf8Decoder, bits);

        SendBuffer(utf8Decoder, buf2);
    }
}

private static void SetBits(Decoder utf8Decoder, int bits)
{
    FieldInfo fi = GetFieldInfo(utf8Decoder);
    fi.SetValue(utf8Decoder, bits);
}

private static FieldInfo GetFieldInfo(Decoder decoder)
{
    return decoder.GetType().GetField("bits", System.Reflection.BindingFlags.NonPublic | System.Reflection.BindingFlags.Instance);
}

private static int GetBits(Decoder utf8Decoder)
{
    FieldInfo fi = GetFieldInfo(utf8Decoder);
    return (int)fi.GetValue(utf8Decoder);
}

보는 바와 같이 decoder 인스턴스를 유지하지 않아도 bits 값을 보존하는 것만으로 디코딩을 정상적으로 수행할 수 있습니다.




그런데, 왠지 public 접근자가 아닌 것이 좀 걸립니다. 그런 경우라면 그냥 Decoder 인스턴스를 직렬화해서 통신 간에 들고 있으면 됩니다.

byte[] buf = null;
{
    Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
    SendBuffer(utf8Decoder, buf1);

    MemoryStream ms = new MemoryStream();
    BinaryFormatter formatter = new BinaryFormatter();
    formatter.Serialize(ms, utf8Decoder);

    buf = ms.ToArray();
}

{
    BinaryFormatter formatter = new BinaryFormatter();
    Decoder utf8Decoder = formatter.Deserialize(new MemoryStream(buf)) as Decoder;

    SendBuffer(utf8Decoder, buf2);
}

유지해야 할 값이 직접적인 Decoder 인스턴스에서 byte 배열로 바뀌었습니다.




그 외에, 또 다른 방법으로는 디코딩 시에 아직 char로 변환되지 못한 바이트 배열(UTF8의 경우 최대 6개의 바이트)이 있는 경우 다음번 디코딩 과정에 참여하도록 만드는 것입니다. 그러니까 대충 다음과 같은 과정을 거치는 것입니다.

byte[] remains = null;

{
    remains = SendBuffer(buf1);
}

{
    List<byte> buf = new List<byte>();

    if (remains != null)
    {
        buf.AddRange(remains);
    }

    buf.AddRange(buf2);

    SendBuffer(buf.ToArray());
}

이 글을 쓰기 위해 급조한 코드라 별로 마음에 들지 않아 이것은 첨부 파일로 대신합니다. 나중에 실제로 쓰게 되면 그때나 다듬어야 겠습니다. ^^; 끝!




첨부 파일은 위의 예제 순서에 따라 decoder_sample1, decoder_sample2, decoder_sample3 폴더로 나뉩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 12/27/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13945정성태6/7/2025427오류 유형: 960. 파이썬 + conda - mysqlclient 사용 시 "NameError: name '_mysql' is not defined" 에러
13944정성태6/7/2025462오류 유형: 959. The trust relationship between this workstation and the primary domain failed. - 네 번째 이야기
13943정성태6/6/2025654개발 환경 구성: 748. Windows + Foundry Local - 로컬에서 AI 모델 활용
13942정성태6/5/2025862오류 유형: 958. winget 설치 시 "0x80d02002 : unknown error"
13941정성태6/2/20251024닷넷: 2334. C# - cpuid 명령어를 이용한 CPU 제조사 문자열 가져오기파일 다운로드1
13940정성태6/1/20251407C/C++: 188. C++의 32비트 + Release 어셈블리 코드를 .NET으로 포팅할 때 주의할 점파일 다운로드1
13939정성태5/29/20251696오류 유형: 957. NVIDIA Triton Inference Server - version `GLIBCXX_3.4.32' not found (required by /opt/tritonserver/backends/python/triton_python_backend_stub)
13938정성태5/29/20251435개발 환경 구성: 747. 파이썬 - WSL/docker에 구성한 Triton 예제 개발 환경
13937정성태5/24/20251356개발 환경 구성: 746. Windows + WSL2 환경에서 (tensorflow 등의) NVIDIA GPU 인식
13936정성태5/23/20251188개발 환경 구성: 745. Linux / WSL 환경에 Miniconda 설치하기
13935정성태5/20/20251231파이썬 - pip 사용 시 "ImportError: cannot import name 'html5lib' from 'pip._vendor'" 오류
13934정성태5/20/20251709스크립트: 77. 파이썬 - 'urllib.request' 모듈의 명시적/암시적 로딩 차이
13933정성태5/19/20251288오류 유형: 956. Visual Studio 2022가 17.12 버전부터 업데이트 되지 않는다면?
13932정성태5/18/20251499스크립트: 76. 파이썬 - Version 문자열 다루기(semver 패키지)
13931정성태5/17/20251791스크립트: 75. 파이썬 - Cython 기본 예제 및 컴파일
13930정성태5/17/20251489개발 환경 구성: 744. 파이썬 - Windows embeddable package 환경에서 외부 패키지 사용하는 방법(ex: UFO² 환경 구성)
13929정성태5/16/20251509오류 유형: 955. 파이썬 - "Windows embeddable package" REPL 환경에서 "NameError: name 'exit' is not defined"
13928정성태5/15/20251554오류 유형: 954. UFO² - "'Invalid URL (POST /v1/chat/completions/chat/completions)'"
13927정성태5/15/20251545오류 유형: 953. OpenAI - The API request of HOST_AGENT failed: OpenAI API request exceeded rate limit: Error code: 429
13926정성태5/14/20251907개발 환경 구성: 743. LLM과 윈도우의 만남 - Desktop AgentOS UFO² 기본 환경 구성
13925정성태5/12/20252006닷넷: 2333. C# - (Console 유형의 프로젝트에서) Clipboard 연동파일 다운로드1
13924정성태5/8/20251757닷넷: 2332. C# - (JetBrains Omea Reader 대상으로) 런타임 시에 메서드 가로채기 [2]파일 다운로드1
13923정성태5/5/20251503스크립트: 74. 파이썬 - C# - Python.NET의 RunSimpleScript, Exec, Eval 차이점파일 다운로드1
13922정성태5/3/20251751스크립트: 73. 파이썬 - Windows embeddable package 버전에서 tkinter 환경 구성
13921정성태5/3/20252265오류 유형: 952. 듀얼 채널 메모리 정렬을 지키지 않은 컴퓨터의 Windows 비정상 종료 현상(Blue Screen) [2]
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...