한글이 포함된 바이트 배열을 나눈 경우 한글이 깨지지 않도록 다시 조합하는 방법

다음과 같은 질문이 있군요. ^^

TextBox에 관해 질문 드립니다.
; https://www.sysnet.pe.kr/3/0/4909

1번 문제를 간략하게 정리/재현해 보면 다음과 같은 코드가 됩니다.

using System;
using System.Text;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            byte [] buffer = Encoding.UTF8.GetBytes("한글 테스트입니다.");

            int splitOffset = 8;

            byte[] buf1 = new byte[splitOffset];
            Array.Copy(buffer, buf1, splitOffset);

            byte[] buf2 = new byte[buffer.Length - splitOffset];
            Array.Copy(buffer, splitOffset, buf2, 0, buffer.Length - splitOffset);

            SendBuffer(buf1);
            SendBuffer(buf2);
        }

        private static void SendBuffer(byte[] buffer)
        {
            string txt1 = Encoding.UTF8.GetString(buffer);
            Console.WriteLine(txt1);

            string txt2 = Encoding.UTF8.GetString(buffer);
            Console.WriteLine(txt2);
        }
    }
}

/*
// 출력 결과
한글 ?
한글 ?
??스트입니다.
??스트입니다.
*/

왜냐하면, 8번째 위치를 기준으로 바이트 분할을 해서 클라이언트로 전송했기 때문에 디코딩 과정에서 '테' 글자가 정상적으로 조합이 되지 않아 깨진 것입니다.

어쩔 수 없습니다. 이런 경우에 한글의 시작 위치를 판별해 디코딩을 뒤로 미뤄 처리하는 방법을 사용해야 합니다. 그런데, 이 작업을 범용적으로 구현하는 것이 꽤나 귀찮은 작업일 수 있는데요. 바로 이런 코드를 닷넷 BCL에서 Decoder를 이용해 제공하고 있습니다. 따라서, 위의 코드를 다음과 같이 변경할 수 있습니다.

static void Main(string[] args)
{
    byte [] buffer = Encoding.UTF8.GetBytes("한글 테스트입니다.");

    // ...[생략]...
    Decoder utf8Decoder = Encoding.UTF8.GetDecoder();
    SendBuffer(utf8Decoder, buf1);
    SendBuffer(utf8Decoder, buf2);
}

private static void SendBuffer(Decoder utf8, byte[] buffer)
{
    int len = utf8.GetCharCount(buffer, 0, buffer.Length);

    char[] textBuf = new char[len];
    utf8.GetChars(buffer, 0, buffer.Length, textBuf, 0);

    string txt = new string(textBuf);

    Console.WriteLine(txt);
}

위의 코드에서 utf8Decoder 인스턴스는 GetChars 메서드 호출 시 하나의 char로 조합을 할 수 없는 바이트는 내부 버퍼에 보관해 둔 후 다음번 호출에 이어서 조합하는 기능을 구현합니다.

따라서 해당 바이트 배열 전체를 처리해 주는 Decoder 인스턴스를 함께 유지해주면 한글 디코딩 시 경계 문제를 해결할 수 있습니다.

(첨부 파일은 위의 예제 코드를 포함합니다.)

---

[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[최초 등록일: 11/29/2017]
[최종 수정일: 7/12/2021]


이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

by SeongTae Jeong, mailto:techsharer at outlook.com