Microsoft MVP성태의 닷넷 이야기
오류 유형: 643. curl - json_parse_exception / Invalid UTF-8 start byte [링크 복사], [링크+제목 복사],
조회: 22584
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)

curl - json_parse_exception / Invalid UTF-8 start byte

이상하군요, 전에 테스트할 때는,

윈도우 환경에서 elasticsearch의 한글 형태소 분석기 설치
; https://www.sysnet.pe.kr/2/0/11664

이런 문제를 겪지 않았었던 것 같은데, 어쨌든 윈도우 10에 기본 포함된 C:\Windows\System32\curl.exe로,

C:\temp> curl --version
curl 7.55.1 (Windows) libcurl/7.55.1 WinSSL
Release-Date: 2017-11-14, security patched: 2019-11-05
Protocols: dict file ftp ftps http https imap imaps pop3 pop3s smtp smtps telnet tftp
Features: AsynchDNS IPv6 Largefile SSPI Kerberos SPNEGO NTLM SSL

json 데이터에 한글을 포함하면 다음과 같이 "Invalid UTF-8 start byte ..." 오류가 발생합니다.

C:\temp> curl -X POST "http://localhost:9200/_analyze" -H "Content-Type: application/json" -d "{ \"tokenizer\": \"nori_tokenizer\", \"text\": \"논쟁이 주를 이룹니다.\" }"

{"error":{"root_cause":[{"type":"x_content_parse_exception","reason":"[1:42] [analyze_request] failed to parse field [text]"}],"type":"x_content_parse_exception","reason":"[1:42] [analyze_request] failed to parse field [text]","caused_by":{"type":"json_parse_exception","reason":"Invalid UTF-8 start byte 0xb3\n at [Source: (org.elasticsearch.common.bytes.AbstractBytesReference$MarkSupportingStreamInputWrapper); line: 1, column: 44]"}},"status":400}


반면 "Beta: Use Unicode UTF-8 for worldwide language support" 설정을 한 컴퓨터에서는 정상적으로 curl이 실행됩니다. 하지만 Region 설정이 재부팅까지 필요하고 그로 인해 여러 가지 다른 소소한 문제도 발생하기 때문에 다른 방법이 있으면 좋겠는데요, 혹시나 싶어 "chcp 65001" 명령어로 cmd.exe의 환경을 조정해봤지만 아쉽게도 해당 오류는 사라지지 않았습니다.

음... 어쩔 수 없군요, 그래서 그냥 curl에 전달할 문자열 중 ascii가 아닌 경우 인코딩을 해서 전달하도록 다음과 같이 프로그램을 하나 만들었습니다.

using System;
using System.Collections.Generic;
using System.Diagnostics;
using System.IO;
using System.Linq;

namespace ucurl
{
    class Program
    {
        static void Main(string[] args)
        {
            if (args.Length < 1)
            {
                return;
            }

            Console.OutputEncoding = System.Text.Encoding.UTF8;

            string cmd = args[0];
            string[] cmdArgs = null;

            if (Path.GetFileNameWithoutExtension(cmd).ToLower() == "curl")
            {
                cmdArgs = PreprocessArgs(args.Skip(1).ToArray());
            }
            else
            {
                cmd = "curl";
                cmdArgs = PreprocessArgs(args.ToArray());
            }
            
            ProcessStartInfo psi = new ProcessStartInfo();
            psi.FileName = cmd;
            psi.UseShellExecute = false;
            psi.Arguments = string.Join(" ", cmdArgs);

            Process proc = Process.Start(psi);

            proc.OutputDataReceived += Proc_OutputDataReceived;
            proc.ErrorDataReceived += Proc_ErrorDataReceived;

            proc.WaitForExit();
        }

        private static void Proc_ErrorDataReceived(object sender, DataReceivedEventArgs e)
        {
            Console.WriteLine(e.Data);
        }

        private static void Proc_OutputDataReceived(object sender, DataReceivedEventArgs e)
        {
            Console.WriteLine(e.Data);
        }

        private static string[] PreprocessArgs(string[] args)
        {
            List<string> list = new List<string>();

            foreach (string arg in args)
            {
                if (arg.IndexOf(' ') == -1)
                {
                    list.Add(arg);
                }
                else
                {
                    if (arg.IndexOf('"') == -1)
                    {
                        list.Add("\"" + arg + "\"");
                    }
                    else
                    {
                        List<string> argEncoded = new List<string>();

                        foreach (char ch in arg)
                        {
                            if (char.GetUnicodeCategory(ch) == System.Globalization.UnicodeCategory.OtherLetter)
                            {
                                argEncoded.Add("\\u" + ((int)ch).ToString("x4"));
                            }
                            else
                            {
                                argEncoded.Add(ch.ToString());
                            }
                        }

                        string text = string.Join("", argEncoded);
                        text = text.Replace("\"", "\\\"");

                        list.Add("\"" + text + "\"");
                    }
                }
            }

            return list.ToArray();
        }
    }
}

위의 내용을 빌드하는게 귀찮다면 다음의 경로에서 다운로드하셔도 됩니다.

stjeong / Utilities / ucurl
; https://github.com/stjeong/Utilities/tree/master/ucurl

ucurl.zip
; https://github.com/stjeong/Utilities/blob/master/Binaries/ucurl.zip

그다음, "curl"을 그냥 ("u" 글자만 앞에 붙여) "ucurl"로 바꿔 다음과 같이 실행하면 끝!

C:\temp> ucurl -X POST "http://localhost:9200/_analyze" -H "Content-Type: application/json" -d "{ \"tokenizer\": \"nori_tokenizer\", \"text\": \"논쟁이 주를 이룹니다.\" }"

{"tokens":[{"token":"논쟁","start_offset":0,"end_offset":2,"type":"word","position":0},{"token":"이","start_offset":2,"end_offset":3,"type":"word","position":1},{"token":"주","start_offset":4,"end_offset":5,"type":"word","position":2},{"token":"를","start_offset":5,"end_offset":6,"type":"word","position":3},{"token":"이루","start_offset":7,"end_offset":11,"type":"word","position":4},{"token":"ㅂ니다","start_offset":7,"end_offset":11,"type":"word","position":5}]}




내부적으로 "curl.exe"에 실행을 맡기므로 PATH나 현재 디렉터리에 curl.exe가 함께 있어야 합니다. 만약 그 외의 경우라면 다음과 같이 첫 번째 인자에 curl.exe의 경로를 지정해 실행할 수 있습니다.

ucurl c:\tools\curl.exe -X POST "http://localhost:9200/_analyze" -H "Content-Type: application/json" -d "{ \"tokenizer\": \"nori_tokenizer\", \"text\": \"논쟁이 주를 이룹니다.\" }"




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 9/2/2020]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... [91]  92  93  94  95  96  97  98  99  100  101  102  103  104  105  ...
NoWriterDateCnt.TitleFile(s)
11699정성태9/21/201821328오류 유형: 488. Add-AzureAccount 실행 시 "No subscriptions are associated with the logged in account in Azure Service Management (RDFE)." 오류
11698정성태9/21/201822668오류 유형: 487. 윈도우 성능 데이터를 원격 SQL에 저장하는 경우 "Call to SQLAllocConnect failed with %1." 오류 발생
11697정성태9/20/201820372Graphics: 24. Unity - unity_CameraWorldClipPlanes 내장 변수 의미
11696정성태9/19/201822380.NET Framework: 793. C# - REST API를 이용해 NuGet 저장소 제어파일 다운로드1
11695정성태9/19/201827695Graphics: 23. Unity - shader의 원근 투영(Perspective projection) 행렬(UNITY_MATRIX_P)을 수작업으로 구성
11694정성태9/17/201821626오류 유형: 486. nuget push 호출 시 405 Method Not Allowed 오류 발생
11693정성태9/16/201823879VS.NET IDE: 128. Unity - shader 코드 디버깅 방법
11692정성태9/13/201824617Graphics: 22. Unity - shader의 Camera matrix(UNITY_MATRIX_V)를 수작업으로 구성
11691정성태9/13/201821190VS.NET IDE: 127. Visual C++ / x64 환경에서 inline-assembly를 매크로 어셈블리로 대체하는 방법 - 두 번째 이야기
11690정성태9/13/201824642사물인터넷: 43. 555 타이머의 단안정 모드파일 다운로드1
11689정성태9/13/201823603VS.NET IDE: 126. 디컴파일된 소스에 탐색을 사용하도록 설정(Enable navigation to decompiled sources)
11688정성태9/11/201818643오류 유형: 485. iisreset - The data is invalid. (2147942413, 8007000d) 오류 발생
11687정성태9/11/201821842사물인터넷: 42. 사물인터넷 - 트랜지스터 다중 전압 테스트파일 다운로드1
11686정성태9/8/201820753사물인터넷: 41. 다중 전원의 소스를 가진 회로파일 다운로드1
11685정성태9/6/201820477사물인터넷: 40. 이어폰 소리를 capacitor로 필터링파일 다운로드1
11684정성태9/6/201823075개발 환경 구성: 396. pagefile.sys를 비활성화시켰는데도 working set 메모리가 줄어드는 이유파일 다운로드1
11683정성태9/5/201820849개발 환경 구성: 395. Azure Web App의 이벤트 로그를 확인하는 방법
11682정성태9/5/201819855오류 유형: 484. Fakes를 포함한 단위 테스트 프로젝트를 빌드 시 CS1729 관련 오류 발생
11681정성태9/5/201822672Windows: 149. 다른 컴퓨터의 윈도우 이벤트 로그를 구독하는 방법 [2]
11680정성태9/2/201824385Graphics: 21. shader - _Time 내장 변수를 이용한 UV 변동 효과파일 다운로드1
11679정성태8/30/201822531.NET Framework: 792. C# COM 서버가 제공하는 COM 이벤트를 C++에서 받는 방법 [1]파일 다운로드1
11678정성태8/29/201820995오류 유형: 483. 닷넷 - System.InvalidProgramException [1]
11677정성태8/29/201818738오류 유형: 482. TFS - Could not find a part of the path '...\packages\Microsoft.AspNet.WebApi.5.2.5\.signature.p7s'.
11676정성태8/29/201829744.NET Framework: 791. C# - ElasticSearch를 위한 Client 라이브러리 제작 [1]파일 다운로드1
11675정성태8/29/201819924오류 유형: 481. The located assembly's manifest definition does not match the assembly reference.
11674정성태8/29/201820901Phone: 12. Xamarin - 기존 리모컨 기능을 핸드폰의 적외선 송신으로 구현파일 다운로드1
... [91]  92  93  94  95  96  97  98  99  100  101  102  103  104  105  ...