Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2030. C# 11 - UTF-8 문자열 리터럴 [링크 복사], [링크+제목 복사],
조회: 17319
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

(시리즈 글이 18개 있습니다.)
.NET Framework: 1110. C# 11 - 인터페이스 내에 정적 추상 메서드 정의 가능 (DIM for Static Members)
; https://www.sysnet.pe.kr/2/0/12814

.NET Framework: 1118. C# 11 - 제네릭 타입의 특성 적용
; https://www.sysnet.pe.kr/2/0/12839

.NET Framework: 1182. C# 11  - ref struct에 ref 필드를 허용
; https://www.sysnet.pe.kr/2/0/13015

.NET Framework: 2025. C# 11  - 원시 문자열 리터럴(raw string literals)
; https://www.sysnet.pe.kr/2/0/13085

.NET Framework: 2026. C# 11 - 문자열 보간 개선 2가지
; https://www.sysnet.pe.kr/2/0/13086

.NET Framework: 2030. C# 11 - UTF-8 문자열 리터럴
; https://www.sysnet.pe.kr/2/0/13096

.NET Framework: 2031. C# 11 - 사용자 정의 checked 연산자
; https://www.sysnet.pe.kr/2/0/13099

.NET Framework: 2032. C# 11 - shift 연산자 재정의에 대한 제약 완화 (Relaxing Shift Operator)
; https://www.sysnet.pe.kr/2/0/13100

.NET Framework: 2035. C# 11 - 새로운 연산자 ">>>" (Unsigned Right Shift)
; https://www.sysnet.pe.kr/2/0/13110

.NET Framework: 2036. C# 11 - IntPtr/UIntPtr과 nint/nuint의 통합
; https://www.sysnet.pe.kr/2/0/13111

.NET Framework: 2037. C# 11 - 목록 패턴(List patterns)
; https://www.sysnet.pe.kr/2/0/13112

.NET Framework: 2038. C# 11 - Span 타입에 대한 패턴 매칭 (Pattern matching on ReadOnlySpan<char>)
; https://www.sysnet.pe.kr/2/0/13113

.NET Framework: 2042. C# 11 - 파일 범위 내에서 유효한 타입 정의 (File-local types)
; https://www.sysnet.pe.kr/2/0/13117

.NET Framework: 2045. C# 11 - 메서드 매개 변수에 대한 nameof 지원
; https://www.sysnet.pe.kr/2/0/13122

.NET Framework: 2046. C# 11 - 멤버(속성/필드)에 지정할 수 있는 required 예약어 추가
; https://www.sysnet.pe.kr/2/0/13123

.NET Framework: 2048. C# 11 - 구조체 필드의 자동 초기화(auto-default structs)
; https://www.sysnet.pe.kr/2/0/13125

.NET Framework: 2049. C# 11 - 정적 메서드에 대한 delegate 처리 시 cache 적용
; https://www.sysnet.pe.kr/2/0/13126

.NET Framework: 2102. C# 11 - ref struct/ref field를 위해 새롭게 도입된 scoped 예약어
; https://www.sysnet.pe.kr/2/0/13276




C# 11 - UTF-8 문자열 리터럴

(Visual Studio 2022 17.3 이후 버전에서 테스트할 수 있습니다.)

요즘 대세가 utf-8이다 보니 통신 시 utf-8 인코딩을 요구하는 것이 다반사입니다. 따라서 문자열이 소스 코드에 명시된 경우,

string text = "Hello";

C# 컴파일러는 사용자가 입력한 문자열 리터럴을 UTF-16으로 인코딩 해놓기 때문에 저것을 utf-8로 전송하려면 별도의 인코딩 과정이 필요합니다.

string text = "cat";
byte [] buffer = Encoding.UTF8.GetBytes(text);

이런 문제를 C# 11부터는 (대소문자 관계없이)"u8" 접미사를 붙여 C# 컴파일러로 하여금 utf-8 인코딩으로 해석하라고 명시할 수 있습니다.

ReadOnlySpan<byte> span1 = "cat"u8;

// 또는,

var span1 = "cat"U8;

// 바이트 배열로 받고 싶다면, ReadOnlySpan<byte>.ToArray 메서드를 이용

byte [] buffer = "cat"u8.ToArray();

현재 utf-8 문자열 리터럴을 받는 데이터 타입은 ReadOnlySpan<byte> 하나로만 고정돼 있습니다. 또한, 해당 utf-8 문자열 리터럴의 메모리 표현은 null 바이트를 마지막에 포함하지만 그것을 받는 ReadOnlySpan 변수는 null 바이트를 제외한 바이트 배열만을 가리킵니다.

재미있는 것은, 소스 코드상으로만 보면 이것이 Compile-time에 완료되는 것처럼 보여도 실제로는 런타임에 실행되는 코드를 동반한다는 점입니다.

즉, "문자열" 자체에 대한 것만 C# 컴파일러가 utf-8 인코딩시켜 출력 파일에 보관시켜놓는 것일 뿐, 구현 자체는 다음과 같이 "new ReadOnlySpan(...)" 타입을 생성하는 런타임 실행 코드가 요구됩니다.

var span1 = "cat"u8;

// 위의 코드는 C# 컴파일러에 의해 이렇게 변경되는 것과 같음.
// 따라서 기존에 C# 컴파일러가 byte[]에 대해 수행하는 모든 최적화 혜택을 그대로 u8 문자열에도 적용됨.
ReadOnlySpan<byte> span = new ReadOnlySpan<byte>(new byte[] { 0x63, 0x61, 0x74 });

// 문자열 연결에 대한 최적화는 되어 있으므로 아래의 코드는,
ReadOnlySpan<byte> span = "h"u8 + "el"u8 + "lo"u8;

// 이렇게 처리되는 것과 동일함.
ReadOnlySpan<byte> span = new ReadOnlySpan<byte>(new byte[] { 0x68, 0x65, 0x6c, 0x6c, 0x6f, 0x00 });

달리 말하면, utf-8 문자열 리터럴은 "상수(constant)"에 해당하지 않는다는 점입니다. 따라서 상수식이 요구되는 기본값을 가진 매개 변수나,

// 컴파일 오류: error CS1736: Default parameter value for 'text' must be a compile-time constant
void PrintUtf8(ReadOnlySpan<byte> text = "(null)"u8)
{
    Console.WriteLine(BitConverter.ToString(text.ToArray()));
}

switch의 case 등에는 올 수 없습니다.

switch (span1)
{
    // 컴파일 오류: error CS0150: A constant value is expected
    case "cat"u8:
        Console.WriteLine(BitConverter.ToString(text.ToArray()));
        break;
}

그리고 utf8 문자열 리터럴을 ReadOnlySpan으로 처리하게 된 것에는 장/단점이 존재합니다. ReadOnlySpan이 ref struct이므로 GC Heap 할당을 하지 않는다는 장점이 있는 반면, 그렇기 때문에 기존의 ref struct가 갖는 - 예를 들어 비동기 메서드 내에서 사용할 수 없다는 등의 제약이 있습니다.

async Task M()
{
    // 컴파일 오류: error CS4012: Parameters or locals of type 'ReadOnlySpan<byte>' cannot be declared in async methods or async lambda expressions.
    ReadOnlySpan<byte> text = "cat"u8;

    // 대신 ToArray()를 경유해 ReadOnlyMemory로 처리
    ReadOnlyMemory text = "cat"u8.ToArray();
}




일단, 현재 구현된 기준으로는 위의 설명이 맞습니다. 하지만 다음의 글을 보면,

C# 11 Preview Updates – Raw string literals, UTF-8 and more!
 - UTF-8 String Literals
; https://devblogs.microsoft.com/dotnet/csharp-11-preview-updates/#utf-8-string-literals

"u8" 접미사가 필요한 지에 대한 의견이 계속 조율 중이라고 합니다. 그래서, 다음과 같이 아예 기존 문자열을 byte 배열로 직접 처리하게 될지도 모릅니다.

// 현재(Visual Studio 2022 17.3 Preview 2)는 컴파일 오류가 발생하지만!
byte[] array = "hello";             // new byte[] { 0x68, 0x65, 0x6c, 0x6c, 0x6f }
Span<byte> span = "dog";            // new byte[] { 0x64, 0x6f, 0x67 }
ReadOnlySpan<byte> span = "cat";    // new byte[] { 0x63, 0x61, 0x74 }

어쨌든, 자세한 것은 정식 버전이 나와봐야 할 것 같습니다.

이 외에도, 희소식이 하나 있다면 아예 새로운 타입으로 Utf8String을 표준화 중이라고 하니 좀 더 기다리면 좋은 결과가 있을 듯합니다. (아마도 이건 C# 12 이후의 일이 될 것 같군요. ^^)




마지막으로, "Relying on core APIs" 문서에 보면 C# 컴파일러 개발자 입장에서의 코드 구현에 대한 어려움이 나오는데, 이게 좀 재미있습니다. ^^

Roslyn C# 컴파일러는 "C# 언어"로 개발되었지만 가능한 BCL에서 제공하는 코드는 사용하지 않는다고 합니다. 왜냐하면, 런타임의 종류 또는 패치마다 달라질 수 있는 BCL 코드에 영향을 받을 수 있기 때문입니다. 이러한 사례로, 과거에 Roslyn은 부동 소수점 리터럴을 해석하기 위해 BCL의 double.Parse 메서드를 이용했는데, 이것이 나중에 .NET Core에서 double.Parse에 있던 문제점을 개선하는 바람에 동일한 컴파일러인데도 그것이 수행되는 런타임 환경에 따라 바이너리 결과가 달라지는 문제가 있었다고 합니다. (그래서, 현재는 double.Parse 사용 코드를 제거하고 직접 구현하는 식으로 바꿨다고.)

그런데, 이번의 utf-8 문자열 리터럴에 대한 처리도 BCL의 코드를 사용하는 경우라고 합니다. 즉, C# 소스 코드에 명시된 "cat"u8의 문자열을 .NET BCL에 포함된 UTF8Encoding 타입을 사용해 해석하는 건데요, 현재 관련 코드는 매우 안정적이라 런타임마다 달라지는 문제가 없을 것으로 예상되지만 향후 재고할 여지는 있다고 합니다.

음... 위의 이야기는 알쓸신잡의 대표적인 사례일 수 있겠군요. ^^




참고로, utf8 문자열 리터럴은 메모리에 8바이트 정렬로 저장됩니다. 가령 다음과 같이 지정하면,

var span = "12345678"u8;

unsafe
{
    fixed (void* ptr = &span2[0])
    {
        // ptr 주소가 가리키는 메모리 내용을 확인
    }
}

// 메모리 표현
// 31 32 33 34 35 36 37 38 00 00 00 00 00 00 00 00

null 표시를 포함해야 하기 때문에 8바이트를 넘으므로 다시 16바이트를 점유하게 됩니다. 반면 다음과 같이 7바이트가 되면,

var span = "1234567"u8;

// 메모리 표현
// 31 32 33 34 35 36 37 00

이제는 null을 위한 1바이트 공간이 있으므로 정확히 8바이트만 점유합니다. 물론, 8바이트보다 적으면 0으로 패딩이 됩니다.

var span = "1"u8;

// 메모리 표현
// 31 00 00 00 00 00 00 00




C# 11 - 인터페이스 내에 정적 추상 메서드 정의 가능(공식 문서, Static Abstract Members In Interfaces C# 10 Preview)
; https://www.sysnet.pe.kr/2/0/12814

C# 11 - 제네릭 타입의 특성 적용 (공식 문서, Generic attributes)
; https://www.sysnet.pe.kr/2/0/12839

C# 11 - 사용자 정의 checked 연산자 (공식 문서, Checked user-defined operators)
; https://www.sysnet.pe.kr/2/0/13099

C# 11 - shift 연산자 재정의에 대한 제약 완화 (공식 문서, Relaxing Shift Operator)
; https://www.sysnet.pe.kr/2/0/13100

C# 11 - IntPtr/UIntPtr과 nint/unint의 통합 (공식 문서, Numeric IntPtr)
; https://www.sysnet.pe.kr/2/0/13111

C# 11 - 새로운 연산자 ">>>" (Unsigned Right Shift) (공식 문서, Unsigned right shift operator)
; https://www.sysnet.pe.kr/2/0/13110

C# 11 - 원시 문자열 리터럴 (공식 문서, raw string literals)
; https://www.sysnet.pe.kr/2/0/13085

C# 11 - 문자열 보간 개선 2가지 (공식 문서, Allow new-lines in all interpolations)
; https://www.sysnet.pe.kr/2/0/13086

C# 11 - 목록 패턴 (공식 문서, List patterns)
; https://www.sysnet.pe.kr/2/0/13112

C# 11 - Span 타입에 대한 패턴 매칭 (공식 문서, Pattern matching on ReadOnlySpan<char>)
; https://www.sysnet.pe.kr/2/0/13113

C# 11 - Utf8 문자열 리터럴 지원(공식 문서, Utf8 Strings Literals)
; https://www.sysnet.pe.kr/2/0/13096

C# 11 - ref struct에 ref 필드를 허용 (공식 문서, ref fields)
; https://www.sysnet.pe.kr/2/0/13015

C# 11 - 파일 범위 내에서 유효한 타입 정의 (공식 문서, File-local types)
; https://www.sysnet.pe.kr/2/0/13117

C# 11 - 메서드 매개 변수에 대한 nameof 지원 (공식 문서, nameof(parameter))
; https://www.sysnet.pe.kr/2/0/13122

C# 11 - 멤버(속성/필드)에 지정할 수 있는 required 예약어 추가 (공식 문서, Required members)
; https://www.sysnet.pe.kr/2/0/13123

C# 11 - 구조체 필드의 자동 초기화 (공식 문서, auto-default structs)
; https://www.sysnet.pe.kr/2/0/13125

C# 11 - 정적 메서드에 대한 delegate 처리 시 cache 적용 (공식 문서, Cache delegates for static method group)
; https://www.sysnet.pe.kr/2/0/13126

Language Feature Status
; https://github.com/dotnet/roslyn/blob/main/docs/Language%20Feature%20Status.md




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 5/5/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 76  77  78  79  80  81  82  83  84  [85]  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
11812정성태2/11/201915718오류 유형: 511. Windows Server 2003 VM 부팅 후 로그인 시점에 0xC0000005 BSOD 발생
11811정성태2/11/201921039오류 유형: 510. 서버 운영체제에 NVIDIA GeForce Experience 실행 시 wlanapi.dll 누락 문제
11810정성태2/11/201918596.NET Framework: 808. .NET Profiler - GAC 모듈에서 GAC 비-등록 모듈을 참조하는 경우의 문제
11809정성태2/11/201920782.NET Framework: 807. ClrMD를 이용해 메모리 덤프 파일로부터 특정 인스턴스를 참조하고 있는 소유자 확인
11808정성태2/8/201922115디버깅 기술: 123. windbg - 닷넷 응용 프로그램의 메모리 누수 분석
11807정성태1/29/201920007Windows: 156. 가상 디스크의 용량을 복구 파티션으로 인해 늘리지 못하는 경우 [4]
11806정성태1/29/201919649디버깅 기술: 122. windbg - 덤프 파일로부터 PID와 환경 변수 등의 정보를 구하는 방법
11805정성태1/28/201921825.NET Framework: 806. C# - int []와 object []의 차이로 이해하는 제네릭의 필요성 [4]파일 다운로드1
11804정성태1/24/201919668Windows: 155. diskpart - remove letter 이후 재부팅 시 다시 드라이브 문자가 할당되는 경우
11803정성태1/10/201918576디버깅 기술: 121. windbg - 닷넷 Finalizer 스레드가 멈춰있는 현상
11802정성태1/7/201920239.NET Framework: 805. 두 개의 윈도우를 각각 실행하는 방법(Windows Forms, WPF)파일 다운로드1
11801정성태1/1/201921551개발 환경 구성: 427. Netsh의 네트워크 모니터링 기능 [3]
11800정성태12/28/201820626오류 유형: 509. WCF 호출 오류 메시지 - System.ServiceModel.CommunicationException: Internal Server Error
11799정성태12/19/201822414.NET Framework: 804. WPF(또는 WinForm)에서 UWP UI 구성 요소 사용하는 방법 [3]파일 다운로드1
11798정성태12/19/201821250개발 환경 구성: 426. vcpkg - "Building vcpkg.exe failed. Please ensure you have installed Visual Studio with the Desktop C++ workload and the Windows SDK for Desktop C++"
11797정성태12/19/201817237개발 환경 구성: 425. vcpkg - CMake Error: Problem with archive_write_header(): Can't create '' 빌드 오류
11796정성태12/19/201817570개발 환경 구성: 424. vcpkg - "File does not have expected hash" 오류를 무시하는 방법
11795정성태12/19/201820854Windows: 154. PowerShell - Zone 별로 DNS 레코드 유형 정보 조회 [1]
11794정성태12/16/201816920오류 유형: 508. Get-AzureWebsite : Request to a downlevel service failed.
11793정성태12/16/201819477개발 환경 구성: 423. NuGet 패키지 제작 - Native와 Managed DLL을 분리하는 방법 [1]
11792정성태12/11/201819187Graphics: 34. .NET으로 구현하는 OpenGL (11) - Per-Pixel Lighting파일 다운로드1
11791정성태12/11/201819228VS.NET IDE: 130. C/C++ 프로젝트의 시작 프로그램으로 .NET Core EXE를 지정하는 경우 닷넷 디버깅이 안 되는 문제 [1]
11790정성태12/11/201817723오류 유형: 507. Could not save daemon configuration to C:\ProgramData\Docker\config\daemon.json: Access to the path 'C:\ProgramData\Docker\config' is denied.
11789정성태12/10/201831420Windows: 153. C# - USB 장치의 연결 및 해제 알림을 위한 WM_DEVICECHANGE 메시지 처리 [2]파일 다운로드2
11788정성태12/4/201817635오류 유형: 506. SqlClient - Value was either too large or too small for an Int32.Couldn't store <2151292191> in ... Column
11787정성태11/29/201821816Graphics: 33. .NET으로 구현하는 OpenGL (9), (10) - OBJ File Format, Loading 3D Models파일 다운로드1
... 76  77  78  79  80  81  82  83  84  [85]  86  87  88  89  90  ...