Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2030. C# 11 - UTF-8 문자열 리터럴 [링크 복사], [링크+제목 복사],
조회: 17223
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

(시리즈 글이 18개 있습니다.)
.NET Framework: 1110. C# 11 - 인터페이스 내에 정적 추상 메서드 정의 가능 (DIM for Static Members)
; https://www.sysnet.pe.kr/2/0/12814

.NET Framework: 1118. C# 11 - 제네릭 타입의 특성 적용
; https://www.sysnet.pe.kr/2/0/12839

.NET Framework: 1182. C# 11  - ref struct에 ref 필드를 허용
; https://www.sysnet.pe.kr/2/0/13015

.NET Framework: 2025. C# 11  - 원시 문자열 리터럴(raw string literals)
; https://www.sysnet.pe.kr/2/0/13085

.NET Framework: 2026. C# 11 - 문자열 보간 개선 2가지
; https://www.sysnet.pe.kr/2/0/13086

.NET Framework: 2030. C# 11 - UTF-8 문자열 리터럴
; https://www.sysnet.pe.kr/2/0/13096

.NET Framework: 2031. C# 11 - 사용자 정의 checked 연산자
; https://www.sysnet.pe.kr/2/0/13099

.NET Framework: 2032. C# 11 - shift 연산자 재정의에 대한 제약 완화 (Relaxing Shift Operator)
; https://www.sysnet.pe.kr/2/0/13100

.NET Framework: 2035. C# 11 - 새로운 연산자 ">>>" (Unsigned Right Shift)
; https://www.sysnet.pe.kr/2/0/13110

.NET Framework: 2036. C# 11 - IntPtr/UIntPtr과 nint/nuint의 통합
; https://www.sysnet.pe.kr/2/0/13111

.NET Framework: 2037. C# 11 - 목록 패턴(List patterns)
; https://www.sysnet.pe.kr/2/0/13112

.NET Framework: 2038. C# 11 - Span 타입에 대한 패턴 매칭 (Pattern matching on ReadOnlySpan<char>)
; https://www.sysnet.pe.kr/2/0/13113

.NET Framework: 2042. C# 11 - 파일 범위 내에서 유효한 타입 정의 (File-local types)
; https://www.sysnet.pe.kr/2/0/13117

.NET Framework: 2045. C# 11 - 메서드 매개 변수에 대한 nameof 지원
; https://www.sysnet.pe.kr/2/0/13122

.NET Framework: 2046. C# 11 - 멤버(속성/필드)에 지정할 수 있는 required 예약어 추가
; https://www.sysnet.pe.kr/2/0/13123

.NET Framework: 2048. C# 11 - 구조체 필드의 자동 초기화(auto-default structs)
; https://www.sysnet.pe.kr/2/0/13125

.NET Framework: 2049. C# 11 - 정적 메서드에 대한 delegate 처리 시 cache 적용
; https://www.sysnet.pe.kr/2/0/13126

.NET Framework: 2102. C# 11 - ref struct/ref field를 위해 새롭게 도입된 scoped 예약어
; https://www.sysnet.pe.kr/2/0/13276




C# 11 - UTF-8 문자열 리터럴

(Visual Studio 2022 17.3 이후 버전에서 테스트할 수 있습니다.)

요즘 대세가 utf-8이다 보니 통신 시 utf-8 인코딩을 요구하는 것이 다반사입니다. 따라서 문자열이 소스 코드에 명시된 경우,

string text = "Hello";

C# 컴파일러는 사용자가 입력한 문자열 리터럴을 UTF-16으로 인코딩 해놓기 때문에 저것을 utf-8로 전송하려면 별도의 인코딩 과정이 필요합니다.

string text = "cat";
byte [] buffer = Encoding.UTF8.GetBytes(text);

이런 문제를 C# 11부터는 (대소문자 관계없이)"u8" 접미사를 붙여 C# 컴파일러로 하여금 utf-8 인코딩으로 해석하라고 명시할 수 있습니다.

ReadOnlySpan<byte> span1 = "cat"u8;

// 또는,

var span1 = "cat"U8;

// 바이트 배열로 받고 싶다면, ReadOnlySpan<byte>.ToArray 메서드를 이용

byte [] buffer = "cat"u8.ToArray();

현재 utf-8 문자열 리터럴을 받는 데이터 타입은 ReadOnlySpan<byte> 하나로만 고정돼 있습니다. 또한, 해당 utf-8 문자열 리터럴의 메모리 표현은 null 바이트를 마지막에 포함하지만 그것을 받는 ReadOnlySpan 변수는 null 바이트를 제외한 바이트 배열만을 가리킵니다.

재미있는 것은, 소스 코드상으로만 보면 이것이 Compile-time에 완료되는 것처럼 보여도 실제로는 런타임에 실행되는 코드를 동반한다는 점입니다.

즉, "문자열" 자체에 대한 것만 C# 컴파일러가 utf-8 인코딩시켜 출력 파일에 보관시켜놓는 것일 뿐, 구현 자체는 다음과 같이 "new ReadOnlySpan(...)" 타입을 생성하는 런타임 실행 코드가 요구됩니다.

var span1 = "cat"u8;

// 위의 코드는 C# 컴파일러에 의해 이렇게 변경되는 것과 같음.
// 따라서 기존에 C# 컴파일러가 byte[]에 대해 수행하는 모든 최적화 혜택을 그대로 u8 문자열에도 적용됨.
ReadOnlySpan<byte> span = new ReadOnlySpan<byte>(new byte[] { 0x63, 0x61, 0x74 });

// 문자열 연결에 대한 최적화는 되어 있으므로 아래의 코드는,
ReadOnlySpan<byte> span = "h"u8 + "el"u8 + "lo"u8;

// 이렇게 처리되는 것과 동일함.
ReadOnlySpan<byte> span = new ReadOnlySpan<byte>(new byte[] { 0x68, 0x65, 0x6c, 0x6c, 0x6f, 0x00 });

달리 말하면, utf-8 문자열 리터럴은 "상수(constant)"에 해당하지 않는다는 점입니다. 따라서 상수식이 요구되는 기본값을 가진 매개 변수나,

// 컴파일 오류: error CS1736: Default parameter value for 'text' must be a compile-time constant
void PrintUtf8(ReadOnlySpan<byte> text = "(null)"u8)
{
    Console.WriteLine(BitConverter.ToString(text.ToArray()));
}

switch의 case 등에는 올 수 없습니다.

switch (span1)
{
    // 컴파일 오류: error CS0150: A constant value is expected
    case "cat"u8:
        Console.WriteLine(BitConverter.ToString(text.ToArray()));
        break;
}

그리고 utf8 문자열 리터럴을 ReadOnlySpan으로 처리하게 된 것에는 장/단점이 존재합니다. ReadOnlySpan이 ref struct이므로 GC Heap 할당을 하지 않는다는 장점이 있는 반면, 그렇기 때문에 기존의 ref struct가 갖는 - 예를 들어 비동기 메서드 내에서 사용할 수 없다는 등의 제약이 있습니다.

async Task M()
{
    // 컴파일 오류: error CS4012: Parameters or locals of type 'ReadOnlySpan<byte>' cannot be declared in async methods or async lambda expressions.
    ReadOnlySpan<byte> text = "cat"u8;

    // 대신 ToArray()를 경유해 ReadOnlyMemory로 처리
    ReadOnlyMemory text = "cat"u8.ToArray();
}




일단, 현재 구현된 기준으로는 위의 설명이 맞습니다. 하지만 다음의 글을 보면,

C# 11 Preview Updates – Raw string literals, UTF-8 and more!
 - UTF-8 String Literals
; https://devblogs.microsoft.com/dotnet/csharp-11-preview-updates/#utf-8-string-literals

"u8" 접미사가 필요한 지에 대한 의견이 계속 조율 중이라고 합니다. 그래서, 다음과 같이 아예 기존 문자열을 byte 배열로 직접 처리하게 될지도 모릅니다.

// 현재(Visual Studio 2022 17.3 Preview 2)는 컴파일 오류가 발생하지만!
byte[] array = "hello";             // new byte[] { 0x68, 0x65, 0x6c, 0x6c, 0x6f }
Span<byte> span = "dog";            // new byte[] { 0x64, 0x6f, 0x67 }
ReadOnlySpan<byte> span = "cat";    // new byte[] { 0x63, 0x61, 0x74 }

어쨌든, 자세한 것은 정식 버전이 나와봐야 할 것 같습니다.

이 외에도, 희소식이 하나 있다면 아예 새로운 타입으로 Utf8String을 표준화 중이라고 하니 좀 더 기다리면 좋은 결과가 있을 듯합니다. (아마도 이건 C# 12 이후의 일이 될 것 같군요. ^^)




마지막으로, "Relying on core APIs" 문서에 보면 C# 컴파일러 개발자 입장에서의 코드 구현에 대한 어려움이 나오는데, 이게 좀 재미있습니다. ^^

Roslyn C# 컴파일러는 "C# 언어"로 개발되었지만 가능한 BCL에서 제공하는 코드는 사용하지 않는다고 합니다. 왜냐하면, 런타임의 종류 또는 패치마다 달라질 수 있는 BCL 코드에 영향을 받을 수 있기 때문입니다. 이러한 사례로, 과거에 Roslyn은 부동 소수점 리터럴을 해석하기 위해 BCL의 double.Parse 메서드를 이용했는데, 이것이 나중에 .NET Core에서 double.Parse에 있던 문제점을 개선하는 바람에 동일한 컴파일러인데도 그것이 수행되는 런타임 환경에 따라 바이너리 결과가 달라지는 문제가 있었다고 합니다. (그래서, 현재는 double.Parse 사용 코드를 제거하고 직접 구현하는 식으로 바꿨다고.)

그런데, 이번의 utf-8 문자열 리터럴에 대한 처리도 BCL의 코드를 사용하는 경우라고 합니다. 즉, C# 소스 코드에 명시된 "cat"u8의 문자열을 .NET BCL에 포함된 UTF8Encoding 타입을 사용해 해석하는 건데요, 현재 관련 코드는 매우 안정적이라 런타임마다 달라지는 문제가 없을 것으로 예상되지만 향후 재고할 여지는 있다고 합니다.

음... 위의 이야기는 알쓸신잡의 대표적인 사례일 수 있겠군요. ^^




참고로, utf8 문자열 리터럴은 메모리에 8바이트 정렬로 저장됩니다. 가령 다음과 같이 지정하면,

var span = "12345678"u8;

unsafe
{
    fixed (void* ptr = &span2[0])
    {
        // ptr 주소가 가리키는 메모리 내용을 확인
    }
}

// 메모리 표현
// 31 32 33 34 35 36 37 38 00 00 00 00 00 00 00 00

null 표시를 포함해야 하기 때문에 8바이트를 넘으므로 다시 16바이트를 점유하게 됩니다. 반면 다음과 같이 7바이트가 되면,

var span = "1234567"u8;

// 메모리 표현
// 31 32 33 34 35 36 37 00

이제는 null을 위한 1바이트 공간이 있으므로 정확히 8바이트만 점유합니다. 물론, 8바이트보다 적으면 0으로 패딩이 됩니다.

var span = "1"u8;

// 메모리 표현
// 31 00 00 00 00 00 00 00




C# 11 - 인터페이스 내에 정적 추상 메서드 정의 가능(공식 문서, Static Abstract Members In Interfaces C# 10 Preview)
; https://www.sysnet.pe.kr/2/0/12814

C# 11 - 제네릭 타입의 특성 적용 (공식 문서, Generic attributes)
; https://www.sysnet.pe.kr/2/0/12839

C# 11 - 사용자 정의 checked 연산자 (공식 문서, Checked user-defined operators)
; https://www.sysnet.pe.kr/2/0/13099

C# 11 - shift 연산자 재정의에 대한 제약 완화 (공식 문서, Relaxing Shift Operator)
; https://www.sysnet.pe.kr/2/0/13100

C# 11 - IntPtr/UIntPtr과 nint/unint의 통합 (공식 문서, Numeric IntPtr)
; https://www.sysnet.pe.kr/2/0/13111

C# 11 - 새로운 연산자 ">>>" (Unsigned Right Shift) (공식 문서, Unsigned right shift operator)
; https://www.sysnet.pe.kr/2/0/13110

C# 11 - 원시 문자열 리터럴 (공식 문서, raw string literals)
; https://www.sysnet.pe.kr/2/0/13085

C# 11 - 문자열 보간 개선 2가지 (공식 문서, Allow new-lines in all interpolations)
; https://www.sysnet.pe.kr/2/0/13086

C# 11 - 목록 패턴 (공식 문서, List patterns)
; https://www.sysnet.pe.kr/2/0/13112

C# 11 - Span 타입에 대한 패턴 매칭 (공식 문서, Pattern matching on ReadOnlySpan<char>)
; https://www.sysnet.pe.kr/2/0/13113

C# 11 - Utf8 문자열 리터럴 지원(공식 문서, Utf8 Strings Literals)
; https://www.sysnet.pe.kr/2/0/13096

C# 11 - ref struct에 ref 필드를 허용 (공식 문서, ref fields)
; https://www.sysnet.pe.kr/2/0/13015

C# 11 - 파일 범위 내에서 유효한 타입 정의 (공식 문서, File-local types)
; https://www.sysnet.pe.kr/2/0/13117

C# 11 - 메서드 매개 변수에 대한 nameof 지원 (공식 문서, nameof(parameter))
; https://www.sysnet.pe.kr/2/0/13122

C# 11 - 멤버(속성/필드)에 지정할 수 있는 required 예약어 추가 (공식 문서, Required members)
; https://www.sysnet.pe.kr/2/0/13123

C# 11 - 구조체 필드의 자동 초기화 (공식 문서, auto-default structs)
; https://www.sysnet.pe.kr/2/0/13125

C# 11 - 정적 메서드에 대한 delegate 처리 시 cache 적용 (공식 문서, Cache delegates for static method group)
; https://www.sysnet.pe.kr/2/0/13126

Language Feature Status
; https://github.com/dotnet/roslyn/blob/main/docs/Language%20Feature%20Status.md




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 5/5/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 106  107  [108]  109  110  111  112  113  114  115  116  117  118  119  120  ...
NoWriterDateCnt.TitleFile(s)
11224정성태6/13/201718130.NET Framework: 661. Json.NET의 DeserializeObject 수행 시 속성 이름을 동적으로 바꾸는 방법파일 다운로드1
11223정성태6/12/201716818개발 환경 구성: 318. WCF Service Application과 WCFTestClient.exe
11222정성태6/10/201720541오류 유형: 399. WCF - A property with the name 'UriTemplateMatchResults' already exists.파일 다운로드1
11221정성태6/10/201717481오류 유형: 398. Fakes - Assembly 'Jennifer5.Fakes' with identity '[...].Fakes, [...]' uses '[...]' which has a higher version than referenced assembly '[...]' with identity '[...]'
11220정성태6/10/201722875.NET Framework: 660. Shallow Copy와 Deep Copy [1]파일 다운로드2
11219정성태6/7/201718207.NET Framework: 659. 닷넷 - TypeForwardedFrom / TypeForwardedTo 특성의 사용법
11218정성태6/1/201721014개발 환경 구성: 317. Hyper-V 내의 VM에서 다시 Hyper-V를 설치: Nested Virtualization
11217정성태6/1/201716906오류 유형: 397. initerrlog: Could not open error log file 'C:\...\MSSQL12.MSSQLSERVER\MSSQL\Log\ERRORLOG'
11216정성태6/1/201719009오류 유형: 396. Activation context generation failed
11215정성태6/1/201719928오류 유형: 395. 관리 콘솔을 실행하면 "This app has been blocked for your protection" 오류 발생 [1]
11214정성태6/1/201717664오류 유형: 394. MSDTC 서비스 시작 시 -1073737712(0xC0001010) 오류와 함께 종료되는 문제 [1]
11213정성태5/26/201722457오류 유형: 393. TFS - The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.
11212정성태5/26/201721808오류 유형: 392. Windows Server 2016에 KB4019472 업데이트가 실패하는 경우
11211정성태5/26/201720835오류 유형: 391. BeginInvoke에 전달한 람다 함수에 CS1660 에러가 발생하는 경우
11210정성태5/25/201721289기타: 65. ActiveX 없는 전자 메일에 사용된 "개인정보 보호를 위해 암호화된 보안메일"의 암호화 방법
11209정성태5/25/201768204Windows: 143. Windows 10의 Recovery 파티션을 삭제 및 새로 생성하는 방법 [16]
11208정성태5/25/201727932오류 유형: 390. diskpart의 set id 명령어에서 "The specified type is not in the correct format." 오류 발생
11207정성태5/24/201728212Windows: 142. Windows 10의 복구 콘솔로 부팅하는 방법
11206정성태5/24/201721490오류 유형: 389. DISM.exe - The specified image in the specified wim is already mounted for read/write access.
11205정성태5/24/201721262.NET Framework: 658. C#의 tail call 구현은? [1]
11204정성태5/22/201730791개발 환경 구성: 316. 간단하게 살펴보는 Docker for Windows [7]
11203정성태5/19/201718735오류 유형: 388. docker - Host does not exist: "default"
11202정성태5/19/201719803오류 유형: 387. WPF - There is no registered CultureInfo with the IetfLanguageTag 'ug'.
11201정성태5/16/201722541오류 유형: 386. WPF - .NET 3.5 이하에서 TextBox에 한글 입력 시 TextChanged 이벤트의 비정상 종료 문제 [1]파일 다운로드1
11200정성태5/16/201719316오류 유형: 385. WPF - 폰트가 없어 System.IO.FileNotFoundException 예외가 발생하는 경우
11199정성태5/16/201721141.NET Framework: 657. CultureInfo.GetCultures가 반환하는 값
... 106  107  [108]  109  110  111  112  113  114  115  116  117  118  119  120  ...