C# 14 - (4) 문자열 리터럴을 utf-8 인코딩으로 저장
이번엔 C# 자체의 언어 수준에 대한 변화는 아니고 C# 컴파일러 측의 변경입니다.
String literals in data section
; https://github.com/dotnet/roslyn/blob/main/docs/features/string-literals-data-section.md#eligible-string-literals
기본적으로 C# 컴파일러는 문자열 리터럴을 UTF-16 인코딩으로 저장하고,
C# 11부터 추가된 UTF-8 문자열 리터럴의 경우에는 UTF-8 인코딩으로 저장합니다.
그런데, C# 14부터는 (u8 접미사를 붙이지 않은) 일반적인 문자열 리터럴도 UTF-8 인코딩으로 바이너리에 저장하는 옵션이 추가됐습니다. 이를 위해 C# 프로젝트에서는 다음과 같이 설정을 추가하면 되는데요,
<Project Sdk="Microsoft.NET.Sdk">
<PropertyGroup>
<OutputType>Exe</OutputType>
<TargetFramework>net8.0</TargetFramework>
<ImplicitUsings>enable</ImplicitUsings>
<Nullable>enable</Nullable>
<LangVersion>preview</LangVersion>
<!-- 아래는 0을 지정, 만약 숫자를 지정하지 않으면 기본값 100 -->
<Features>$(Features);experimental-data-section-string-literals=0</Features>
</PropertyGroup>
</Project>
그럼, (위에서는 0으로 설정했으므로, 그 이상의 길이를 갖는) 모든 문자열 리터럴을 UTF-8 인코딩으로 저장합니다. 실제로 눈으로 확인해 볼까요? ^^ 이를 위해 간단한 예제를 하나 만들고,
// 아래의 코드로 빌드한 DLL로 테스트
using System;
namespace ConsoleApp1;
internal class Program
{
static void Main(string[] args)
{
string s = "Hello, World!";
Console.WriteLine(s);
}
}
일단 csproj 파일에 Features 설정 없이 빌드해 ConsoleApp1.dll 파일을
PE Viewer로 열어 보면,
보는 바와 같이 닷넷 메타데이터 영역에 "#US", 즉 "UserString" 섹션에 문자열이 UTF-16 인코딩으로 저장돼 있습니다. 이제 csproj 파일에 Features 옵션을 추가하고 다시 빌드하면,
#US 섹션에는 "Hello, World!" 문자열이 없어졌고, 대신 (닷넷 메타데이터가 아닌) PE 포맷의 하나인 ".text" 섹션에 "Hello, World!" 문자열이 UTF-8 인코딩으로 저장된 것을 확인할 수 있습니다.
이 기능으로 어떤 성능 향상을 기대할 수 있는 것은 아닙니다. 왜냐하면, 리터럴 데이터만 디스크에 UTF-8로 저장하는 것일 뿐, 어차피 실행 시에는 UTF-16 인코딩으로 변환돼 System.String 타입으로 다뤄져야 하기 때문입니다. 이에 대한 사실을 "Hello, World!" 문자열을 다루기 위해 C# 컴파일러가 생성한 자동 코드를 보면 알 수 있습니다.
using System.Runtime.CompilerServices;
using System.Runtime.InteropServices;
using System.Text;
[CompilerGenerated]
internal sealed class \u003CPrivateImplementationDetails\u003E
{
internal static readonly \u003CPrivateImplementationDetails\u003E.__StaticArrayInitTypeSize\u003D13 DFFD6021BB2BD5B0AF676290809EC3A53191DD81C7F70A4B28688A362182986F;
private static unsafe string BytesToString(byte* bytes, int length)
{
return Encoding.UTF8.GetString(bytes, length);
}
[StructLayout(LayoutKind.Explicit, Size = 13, Pack = 1)]
internal struct __StaticArrayInitTypeSize\u003D13
{
}
internal sealed class \u003CS\u003E531DF2844447DD5077DB03842CD75395
{
internal static readonly string s;
static unsafe \u003CS\u003E531DF2844447DD5077DB03842CD75395()
{
\u003CPrivateImplementationDetails\u003E.\u003CS\u003E531DF2844447DD5077DB03842CD75395.s = \u003CPrivateImplementationDetails\u003E.BytesToString((byte*) &\u003CPrivateImplementationDetails\u003E.DFFD6021BB2BD5B0AF676290809EC3A53191DD81C7F70A4B28688A362182986F, 13);
}
}
}
저렇게 정적 생성자 단계에서 "Hello, World!" 문자열을 UTF-16 인코딩으로 변환해 System.String 타입으로 들고 있게 한 후, 원래의 코드에서 다음과 같이 사용하도록 바뀝니다.
private static void Main(string[] args)
{
Console.WriteLine(\u003CPrivateImplementationDetails\u003E.\u003CS\u003E531DF2844447DD5077DB03842CD75395.s);
}
그렇다면, 왜 굳이 이런 기능을 추가했을까요?
문서를 보면, 그동안 C# 컴파일러는 문자열 리터럴을 (위의 PE Viewer에서 "#US"로 지정된) UserString 힙에 보관하는데, 그 크기가 2의 24승(16MB)으로 제한돼 있다고 합니다. 의외로 꽤 작죠? 그래서 이 한계를 넘게 문자열 리터럴을 사용하면 컴파일 시점에 이런 오류가 발생한다고 합니다.
error CS8103: Combined length of user strings used by the program exceeds allowed limit. Try to decrease use of string literals.
아마도 저 제약에 걸린 프로그램을 만드는 개발자들이 은근 있었나 봅니다. ^^ (그랬다면, 그들은 그동안 순전히 문자열 리터럴을 나누기 위해 별도의 DLL을 만들어서 사용해야만 했을 것입니다.)
하지만 C# 14부터는, "experimental-data-section-string-literals" 기능을 통해 빌드하는 경우 #US 섹션이 아닌, C/C++처럼 문자열을 PE 파일의 readonly 섹션에 저장해 두기 때문에 문자열 리터럴의 크기에 대한 제약이 없어집니다. 좋은 소식이죠?!!! ^^
정리하면, CS8103 오류를 겪지 않는 한 굳이 설정할 필요가 없는 옵션입니다.
참고로 (네트워크 통신 등의 속도를 높이기 위해), UTF-16으로의 변환을 하고 싶지 않다면 u8 접미사를 이용한 UTF-8 인코딩을 사용하면 됩니다.
C# 11 - UTF-8 문자열 리터럴
; https://www.sysnet.pe.kr/2/0/13096
물론, 저 u8 문자열 리터럴도 "#US" 섹션이 아닌 PE 파일의 .text 섹션에 저장되므로 16MB의 제약은 없습니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]