Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2087. .NET 6부터 SourceGenerator와 통합된 System.Text.Json [링크 복사], [링크+제목 복사],
조회: 6131
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 4개 있습니다.)

.NET 6부터 SourceGenerator와 통합된 System.Text.Json

아래의 질문을 보면,

익명 클래스 말고 익명 구조체는 불가능한걸까요?
; https://www.sysnet.pe.kr/3/0/5786

이렇게 직렬화를 하는데,

string jsonString = JsonSerializer.Serialize(new { Age = 5, Height = 110 });

new로 생성한 익명 타입이 class이기 때문에 GC를 줄이기 위한 방법으로 struct가 사용되도록 하는 방법을 묻고 있습니다. 일단, 위의 코드에서 JsonSerializer.Serialize 메서드는 object를 받는 버전과 제네릭을 받는 버전으로 나뉩니다.

당연히 object를 받는 버전의 경우 설령 struct를 전달했다고 해도 박싱이 되므로 처음부터 클래스를 쓴 것보다 못한 결과를 낳습니다. 재미있는 건, 위의 메서드를 호출하면 제네릭 버전이 호출되긴 하는데요,

public static string Serialize<TValue>(TValue value, JsonSerializerOptions? options = null)
{
    JsonTypeInfo<TValue> jsonTypeInfo = GetTypeInfo<TValue>(options);
    return WriteString(value, jsonTypeInfo);
}

결국 내부 코드에서 호출되는 ObjectDefaultConverter.OnTryWrite 메서드가 박싱을 하기 때문에,

internal sealed override bool OnTryWrite(Utf8JsonWriter writer, T value, JsonSerializerOptions options, ref WriteStack state)
{
    JsonTypeInfo jsonTypeInfo = state.Current.JsonTypeInfo;

    object obj = value; // box once
    // ...[생략]...
}

제네릭 지원 버전이라고 해서 GC Heap 사용이 없는 것은 아닙니다. 그렇긴 해도 System.Text.Json이 내부적으로 어떡해서든 GC Heap의 사용을 줄이려고 최대한 노력했다는 점이 코드 곳곳에서 눈에 띕니다. 가령 직렬화하는 buffer도 PooledByteBufferWriter를 이용해 풀링을 시켜놓고 있으며 Span<T>의 사용과 함께 GC Heap 할당을 억제하고 있습니다.




그나저나 .NET 6부터 System.Text.Json에는 JsonTypeInfo을 지원하는 제네릭 버전이 추가되었는데요,

public static string Serialize<TValue>(TValue value, JsonTypeInfo<TValue> jsonTypeInfo)
{
    if (jsonTypeInfo is null)
    {
        ThrowHelper.ThrowArgumentNullException(nameof(jsonTypeInfo));
    }

    jsonTypeInfo.EnsureConfigured();
    return WriteString(value, jsonTypeInfo);
}

이건 Source Generator와 연동하므로, 컴파일 시점에 미리 생성해 둔 직렬화/역직렬화 클래스의 도움을 받아 성능을 높이게 됩니다. 게다가 사용 방법이 매우 쉬워서 그래도 나름 쓸만한데요, 예를 들어, 다음과 같이 직렬화할 타입이 있으면,

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

그 타입을 JsonSerializable 특성으로 연결한 JsonSerializerContext의 상속 타입을 "partial"로 새롭게 만들어 주기만 하면 됩니다.

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

끝입니다. 그럼 C# 컴파일러는 (%LOCALAPPDATA%\Temp\VSGeneratedDocuments 하위에) "SourceGenerationContext.MyPerson.g.cs" 파일을 컴파일 시점에 생성하고 "SourceGenerationContext.Default.MyPerson" 속성이 제공되므로 Json 직렬화 시 이것을 활용해,

MyPerson t = new MyPerson { Age = 5, Height = 120 };
string jsonString = JsonSerializer.Serialize(t, SourceGenerationContext.Default.MyPerson);

JsonSerializer.Serialize 메서드의 2번째 인자에 해당하는 JsonTypeInfo로 전달하면 됩니다. 실제로 이러한 2개의 코드를 BenchmarkDotNet으로 확인해 보면 "Source Generator"를 이용한 버전이 더 빠른 것을 확인할 수 있습니다.

|          Method |      Mean |     Error |   StdDev |
|---------------- |----------:|----------:|---------:|
| SerializeSrcGen |  80.98 ns | 25.378 ns | 1.391 ns | // Source Generator를 이용한 버전
| SerializeObject | 104.31 ns | 12.104 ns | 0.663 ns |

그런데 여기서도 재미있는 점이 하나 있습니다. Source Generator를 이용한 JsonTypeInfo를 전달한 경우에는 당연히 ObjectDefaultConverter.OnTryWrite를 사용하지 않으므로 (구조체를 전달한 경우) 박싱은 발생하지 않습니다. 하지만, 오히려 GC Heap 사용은 class를 전달한 경우보다 더 나옵니다.

예를 들어, 최종적으로 다음과 같이 테스트 코드를 구성하고,

using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Diagnosers;
using BenchmarkDotNet.Running;
using System.Text.Json;
using System.Text.Json.Serialization;

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

public class Person
{
    public int Age { get; set; }
    public int Height { get; set; }
}

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

namespace ConsoleApp1
{
    [ShortRunJob]
    [MemoryDiagnoser]
    public class Program
    {
        static int _count = 0;
        static void Main(string[] args)
        {
            BenchmarkRunner.Run<Program>();
        }

        static Person p1 = new Person { Age = 5, Height = 110 };
        static MyPerson p2 = new MyPerson { Age = 5, Height = 110 };

        [Benchmark]
        public void SerializeSrcGen()
        {
            string jsonString = JsonSerializer.Serialize(p2, SourceGenerationContext.Default.MyPerson);
        }

        [Benchmark]
        public void SerializeObject()
        {
            string jsonString = JsonSerializer.Serialize(p1);
        }
    }
}

실행해 보면 이런 결과가 나옵니다.

|          Method |      Mean |     Error |   StdDev |   Gen0 | Allocated |
|---------------- |----------:|----------:|---------:|-------:|----------:|
| SerializeSrcGen |  80.27 ns |  7.896 ns | 0.433 ns | 0.0061 |      96 B | // 구조체 + Source Generator를 사용한 버전
| SerializeObject | 103.30 ns | 10.666 ns | 0.585 ns | 0.0045 |      72 B | // 클래스를 전달한 버전

보는 바와 같이 Source Generator를 사용한 버전이 역시나 빠르지만, GC Heap은 24바이트 더 사용하고 있습니다. 직렬화된 JSON 텍스트의 길이가 22 + 1, 즉 46바이트이므로 각각 50바이트/26바이트 씩을 더 쓰고 있는 것입니다.




정리해 보면, "익명 클래스 말고 익명 구조체는 불가능한걸까요?" 질문의 익명 구조체는 현재 C#에서 지원하지 않고 있습니다. 단지, 구조체를 직접 정의해 전달하는 것은 가능하지만 그런 경우라면 박싱이 발생하지 않도록 Source Generator를 함께 사용해야 합니다. 그 결과, 속도는 빨라지지만 (개체 풀링 및 Span의 사용에도 불구하고) GC Heap의 사용은 여전히 발생합니다.

그렇긴 한데, 어쨌든 위의 결과를 보면 0세대 GC Heap의 가비지 수집이 꽤나 최적화가 잘 되었다는 느낌은 받게 됩니다.

(첨부 파일은 이 글의 테스트 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 5/8/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2023-01-13 08시11분
.Net 7 JSON Performance trap
; https://itnext.io/net-7-json-performance-trap-6811296cf158

C# - JSON 역/직렬화 시 리플렉션 손실을 없애는 JsonSrcGen
; https://www.sysnet.pe.kr/2/0/12688

-------------------------

.NET Conf 2023 (Day 2) - What's new in System.Text.Json
; https://youtu.be/vU-iZcxbDUk?t=9093

[.NET Core 3]
* High performance JSON library
* Focus on security and compliance
* First shipped with .NET Core 3
* NuGet package targeting netstandard2.0

[.NET 6]
* Source Generator
* Mutable JSON DOM (JsonNode)
* IAsyncEnumerable support

[.NET 7]
* Contract Customization
* Type Hierarchies (polymorphism)
* "required" member support

[.NET 8]
Try the new System.Text.Json source generator
; https://devblogs.microsoft.com/dotnet/try-the-new-system-text-json-source-generator/

* Native AOT improvements
  - Functional improvements
    . "required" and "init" member support
    . Polymorphism and unspeakable type support
    . String enum support for Native AOT
  - size reduction
    . Internal changes reducing trimmed app size.
    . Minimal NAOT console app using STJ:
       ~ 3.4MB -> 2.6MB (.NET 7 to .NET 8)
       ~ 23% size reduction
    . Demo ASP.NET Core app:
       ~ 21MB -> 8.9M (.NET 7 to .NET 8)
       ~ 57% size reduction
* ASP.NET Core interop improvements
  - Easier to register source generators, size reduction
* Bugfixes and reliability improvements
  - Closing the functional gap with reflection

PublishedTrimmed projects fail reflection-based serialization
; https://learn.microsoft.com/en-us/dotnet/core/compatibility/serialization/8.0/publishtrimmed#recommended-action

csproj JsonSerializerIsReflectionEnabledByDefault 속성 추가

// https://github.com/dotnet/runtime/blob/main/src/libraries/System.Text.Json/Common/JsonSourceGenerationOptionsAttribute.cs
[JsonSourceGenerationOptions(
  defaults: JsonSerializerDefaults.Web,
  Converters = [typeof(MyCustomConverter)],
  DefaultBufferSize = 128,
  DefaultIgnoreCondition = JsonIgnoreCondition.WhenWritingDefault,
  DictionaryKeyPolicy = JsonKnownNamingPolicy.SnakeCaseUpper,
  IgnoreReadOnlyFields = true,
  IgnoreReadOnlyProperties = true,
  IncludeFields = true,
  MaxDepth = 1024,
  NumberHandling = JsonNumberHandling.WriteAsString,
  PreferredObjectCreationHandling = JsonObjectCreationHandling.Replace,
  PropertyNameCaseInsensitive = true,
  PropertyNamingPolicy = JsonKnownNamingPolicy.KebabCaseUpper,
  ReadCommentHandling = JsonCommentHandling.Skip,
  UnknownTypeHandling = JsonUnknownTypeHandling.JsonNode,
  UnmappedMemberHandling = JsonUnmappedMemberHandling.Disallow,
  WriteIndented = true)]
[JsonSerializable(typeof(MyPoco))]
public partial class MyContext : JsonSerializerContext {}

PropertyName = "value"
  ==> JsonNamingPolicy.SnakeCaseLower: "property_name": "value"
  ==> JsonNamingPolicy.KebabCaseUpper: "PROPERTY-NAME": "value"
정성태

... 46  47  48  49  50  51  52  53  54  55  56  57  58  59  [60]  ...
NoWriterDateCnt.TitleFile(s)
12142정성태2/12/202010714.NET Framework: 889. C# 코드로 접근하는 MethodDesc, MethodTable파일 다운로드1
12141정성태2/10/202010268.NET Framework: 888. C# - ASP.NET Core 웹 응용 프로그램의 출력 가로채기 [2]파일 다운로드1
12140정성태2/10/202010146.NET Framework: 887. C# - ASP.NET 웹 응용 프로그램의 출력 가로채기파일 다운로드1
12139정성태2/9/202011503.NET Framework: 886. C# - Console 응용 프로그램에서 UI 스레드 구현 방법
12138정성태2/9/202014275.NET Framework: 885. C# - 닷넷 응용 프로그램에서 SQLite 사용 [6]파일 다운로드1
12137정성태2/9/20209401오류 유형: 592. [AhnLab] 경고 - 디버거 실행을 탐지했습니다.
12136정성태2/6/20209839Windows: 168. Windows + S(또는 Q)로 뜨는 작업 표시줄의 검색 바가 동작하지 않는 경우
12135정성태2/6/202013507개발 환경 구성: 468. Nuget 패키지의 로컬 보관 폴더를 옮기는 방법 [2]
12134정성태2/5/202013615.NET Framework: 884. eBEST XingAPI의 C# 래퍼 버전 - XingAPINet Nuget 패키지 [5]파일 다운로드1
12133정성태2/5/202010842디버깅 기술: 161. Windbg 환경에서 확인해 본 .NET 메서드 JIT 컴파일 전과 후 - 두 번째 이야기
12132정성태1/28/202012425.NET Framework: 883. C#으로 구현하는 Win32 API 후킹(예: Sleep 호출 가로채기)파일 다운로드1
12131정성태1/27/202012490개발 환경 구성: 467. LocaleEmulator를 이용해 유니코드를 지원하지 않는(한글이 깨지는) 프로그램을 실행하는 방법 [1]
12130정성태1/26/20209986VS.NET IDE: 142. Visual Studio에서 windbg의 "Open Executable..."처럼 EXE를 직접 열어 디버깅을 시작하는 방법
12129정성태1/26/202015507.NET Framework: 882. C# - 키움 Open API+ 사용 시 Registry 등록 없이 KHOpenAPI.ocx 사용하는 방법 [3]
12128정성태1/26/202010333오류 유형: 591. The code execution cannot proceed because mfc100.dll was not found. Reinstalling the program may fix this problem.
12127정성태1/25/202010183.NET Framework: 881. C# DLL에서 제공하는 Win32 export 함수의 내부 동작 방식(VT Fix up Table)파일 다운로드1
12126정성태1/25/202011003.NET Framework: 880. C# - PE 파일로부터 IMAGE_COR20_HEADER 및 VTableFixups 테이블 분석파일 다운로드1
12125정성태1/24/20208845VS.NET IDE: 141. IDE0019 - Use pattern matching
12124정성태1/23/202010664VS.NET IDE: 140. IDE1006 - Naming rule violation: These words must begin with upper case characters: ...
12123정성태1/23/202012168웹: 39. Google Analytics - gtag 함수를 이용해 페이지 URL 수정 및 별도의 이벤트 생성 방법 [2]
12122정성태1/20/20209120.NET Framework: 879. C/C++의 UNREFERENCED_PARAMETER 매크로를 C#에서 우회하는 방법(IDE0060 - Remove unused parameter '...')파일 다운로드1
12121정성태1/20/20209707VS.NET IDE: 139. Visual Studio - Error List: "Could not find schema information for the ..."파일 다운로드1
12120정성태1/19/202011147.NET Framework: 878. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 네 번째 이야기(IL 코드로 직접 구현)파일 다운로드1
12119정성태1/17/202011179디버깅 기술: 160. Windbg 확장 DLL 만들기 (3) - C#으로 만드는 방법
12118정성태1/17/202011854개발 환경 구성: 466. C# DLL에서 Win32 C/C++처럼 dllexport 함수를 제공하는 방법 - 세 번째 이야기 [1]
12117정성태1/15/202010848디버깅 기술: 159. C# - 디버깅 중인 프로세스를 강제로 다른 디버거에서 연결하는 방법파일 다운로드1
... 46  47  48  49  50  51  52  53  54  55  56  57  58  59  [60]  ...