Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2087. .NET 6부터 SourceGenerator와 통합된 System.Text.Json [링크 복사], [링크+제목 복사],
조회: 5943
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 4개 있습니다.)

.NET 6부터 SourceGenerator와 통합된 System.Text.Json

아래의 질문을 보면,

익명 클래스 말고 익명 구조체는 불가능한걸까요?
; https://www.sysnet.pe.kr/3/0/5786

이렇게 직렬화를 하는데,

string jsonString = JsonSerializer.Serialize(new { Age = 5, Height = 110 });

new로 생성한 익명 타입이 class이기 때문에 GC를 줄이기 위한 방법으로 struct가 사용되도록 하는 방법을 묻고 있습니다. 일단, 위의 코드에서 JsonSerializer.Serialize 메서드는 object를 받는 버전과 제네릭을 받는 버전으로 나뉩니다.

당연히 object를 받는 버전의 경우 설령 struct를 전달했다고 해도 박싱이 되므로 처음부터 클래스를 쓴 것보다 못한 결과를 낳습니다. 재미있는 건, 위의 메서드를 호출하면 제네릭 버전이 호출되긴 하는데요,

public static string Serialize<TValue>(TValue value, JsonSerializerOptions? options = null)
{
    JsonTypeInfo<TValue> jsonTypeInfo = GetTypeInfo<TValue>(options);
    return WriteString(value, jsonTypeInfo);
}

결국 내부 코드에서 호출되는 ObjectDefaultConverter.OnTryWrite 메서드가 박싱을 하기 때문에,

internal sealed override bool OnTryWrite(Utf8JsonWriter writer, T value, JsonSerializerOptions options, ref WriteStack state)
{
    JsonTypeInfo jsonTypeInfo = state.Current.JsonTypeInfo;

    object obj = value; // box once
    // ...[생략]...
}

제네릭 지원 버전이라고 해서 GC Heap 사용이 없는 것은 아닙니다. 그렇긴 해도 System.Text.Json이 내부적으로 어떡해서든 GC Heap의 사용을 줄이려고 최대한 노력했다는 점이 코드 곳곳에서 눈에 띕니다. 가령 직렬화하는 buffer도 PooledByteBufferWriter를 이용해 풀링을 시켜놓고 있으며 Span<T>의 사용과 함께 GC Heap 할당을 억제하고 있습니다.




그나저나 .NET 6부터 System.Text.Json에는 JsonTypeInfo을 지원하는 제네릭 버전이 추가되었는데요,

public static string Serialize<TValue>(TValue value, JsonTypeInfo<TValue> jsonTypeInfo)
{
    if (jsonTypeInfo is null)
    {
        ThrowHelper.ThrowArgumentNullException(nameof(jsonTypeInfo));
    }

    jsonTypeInfo.EnsureConfigured();
    return WriteString(value, jsonTypeInfo);
}

이건 Source Generator와 연동하므로, 컴파일 시점에 미리 생성해 둔 직렬화/역직렬화 클래스의 도움을 받아 성능을 높이게 됩니다. 게다가 사용 방법이 매우 쉬워서 그래도 나름 쓸만한데요, 예를 들어, 다음과 같이 직렬화할 타입이 있으면,

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

그 타입을 JsonSerializable 특성으로 연결한 JsonSerializerContext의 상속 타입을 "partial"로 새롭게 만들어 주기만 하면 됩니다.

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

끝입니다. 그럼 C# 컴파일러는 (%LOCALAPPDATA%\Temp\VSGeneratedDocuments 하위에) "SourceGenerationContext.MyPerson.g.cs" 파일을 컴파일 시점에 생성하고 "SourceGenerationContext.Default.MyPerson" 속성이 제공되므로 Json 직렬화 시 이것을 활용해,

MyPerson t = new MyPerson { Age = 5, Height = 120 };
string jsonString = JsonSerializer.Serialize(t, SourceGenerationContext.Default.MyPerson);

JsonSerializer.Serialize 메서드의 2번째 인자에 해당하는 JsonTypeInfo로 전달하면 됩니다. 실제로 이러한 2개의 코드를 BenchmarkDotNet으로 확인해 보면 "Source Generator"를 이용한 버전이 더 빠른 것을 확인할 수 있습니다.

|          Method |      Mean |     Error |   StdDev |
|---------------- |----------:|----------:|---------:|
| SerializeSrcGen |  80.98 ns | 25.378 ns | 1.391 ns | // Source Generator를 이용한 버전
| SerializeObject | 104.31 ns | 12.104 ns | 0.663 ns |

그런데 여기서도 재미있는 점이 하나 있습니다. Source Generator를 이용한 JsonTypeInfo를 전달한 경우에는 당연히 ObjectDefaultConverter.OnTryWrite를 사용하지 않으므로 (구조체를 전달한 경우) 박싱은 발생하지 않습니다. 하지만, 오히려 GC Heap 사용은 class를 전달한 경우보다 더 나옵니다.

예를 들어, 최종적으로 다음과 같이 테스트 코드를 구성하고,

using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Diagnosers;
using BenchmarkDotNet.Running;
using System.Text.Json;
using System.Text.Json.Serialization;

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

public class Person
{
    public int Age { get; set; }
    public int Height { get; set; }
}

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

namespace ConsoleApp1
{
    [ShortRunJob]
    [MemoryDiagnoser]
    public class Program
    {
        static int _count = 0;
        static void Main(string[] args)
        {
            BenchmarkRunner.Run<Program>();
        }

        static Person p1 = new Person { Age = 5, Height = 110 };
        static MyPerson p2 = new MyPerson { Age = 5, Height = 110 };

        [Benchmark]
        public void SerializeSrcGen()
        {
            string jsonString = JsonSerializer.Serialize(p2, SourceGenerationContext.Default.MyPerson);
        }

        [Benchmark]
        public void SerializeObject()
        {
            string jsonString = JsonSerializer.Serialize(p1);
        }
    }
}

실행해 보면 이런 결과가 나옵니다.

|          Method |      Mean |     Error |   StdDev |   Gen0 | Allocated |
|---------------- |----------:|----------:|---------:|-------:|----------:|
| SerializeSrcGen |  80.27 ns |  7.896 ns | 0.433 ns | 0.0061 |      96 B | // 구조체 + Source Generator를 사용한 버전
| SerializeObject | 103.30 ns | 10.666 ns | 0.585 ns | 0.0045 |      72 B | // 클래스를 전달한 버전

보는 바와 같이 Source Generator를 사용한 버전이 역시나 빠르지만, GC Heap은 24바이트 더 사용하고 있습니다. 직렬화된 JSON 텍스트의 길이가 22 + 1, 즉 46바이트이므로 각각 50바이트/26바이트 씩을 더 쓰고 있는 것입니다.




정리해 보면, "익명 클래스 말고 익명 구조체는 불가능한걸까요?" 질문의 익명 구조체는 현재 C#에서 지원하지 않고 있습니다. 단지, 구조체를 직접 정의해 전달하는 것은 가능하지만 그런 경우라면 박싱이 발생하지 않도록 Source Generator를 함께 사용해야 합니다. 그 결과, 속도는 빨라지지만 (개체 풀링 및 Span의 사용에도 불구하고) GC Heap의 사용은 여전히 발생합니다.

그렇긴 한데, 어쨌든 위의 결과를 보면 0세대 GC Heap의 가비지 수집이 꽤나 최적화가 잘 되었다는 느낌은 받게 됩니다.

(첨부 파일은 이 글의 테스트 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 5/8/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2023-01-13 08시11분
.Net 7 JSON Performance trap
; https://itnext.io/net-7-json-performance-trap-6811296cf158

C# - JSON 역/직렬화 시 리플렉션 손실을 없애는 JsonSrcGen
; https://www.sysnet.pe.kr/2/0/12688

-------------------------

.NET Conf 2023 (Day 2) - What's new in System.Text.Json
; https://youtu.be/vU-iZcxbDUk?t=9093

[.NET Core 3]
* High performance JSON library
* Focus on security and compliance
* First shipped with .NET Core 3
* NuGet package targeting netstandard2.0

[.NET 6]
* Source Generator
* Mutable JSON DOM (JsonNode)
* IAsyncEnumerable support

[.NET 7]
* Contract Customization
* Type Hierarchies (polymorphism)
* "required" member support

[.NET 8]
Try the new System.Text.Json source generator
; https://devblogs.microsoft.com/dotnet/try-the-new-system-text-json-source-generator/

* Native AOT improvements
  - Functional improvements
    . "required" and "init" member support
    . Polymorphism and unspeakable type support
    . String enum support for Native AOT
  - size reduction
    . Internal changes reducing trimmed app size.
    . Minimal NAOT console app using STJ:
       ~ 3.4MB -> 2.6MB (.NET 7 to .NET 8)
       ~ 23% size reduction
    . Demo ASP.NET Core app:
       ~ 21MB -> 8.9M (.NET 7 to .NET 8)
       ~ 57% size reduction
* ASP.NET Core interop improvements
  - Easier to register source generators, size reduction
* Bugfixes and reliability improvements
  - Closing the functional gap with reflection

PublishedTrimmed projects fail reflection-based serialization
; https://learn.microsoft.com/en-us/dotnet/core/compatibility/serialization/8.0/publishtrimmed#recommended-action

csproj JsonSerializerIsReflectionEnabledByDefault 속성 추가

// https://github.com/dotnet/runtime/blob/main/src/libraries/System.Text.Json/Common/JsonSourceGenerationOptionsAttribute.cs
[JsonSourceGenerationOptions(
  defaults: JsonSerializerDefaults.Web,
  Converters = [typeof(MyCustomConverter)],
  DefaultBufferSize = 128,
  DefaultIgnoreCondition = JsonIgnoreCondition.WhenWritingDefault,
  DictionaryKeyPolicy = JsonKnownNamingPolicy.SnakeCaseUpper,
  IgnoreReadOnlyFields = true,
  IgnoreReadOnlyProperties = true,
  IncludeFields = true,
  MaxDepth = 1024,
  NumberHandling = JsonNumberHandling.WriteAsString,
  PreferredObjectCreationHandling = JsonObjectCreationHandling.Replace,
  PropertyNameCaseInsensitive = true,
  PropertyNamingPolicy = JsonKnownNamingPolicy.KebabCaseUpper,
  ReadCommentHandling = JsonCommentHandling.Skip,
  UnknownTypeHandling = JsonUnknownTypeHandling.JsonNode,
  UnmappedMemberHandling = JsonUnmappedMemberHandling.Disallow,
  WriteIndented = true)]
[JsonSerializable(typeof(MyPoco))]
public partial class MyContext : JsonSerializerContext {}

PropertyName = "value"
  ==> JsonNamingPolicy.SnakeCaseLower: "property_name": "value"
  ==> JsonNamingPolicy.KebabCaseUpper: "PROPERTY-NAME": "value"
정성태

... 31  32  33  [34]  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
12781정성태8/14/20218751오류 유형: 755. 파이썬 - konlpy 사용 시 JVM과 jpype1 관련 오류
12780정성태8/13/20217132.NET Framework: 1088. C# - 버스 노선 및 위치 정보 조회 API 사용을 위한 기초 라이브러리 [2]
12779정성태8/13/20218999개발 환경 구성: 596. 공공 데이터 포털에서 버스 노선 및 위치 정보 조회 API 사용법
12778정성태8/12/20216267오류 유형: 755. PyCharm - "Manage Repositories"의 목록이 나오지 않는 문제
12777정성태8/12/20217898오류 유형: 754. Visual Studio - Input or output cannot be redirected because the specified file is invalid.
12776정성태8/12/20217236오류 유형: 753. gunicorn과 uwsgi 함께 사용 시 ERR_CONNECTION_REFUSED
12775정성태8/12/202117748스크립트: 22. 파이썬 - 윈도우 환경에서 개발한 Django 앱을 WSL 환경의 gunicorn을 이용해 실행
12774정성태8/11/20218814.NET Framework: 1087. C# - Collection 개체의 다중 스레드 접근 시 "Operations that change non-concurrent collections must have exclusive access" 예외 발생
12773정성태8/11/20217982개발 환경 구성: 595. PyCharm - WSL과 연동해 Django App을 윈도우에서 리눅스 대상으로 개발
12772정성태8/11/20219488스크립트: 21. 파이썬 - 윈도우 환경에서 개발한 Django 앱을 WSL 환경의 uwsgi를 이용해 실행 [1]
12771정성태8/11/20217910Windows: 196. "Microsoft Windows Subsystem for Linux Background Host" / "Vmmem"을 종료하는 방법
12770정성태8/11/20218592.NET Framework: 1086. C# - Windows Forms 응용 프로그램의 자식 컨트롤 부하파일 다운로드1
12769정성태8/11/20216544오류 유형: 752. Python - ImportError: No module named pip._internal.cli.main 두 번째 이야기
12768정성태8/10/20217611.NET Framework: 1085. .NET 6에 포함된 신규 BCL API [1]파일 다운로드1
12767정성태8/10/20218705오류 유형: 752. Python - ImportError: No module named pip._internal.cli.main
12766정성태8/9/20217198Java: 32. closing inbound before receiving peer's close_notify
12765정성태8/9/20216522Java: 31. Cannot load JDBC driver class 'org.mysql.jdbc.Driver'
12764정성태8/9/202144954Java: 30. XML document from ServletContext resource [/WEB-INF/applicationContext.xml] is invalid
12763정성태8/9/20217980Java: 29. java.lang.NullPointerException - com.mysql.jdbc.ConnectionImpl.getServerCharset
12762정성태8/8/202111560Java: 28. IntelliJ - Unable to open debugger port 오류
12761정성태8/8/20218721Java: 27. IntelliJ - java: package javax.inject does not exist [2]
12760정성태8/8/20216110개발 환경 구성: 594. 전용 "Command Prompt for ..." 단축 아이콘 만들기
12759정성태8/8/20219243Java: 26. IntelliJ + Spring Framework + 새로운 Controller 추가 [2]파일 다운로드1
12758정성태8/7/20218605오류 유형: 751. Error assembling WAR: webxml attribute is required (or pre-existing WEB-INF/web.xml if executing in update mode)
12757정성태8/7/20219291Java: 25. IntelliJ + Spring Framework 프로젝트 생성
12756정성태8/6/20218074.NET Framework: 1084. C# - .NET Core Web API 단위 테스트 방법 [1]파일 다운로드1
... 31  32  33  [34]  35  36  37  38  39  40  41  42  43  44  45  ...