Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2087. .NET 6부터 SourceGenerator와 통합된 System.Text.Json [링크 복사], [링크+제목 복사],
조회: 6138
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 4개 있습니다.)

.NET 6부터 SourceGenerator와 통합된 System.Text.Json

아래의 질문을 보면,

익명 클래스 말고 익명 구조체는 불가능한걸까요?
; https://www.sysnet.pe.kr/3/0/5786

이렇게 직렬화를 하는데,

string jsonString = JsonSerializer.Serialize(new { Age = 5, Height = 110 });

new로 생성한 익명 타입이 class이기 때문에 GC를 줄이기 위한 방법으로 struct가 사용되도록 하는 방법을 묻고 있습니다. 일단, 위의 코드에서 JsonSerializer.Serialize 메서드는 object를 받는 버전과 제네릭을 받는 버전으로 나뉩니다.

당연히 object를 받는 버전의 경우 설령 struct를 전달했다고 해도 박싱이 되므로 처음부터 클래스를 쓴 것보다 못한 결과를 낳습니다. 재미있는 건, 위의 메서드를 호출하면 제네릭 버전이 호출되긴 하는데요,

public static string Serialize<TValue>(TValue value, JsonSerializerOptions? options = null)
{
    JsonTypeInfo<TValue> jsonTypeInfo = GetTypeInfo<TValue>(options);
    return WriteString(value, jsonTypeInfo);
}

결국 내부 코드에서 호출되는 ObjectDefaultConverter.OnTryWrite 메서드가 박싱을 하기 때문에,

internal sealed override bool OnTryWrite(Utf8JsonWriter writer, T value, JsonSerializerOptions options, ref WriteStack state)
{
    JsonTypeInfo jsonTypeInfo = state.Current.JsonTypeInfo;

    object obj = value; // box once
    // ...[생략]...
}

제네릭 지원 버전이라고 해서 GC Heap 사용이 없는 것은 아닙니다. 그렇긴 해도 System.Text.Json이 내부적으로 어떡해서든 GC Heap의 사용을 줄이려고 최대한 노력했다는 점이 코드 곳곳에서 눈에 띕니다. 가령 직렬화하는 buffer도 PooledByteBufferWriter를 이용해 풀링을 시켜놓고 있으며 Span<T>의 사용과 함께 GC Heap 할당을 억제하고 있습니다.




그나저나 .NET 6부터 System.Text.Json에는 JsonTypeInfo을 지원하는 제네릭 버전이 추가되었는데요,

public static string Serialize<TValue>(TValue value, JsonTypeInfo<TValue> jsonTypeInfo)
{
    if (jsonTypeInfo is null)
    {
        ThrowHelper.ThrowArgumentNullException(nameof(jsonTypeInfo));
    }

    jsonTypeInfo.EnsureConfigured();
    return WriteString(value, jsonTypeInfo);
}

이건 Source Generator와 연동하므로, 컴파일 시점에 미리 생성해 둔 직렬화/역직렬화 클래스의 도움을 받아 성능을 높이게 됩니다. 게다가 사용 방법이 매우 쉬워서 그래도 나름 쓸만한데요, 예를 들어, 다음과 같이 직렬화할 타입이 있으면,

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

그 타입을 JsonSerializable 특성으로 연결한 JsonSerializerContext의 상속 타입을 "partial"로 새롭게 만들어 주기만 하면 됩니다.

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

끝입니다. 그럼 C# 컴파일러는 (%LOCALAPPDATA%\Temp\VSGeneratedDocuments 하위에) "SourceGenerationContext.MyPerson.g.cs" 파일을 컴파일 시점에 생성하고 "SourceGenerationContext.Default.MyPerson" 속성이 제공되므로 Json 직렬화 시 이것을 활용해,

MyPerson t = new MyPerson { Age = 5, Height = 120 };
string jsonString = JsonSerializer.Serialize(t, SourceGenerationContext.Default.MyPerson);

JsonSerializer.Serialize 메서드의 2번째 인자에 해당하는 JsonTypeInfo로 전달하면 됩니다. 실제로 이러한 2개의 코드를 BenchmarkDotNet으로 확인해 보면 "Source Generator"를 이용한 버전이 더 빠른 것을 확인할 수 있습니다.

|          Method |      Mean |     Error |   StdDev |
|---------------- |----------:|----------:|---------:|
| SerializeSrcGen |  80.98 ns | 25.378 ns | 1.391 ns | // Source Generator를 이용한 버전
| SerializeObject | 104.31 ns | 12.104 ns | 0.663 ns |

그런데 여기서도 재미있는 점이 하나 있습니다. Source Generator를 이용한 JsonTypeInfo를 전달한 경우에는 당연히 ObjectDefaultConverter.OnTryWrite를 사용하지 않으므로 (구조체를 전달한 경우) 박싱은 발생하지 않습니다. 하지만, 오히려 GC Heap 사용은 class를 전달한 경우보다 더 나옵니다.

예를 들어, 최종적으로 다음과 같이 테스트 코드를 구성하고,

using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Diagnosers;
using BenchmarkDotNet.Running;
using System.Text.Json;
using System.Text.Json.Serialization;

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

public class Person
{
    public int Age { get; set; }
    public int Height { get; set; }
}

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

namespace ConsoleApp1
{
    [ShortRunJob]
    [MemoryDiagnoser]
    public class Program
    {
        static int _count = 0;
        static void Main(string[] args)
        {
            BenchmarkRunner.Run<Program>();
        }

        static Person p1 = new Person { Age = 5, Height = 110 };
        static MyPerson p2 = new MyPerson { Age = 5, Height = 110 };

        [Benchmark]
        public void SerializeSrcGen()
        {
            string jsonString = JsonSerializer.Serialize(p2, SourceGenerationContext.Default.MyPerson);
        }

        [Benchmark]
        public void SerializeObject()
        {
            string jsonString = JsonSerializer.Serialize(p1);
        }
    }
}

실행해 보면 이런 결과가 나옵니다.

|          Method |      Mean |     Error |   StdDev |   Gen0 | Allocated |
|---------------- |----------:|----------:|---------:|-------:|----------:|
| SerializeSrcGen |  80.27 ns |  7.896 ns | 0.433 ns | 0.0061 |      96 B | // 구조체 + Source Generator를 사용한 버전
| SerializeObject | 103.30 ns | 10.666 ns | 0.585 ns | 0.0045 |      72 B | // 클래스를 전달한 버전

보는 바와 같이 Source Generator를 사용한 버전이 역시나 빠르지만, GC Heap은 24바이트 더 사용하고 있습니다. 직렬화된 JSON 텍스트의 길이가 22 + 1, 즉 46바이트이므로 각각 50바이트/26바이트 씩을 더 쓰고 있는 것입니다.




정리해 보면, "익명 클래스 말고 익명 구조체는 불가능한걸까요?" 질문의 익명 구조체는 현재 C#에서 지원하지 않고 있습니다. 단지, 구조체를 직접 정의해 전달하는 것은 가능하지만 그런 경우라면 박싱이 발생하지 않도록 Source Generator를 함께 사용해야 합니다. 그 결과, 속도는 빨라지지만 (개체 풀링 및 Span의 사용에도 불구하고) GC Heap의 사용은 여전히 발생합니다.

그렇긴 한데, 어쨌든 위의 결과를 보면 0세대 GC Heap의 가비지 수집이 꽤나 최적화가 잘 되었다는 느낌은 받게 됩니다.

(첨부 파일은 이 글의 테스트 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 5/8/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2023-01-13 08시11분
.Net 7 JSON Performance trap
; https://itnext.io/net-7-json-performance-trap-6811296cf158

C# - JSON 역/직렬화 시 리플렉션 손실을 없애는 JsonSrcGen
; https://www.sysnet.pe.kr/2/0/12688

-------------------------

.NET Conf 2023 (Day 2) - What's new in System.Text.Json
; https://youtu.be/vU-iZcxbDUk?t=9093

[.NET Core 3]
* High performance JSON library
* Focus on security and compliance
* First shipped with .NET Core 3
* NuGet package targeting netstandard2.0

[.NET 6]
* Source Generator
* Mutable JSON DOM (JsonNode)
* IAsyncEnumerable support

[.NET 7]
* Contract Customization
* Type Hierarchies (polymorphism)
* "required" member support

[.NET 8]
Try the new System.Text.Json source generator
; https://devblogs.microsoft.com/dotnet/try-the-new-system-text-json-source-generator/

* Native AOT improvements
  - Functional improvements
    . "required" and "init" member support
    . Polymorphism and unspeakable type support
    . String enum support for Native AOT
  - size reduction
    . Internal changes reducing trimmed app size.
    . Minimal NAOT console app using STJ:
       ~ 3.4MB -> 2.6MB (.NET 7 to .NET 8)
       ~ 23% size reduction
    . Demo ASP.NET Core app:
       ~ 21MB -> 8.9M (.NET 7 to .NET 8)
       ~ 57% size reduction
* ASP.NET Core interop improvements
  - Easier to register source generators, size reduction
* Bugfixes and reliability improvements
  - Closing the functional gap with reflection

PublishedTrimmed projects fail reflection-based serialization
; https://learn.microsoft.com/en-us/dotnet/core/compatibility/serialization/8.0/publishtrimmed#recommended-action

csproj JsonSerializerIsReflectionEnabledByDefault 속성 추가

// https://github.com/dotnet/runtime/blob/main/src/libraries/System.Text.Json/Common/JsonSourceGenerationOptionsAttribute.cs
[JsonSourceGenerationOptions(
  defaults: JsonSerializerDefaults.Web,
  Converters = [typeof(MyCustomConverter)],
  DefaultBufferSize = 128,
  DefaultIgnoreCondition = JsonIgnoreCondition.WhenWritingDefault,
  DictionaryKeyPolicy = JsonKnownNamingPolicy.SnakeCaseUpper,
  IgnoreReadOnlyFields = true,
  IgnoreReadOnlyProperties = true,
  IncludeFields = true,
  MaxDepth = 1024,
  NumberHandling = JsonNumberHandling.WriteAsString,
  PreferredObjectCreationHandling = JsonObjectCreationHandling.Replace,
  PropertyNameCaseInsensitive = true,
  PropertyNamingPolicy = JsonKnownNamingPolicy.KebabCaseUpper,
  ReadCommentHandling = JsonCommentHandling.Skip,
  UnknownTypeHandling = JsonUnknownTypeHandling.JsonNode,
  UnmappedMemberHandling = JsonUnmappedMemberHandling.Disallow,
  WriteIndented = true)]
[JsonSerializable(typeof(MyPoco))]
public partial class MyContext : JsonSerializerContext {}

PropertyName = "value"
  ==> JsonNamingPolicy.SnakeCaseLower: "property_name": "value"
  ==> JsonNamingPolicy.KebabCaseUpper: "PROPERTY-NAME": "value"
정성태

1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13505정성태12/27/20233262닷넷: 2189. C# - WebSocket 클라이언트를 닷넷으로 구현하는 예제 (System.Net.WebSockets)파일 다운로드1
13504정성태12/27/20232853닷넷: 2188. C# - ASP.NET Core SignalR로 구현하는 채팅 서비스 예제파일 다운로드1
13503정성태12/27/20232771Linux: 67. WSL 환경 + mlocate(locate) 도구의 /mnt 디렉터리 검색 문제
13502정성태12/26/20232768닷넷: 2187. C# - 다른 프로세스의 환경변수 읽는 예제파일 다운로드1
13501정성태12/25/20232587개발 환경 구성: 700. WSL + uwsgi - IPv6로 바인딩하는 방법
13500정성태12/24/20232730디버깅 기술: 194. Windbg - x64 가상 주소를 물리 주소로 변환
13498정성태12/23/20233417닷넷: 2186. 한국투자증권 KIS Developers OpenAPI의 C# 래퍼 버전 - eFriendOpenAPI NuGet 패키지
13497정성태12/22/20232720오류 유형: 885. Visual Studiio - error : Could not connect to the remote system. Please verify your connection settings, and that your machine is on the network and reachable.
13496정성태12/21/20232931Linux: 66. 리눅스 - 실행 중인 프로세스 내부의 환경변수 설정을 구하는 방법 (gdb)
13495정성태12/20/20232864Linux: 65. clang++로 공유 라이브러리의 -static 옵션 빌드가 가능할까요?
13494정성태12/20/20233018Linux: 64. Linux 응용 프로그램의 (C++) so 의존성 줄이기(ReleaseMinDependency) - 두 번째 이야기
13493정성태12/19/20233134닷넷: 2185. C# - object를 QueryString으로 직렬화하는 방법
13492정성태12/19/20232797개발 환경 구성: 699. WSL에 nopCommerce 예제 구성
13491정성태12/19/20232533Linux: 63. 리눅스 - 다중 그룹 또는 사용자를 리소스에 권한 부여
13490정성태12/19/20232668개발 환경 구성: 698. Golang - GLIBC 의존을 없애는 정적 빌드 방법
13489정성태12/19/20232441개발 환경 구성: 697. GoLand에서 ldflags 지정 방법
13488정성태12/18/20232385오류 유형: 884. HTTP 500.0 - 명령행에서 실행한 ASP.NET Core 응용 프로그램을 실행하는 방법
13487정성태12/16/20232703개발 환경 구성: 696. C# - 리눅스용 AOT 빌드를 docker에서 수행 [1]
13486정성태12/15/20232515개발 환경 구성: 695. Nuget config 파일에 값 설정/삭제 방법
13485정성태12/15/20232381오류 유형: 883. dotnet build/restore - error : Root element is missing
13484정성태12/14/20232570개발 환경 구성: 694. Windows 디렉터리 경로를 WSL의 /mnt 포맷으로 구하는 방법
13483정성태12/14/20232759닷넷: 2184. C# - 하나의 resource 파일을 여러 프로그램에서 (AOT 시에도) 사용하는 방법파일 다운로드1
13482정성태12/13/20233396닷넷: 2183. C# - eFriend Expert OCX 예제를 .NET Core/5+ Console App에서 사용하는 방법 [2]파일 다운로드1
13481정성태12/13/20232771개발 환경 구성: 693. msbuild - .NET Core/5+ 프로젝트에서 resgen을 이용한 리소스 파일 생성 방법파일 다운로드1
13480정성태12/12/20233163개발 환경 구성: 692. Windows WSL 2 + Chrome 웹 브라우저 설치
13479정성태12/11/20232658개발 환경 구성: 691. WSL 2 (Ubuntu) + nginx 환경 설정
1  2  3  4  5  [6]  7  8  9  10  11  12  13  14  15  ...