Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2087. .NET 6부터 SourceGenerator와 통합된 System.Text.Json [링크 복사], [링크+제목 복사],
조회: 13903
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 3개 있습니다.)
(시리즈 글이 9개 있습니다.)
.NET Framework: 351. JavaScriptSerializer, DataContractJsonSerializer, Json.NET
; https://www.sysnet.pe.kr/2/0/1391

.NET Framework: 661. Json.NET의 DeserializeObject 수행 시 속성 이름을 동적으로 바꾸는 방법
; https://www.sysnet.pe.kr/2/0/11224

.NET Framework: 756. JSON의 escape sequence 문자 처리 방식
; https://www.sysnet.pe.kr/2/0/11532

사물인터넷: 54. 아두이노 환경에서의 JSON 파서(ArduinoJson) 사용법
; https://www.sysnet.pe.kr/2/0/11766

.NET Framework: 1073. C# - JSON 역/직렬화 시 리플렉션 손실을 없애는 JsonSrcGen
; https://www.sysnet.pe.kr/2/0/12688

.NET Framework: 2087. .NET 6부터 SourceGenerator와 통합된 System.Text.Json
; https://www.sysnet.pe.kr/2/0/13214

.NET Framework: 2115. System.Text.Json의 역직렬화 시 필드/속성 주의
; https://www.sysnet.pe.kr/2/0/13342

닷넷: 2261. C# - 구글 OAuth의 JWT (JSON Web Tokens) 해석
; https://www.sysnet.pe.kr/2/0/13623

닷넷: 2265. C# - System.Text.Json의 기본적인 (한글 등에서의) escape 처리
; https://www.sysnet.pe.kr/2/0/13644




.NET 6부터 SourceGenerator와 통합된 System.Text.Json

아래의 질문을 보면,

익명 클래스 말고 익명 구조체는 불가능한걸까요?
; https://www.sysnet.pe.kr/3/0/5786

이렇게 직렬화를 하는데,

string jsonString = JsonSerializer.Serialize(new { Age = 5, Height = 110 });

new로 생성한 익명 타입이 class이기 때문에 GC를 줄이기 위한 방법으로 struct가 사용되도록 하는 방법을 묻고 있습니다. 일단, 위의 코드에서 JsonSerializer.Serialize 메서드는 object를 받는 버전과 제네릭을 받는 버전으로 나뉩니다.

당연히 object를 받는 버전의 경우 설령 struct를 전달했다고 해도 박싱이 되므로 처음부터 클래스를 쓴 것보다 못한 결과를 낳습니다. 재미있는 건, 위의 메서드를 호출하면 제네릭 버전이 호출되긴 하는데요,

public static string Serialize<TValue>(TValue value, JsonSerializerOptions? options = null)
{
    JsonTypeInfo<TValue> jsonTypeInfo = GetTypeInfo<TValue>(options);
    return WriteString(value, jsonTypeInfo);
}

결국 내부 코드에서 호출되는 ObjectDefaultConverter.OnTryWrite 메서드가 박싱을 하기 때문에,

internal sealed override bool OnTryWrite(Utf8JsonWriter writer, T value, JsonSerializerOptions options, ref WriteStack state)
{
    JsonTypeInfo jsonTypeInfo = state.Current.JsonTypeInfo;

    object obj = value; // box once
    // ...[생략]...
}

제네릭 지원 버전이라고 해서 GC Heap 사용이 없는 것은 아닙니다. 그렇긴 해도 System.Text.Json이 내부적으로 어떡해서든 GC Heap의 사용을 줄이려고 최대한 노력했다는 점이 코드 곳곳에서 눈에 띕니다. 가령 직렬화하는 buffer도 PooledByteBufferWriter를 이용해 풀링을 시켜놓고 있으며 Span<T>의 사용과 함께 GC Heap 할당을 억제하고 있습니다.




그나저나 .NET 6부터 System.Text.Json에는 JsonTypeInfo을 지원하는 제네릭 버전이 추가되었는데요,

public static string Serialize<TValue>(TValue value, JsonTypeInfo<TValue> jsonTypeInfo)
{
    if (jsonTypeInfo is null)
    {
        ThrowHelper.ThrowArgumentNullException(nameof(jsonTypeInfo));
    }

    jsonTypeInfo.EnsureConfigured();
    return WriteString(value, jsonTypeInfo);
}

이건 Source Generator와 연동하므로, 컴파일 시점에 미리 생성해 둔 직렬화/역직렬화 클래스의 도움을 받아 성능을 높이게 됩니다. 게다가 사용 방법이 매우 쉬워서 그래도 나름 쓸만한데요, 예를 들어, 다음과 같이 직렬화할 타입이 있으면,

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

그 타입을 JsonSerializable 특성으로 연결한 JsonSerializerContext의 상속 타입을 "partial"로 새롭게 만들어 주기만 하면 됩니다.

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

끝입니다. 그럼 C# 컴파일러는 (%LOCALAPPDATA%\Temp\VSGeneratedDocuments 하위에) "SourceGenerationContext.MyPerson.g.cs" 파일을 컴파일 시점에 생성하고 "SourceGenerationContext.Default.MyPerson" 속성이 제공되므로 Json 직렬화 시 이것을 활용해,

MyPerson t = new MyPerson { Age = 5, Height = 120 };
string jsonString = JsonSerializer.Serialize(t, SourceGenerationContext.Default.MyPerson);

JsonSerializer.Serialize 메서드의 2번째 인자에 해당하는 JsonTypeInfo로 전달하면 됩니다. 실제로 이러한 2개의 코드를 BenchmarkDotNet으로 확인해 보면 "Source Generator"를 이용한 버전이 더 빠른 것을 확인할 수 있습니다.

|          Method |      Mean |     Error |   StdDev |
|---------------- |----------:|----------:|---------:|
| SerializeSrcGen |  80.98 ns | 25.378 ns | 1.391 ns | // Source Generator를 이용한 버전
| SerializeObject | 104.31 ns | 12.104 ns | 0.663 ns |

그런데 여기서도 재미있는 점이 하나 있습니다. Source Generator를 이용한 JsonTypeInfo를 전달한 경우에는 당연히 ObjectDefaultConverter.OnTryWrite를 사용하지 않으므로 (구조체를 전달한 경우) 박싱은 발생하지 않습니다. 하지만, 오히려 GC Heap 사용은 class를 전달한 경우보다 더 나옵니다.

예를 들어, 최종적으로 다음과 같이 테스트 코드를 구성하고,

using BenchmarkDotNet.Attributes;
using BenchmarkDotNet.Diagnosers;
using BenchmarkDotNet.Running;
using System.Text.Json;
using System.Text.Json.Serialization;

[JsonSourceGenerationOptions(WriteIndented = true)]
[JsonSerializable(typeof(MyPerson))]
internal partial class SourceGenerationContext : JsonSerializerContext
{
}

public class Person
{
    public int Age { get; set; }
    public int Height { get; set; }
}

public struct MyPerson
{
    public int Age { get; set; }
    public int Height { get; set; }
}

namespace ConsoleApp1
{
    [ShortRunJob]
    [MemoryDiagnoser]
    public class Program
    {
        static int _count = 0;
        static void Main(string[] args)
        {
            BenchmarkRunner.Run<Program>();
        }

        static Person p1 = new Person { Age = 5, Height = 110 };
        static MyPerson p2 = new MyPerson { Age = 5, Height = 110 };

        [Benchmark]
        public void SerializeSrcGen()
        {
            string jsonString = JsonSerializer.Serialize(p2, SourceGenerationContext.Default.MyPerson);
        }

        [Benchmark]
        public void SerializeObject()
        {
            string jsonString = JsonSerializer.Serialize(p1);
        }
    }
}

실행해 보면 이런 결과가 나옵니다.

|          Method |      Mean |     Error |   StdDev |   Gen0 | Allocated |
|---------------- |----------:|----------:|---------:|-------:|----------:|
| SerializeSrcGen |  80.27 ns |  7.896 ns | 0.433 ns | 0.0061 |      96 B | // 구조체 + Source Generator를 사용한 버전
| SerializeObject | 103.30 ns | 10.666 ns | 0.585 ns | 0.0045 |      72 B | // 클래스를 전달한 버전

보는 바와 같이 Source Generator를 사용한 버전이 역시나 빠르지만, GC Heap은 24바이트 더 사용하고 있습니다. 직렬화된 JSON 텍스트의 길이가 22 + 1, 즉 46바이트이므로 각각 50바이트/26바이트 씩을 더 쓰고 있는 것입니다.




정리해 보면, "익명 클래스 말고 익명 구조체는 불가능한걸까요?" 질문의 익명 구조체는 현재 C#에서 지원하지 않고 있습니다. 단지, 구조체를 직접 정의해 전달하는 것은 가능하지만 그런 경우라면 박싱이 발생하지 않도록 Source Generator를 함께 사용해야 합니다. 그 결과, 속도는 빨라지지만 (개체 풀링 및 Span의 사용에도 불구하고) GC Heap의 사용은 여전히 발생합니다.

그렇긴 한데, 어쨌든 위의 결과를 보면 0세대 GC Heap의 가비지 수집이 꽤나 최적화가 잘 되었다는 느낌은 받게 됩니다.

(첨부 파일은 이 글의 테스트 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 5/8/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2023-01-13 08시11분
.Net 7 JSON Performance trap
; https://itnext.io/net-7-json-performance-trap-6811296cf158

C# - JSON 역/직렬화 시 리플렉션 손실을 없애는 JsonSrcGen
; https://www.sysnet.pe.kr/2/0/12688

-------------------------

.NET Conf 2023 (Day 2) - What's new in System.Text.Json
; https://youtu.be/vU-iZcxbDUk?t=9093

[.NET Core 3]
* High performance JSON library
* Focus on security and compliance
* First shipped with .NET Core 3
* NuGet package targeting netstandard2.0

[.NET 6]
* Source Generator
* Mutable JSON DOM (JsonNode)
* IAsyncEnumerable support

[.NET 7]
* Contract Customization
* Type Hierarchies (polymorphism)
* "required" member support

[.NET 8]
Try the new System.Text.Json source generator
; https://devblogs.microsoft.com/dotnet/try-the-new-system-text-json-source-generator/

* Native AOT improvements
  - Functional improvements
    . "required" and "init" member support
    . Polymorphism and unspeakable type support
    . String enum support for Native AOT
  - size reduction
    . Internal changes reducing trimmed app size.
    . Minimal NAOT console app using STJ:
       ~ 3.4MB -> 2.6MB (.NET 7 to .NET 8)
       ~ 23% size reduction
    . Demo ASP.NET Core app:
       ~ 21MB -> 8.9M (.NET 7 to .NET 8)
       ~ 57% size reduction
* ASP.NET Core interop improvements
  - Easier to register source generators, size reduction
* Bugfixes and reliability improvements
  - Closing the functional gap with reflection

PublishedTrimmed projects fail reflection-based serialization
; https://learn.microsoft.com/en-us/dotnet/core/compatibility/serialization/8.0/publishtrimmed#recommended-action

csproj JsonSerializerIsReflectionEnabledByDefault 속성 추가

// https://github.com/dotnet/runtime/blob/main/src/libraries/System.Text.Json/Common/JsonSourceGenerationOptionsAttribute.cs
[JsonSourceGenerationOptions(
  defaults: JsonSerializerDefaults.Web,
  Converters = [typeof(MyCustomConverter)],
  DefaultBufferSize = 128,
  DefaultIgnoreCondition = JsonIgnoreCondition.WhenWritingDefault,
  DictionaryKeyPolicy = JsonKnownNamingPolicy.SnakeCaseUpper,
  IgnoreReadOnlyFields = true,
  IgnoreReadOnlyProperties = true,
  IncludeFields = true,
  MaxDepth = 1024,
  NumberHandling = JsonNumberHandling.WriteAsString,
  PreferredObjectCreationHandling = JsonObjectCreationHandling.Replace,
  PropertyNameCaseInsensitive = true,
  PropertyNamingPolicy = JsonKnownNamingPolicy.KebabCaseUpper,
  ReadCommentHandling = JsonCommentHandling.Skip,
  UnknownTypeHandling = JsonUnknownTypeHandling.JsonNode,
  UnmappedMemberHandling = JsonUnmappedMemberHandling.Disallow,
  WriteIndented = true)]
[JsonSerializable(typeof(MyPoco))]
public partial class MyContext : JsonSerializerContext {}

PropertyName = "value"
  ==> JsonNamingPolicy.SnakeCaseLower: "property_name": "value"
  ==> JsonNamingPolicy.KebabCaseUpper: "PROPERTY-NAME": "value"
정성태

... 76  77  78  79  [80]  81  82  83  84  85  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
11933정성태6/7/201919539VC++: 132. enum 정의를 C++11의 enum class로 바꿀 때 유의할 사항파일 다운로드1
11932정성태6/7/201918715오류 유형: 544. C++ - fatal error C1017: invalid integer constant expression파일 다운로드1
11931정성태6/6/201919242개발 환경 구성: 441. C# - CairoSharp/GtkSharp 사용을 위한 프로젝트 구성 방법
11930정성태6/5/201919783.NET Framework: 842. .NET Reflection을 대체할 System.Reflection.Metadata 소개 [1]
11929정성태6/5/201919312.NET Framework: 841. Windows Forms/C# - 클립보드에 RTF 텍스트를 복사 및 확인하는 방법 [1]
11928정성태6/5/201918113오류 유형: 543. PowerShell 확장 설치 시 "Catalog file '[...].cat' is not found in the contents of the module" 오류 발생
11927정성태6/5/201919290스크립트: 15. PowerShell ISE의 스크립트를 복사 후 PPT/Word에 붙여 넣으면 한글이 깨지는 문제 [1]
11926정성태6/4/201919889오류 유형: 542. Visual Studio - pointer to incomplete class type is not allowed
11925정성태6/4/201919692VC++: 131. Visual C++ - uuid 확장 속성과 __uuidof 확장 연산자파일 다운로드1
11924정성태5/30/201921299Math: 57. C# - 해석학적 방법을 이용한 최소 자승법 [1]파일 다운로드1
11923정성태5/30/201920951Math: 56. C# - 그래프 그리기로 알아보는 경사 하강법의 최소/최댓값 구하기파일 다운로드1
11922정성태5/29/201918496.NET Framework: 840. ML.NET 데이터 정규화파일 다운로드1
11921정성태5/28/201924344Math: 55. C# - 다항식을 위한 최소 자승법(Least Squares Method)파일 다운로드1
11920정성태5/28/201916010.NET Framework: 839. C# - PLplot 색상 제어
11919정성태5/27/201920251Math: 54. C# - 최소 자승법의 1차 함수에 대한 매개변수를 단순 for 문으로 구하는 방법 [1]파일 다운로드1
11918정성태5/25/201921120Math: 53. C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method)파일 다운로드1
11917정성태5/24/201922075Math: 52. MathNet을 이용한 간단한 통계 정보 처리 - 분산/표준편차파일 다운로드1
11916정성태5/24/201919912Math: 51. MathNET + OxyPlot을 이용한 간단한 통계 정보 처리 - Histogram파일 다운로드1
11915정성태5/24/201923037Linux: 11. 리눅스의 환경 변수 관련 함수 정리 - putenv, setenv, unsetenv
11914정성태5/24/201921949Linux: 10. 윈도우의 GetTickCount와 리눅스의 clock_gettime파일 다운로드1
11913정성태5/23/201918743.NET Framework: 838. C# - 숫자형 타입의 bit(2진) 문자열, 16진수 문자열 구하는 방법파일 다운로드1
11912정성태5/23/201918673VS.NET IDE: 137. Visual Studio 2019 버전 16.1부터 리눅스 C/C++ 프로젝트에 추가된 WSL 지원
11911정성태5/23/201917458VS.NET IDE: 136. Visual Studio 2019 - 리눅스 C/C++ 프로젝트에 인텔리센스가 동작하지 않는 경우
11910정성태5/23/201927116Math: 50. C# - MathNet.Numerics의 Matrix(행렬) 연산 [1]파일 다운로드1
11909정성태5/22/201921109.NET Framework: 837. C# - PLplot 사용 예제 [1]파일 다운로드1
11908정성태5/22/201919849.NET Framework: 836. C# - Python range 함수 구현파일 다운로드1
... 76  77  78  79  [80]  81  82  83  84  85  86  87  88  89  90  ...