Microsoft MVP성태의 닷넷 이야기
.NET Framework: 840. ML.NET 데이터 정규화 [링크 복사], [링크+제목 복사]
조회: 1330
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

ML.NET 데이터 정규화

ML.NET으로 데이터 전처리 하는 방법은 다음의 글을 참고하시면 됩니다.

Prepare Data
; https://docs.microsoft.com/en-us/dotnet/machine-learning/how-to-guides/prepare-data-ml-net

현재(2019-05-28) NormalizationCatalog에서 제공하는 정규화 방법은 대략 다음과 같습니다.

  • NormalizeBinning
  • NormalizeGlobalContrast
  • NormalizeLogMeanVariance
  • NormalizeLpNorm
  • NormalizeMeanVariance
  • NormalizeMinMax
  • NormalizeSupervised?Binning

그런데, "기초 수학으로 이해하는 머신러닝 알고리즘" 책에 보면 z-score 정규화가 나오는데요.

표준 점수
; https://ko.wikipedia.org/wiki/%ED%91%9C%EC%A4%80_%EC%A0%90%EC%88%98

표준값 z는 원수치인 x가 평균에서 얼마나 떨어져 있는지를 나타낸다. 음수이면 평균이하, 양수이면 평균이상이다

이것과 매핑되는 ML.NET의 정규화는 없습니다. 이런 경우, ML.NET에 자연스럽게 녹여낼 수 있도록 사용자 정의 transformer 구현을 제공합니다.

How can I define my own transformation of data?
; https://github.com/dotnet/machinelearning/blob/master/docs/code/MlNetCookBook.md#user-content-how-can-i-define-my-own-transformation-of-data

그런데, 굳이 저렇게 해서 얻는 장점이 얼마나 많을까 싶습니다. 따라서 그냥 다음과 같이 로드된 데이터를 직접 처리해도 상관없겠습니다.

double[] xData = xyList.Select(xy => xy.X).ToArray();
xData = NormalizeZscore(xData);

private static double [] NormalizeZscore(double[] xData)
{
    double mean = Statistics.Mean(xData);
    double sd = Statistics.PopulationStandardDeviation(xData);

    double[] normalized = new double[xData.Length];

    for (int i = 0; i < xData.Length; i ++)
    {
        normalized[i] = (xData[i] - mean) / sd;
    }

    return normalized;
}

예를 들어 입력 데이터가 다음과 같을 때,

x,y
235,591
216,539
148,413
35,310
85,308
204,519
49,325
25,332
173,498
191,498
134,392
99,334
117,385
112,387
162,425
272,659
159,400
159,427
59,319
198,522

NormalizeZscore가 반환한 x 데이터의 min/max는 -1.7406785589738 ~ 1.94669368859505에 해당합니다. 그 외에, ML.NET의 정규화 관련 메서드를 수행해 보면,

using MathNet.Numerics.Statistics;
using Microsoft.ML;
using Microsoft.ML.Data;
using Microsoft.ML.Transforms;
using System;
using System.Collections.Generic;
using System.Linq;

class Program
{
    static void Main(string[] args)
    {
        MLContext ctx = new MLContext();

        IDataView data = ctx.Data.LoadFromTextFile<ClickData>("click.csv", separatorChar: ',', hasHeader: true);

        var xColumn = data.Schema[0];
        var yColumn = data.Schema[1];
        
        {
            Func<NormalizingEstimator> func = () => ctx.Transforms.NormalizeMeanVariance(xColumn.Name);
            ShowResult("NormalizeMeanVariance", ctx, data, func);
        }

        {
            Func<NormalizingEstimator> func = () => ctx.Transforms.NormalizeLogMeanVariance(xColumn.Name);
            ShowResult("NormalizeLogMeanVariance", ctx, data, func);
        }

        {
            Func<NormalizingEstimator> func = () => ctx.Transforms.NormalizeMinMax(xColumn.Name);
            ShowResult("NormalizeMinMax", ctx, data, func);
        }

        {
            var xData = data.GetColumn<double>(xColumn).NormalizeZscore();
            Console.WriteLine($"[NormalizeZscore] Min: {xData.Min()}, Max: {xData.Max()}");
        }
    }

    private static void ShowResult(string title, MLContext ctx, IDataView data, Func<NormalizingEstimator> func)
    {
        var transformer = func();
        ITransformer textTransformer = transformer.Fit(data);
        IDataView normalizedData = textTransformer.Transform(data);

        var xyList = ctx.Data.CreateEnumerable<ClickData>(normalizedData, false);
        var xData = xyList.Select(xy => xy.X);
        Console.WriteLine($"[{title}] Min: {xData.Min()}, Max: {xData.Max()}");
    }
}

public static class Extension
{
    public static IEnumerable<double> NormalizeZscore(this IEnumerable<double> data)
    {
        double mean = Statistics.Mean(data);
        double std = Statistics.PopulationStandardDeviation(data);

        foreach (var item in data)
        {
            yield return (item - mean) / std;
        }
    }
}

각각의 종류에 따라 다음과 같은 결과를 갖습니다.

[NormalizeMeanVariance] Min: 0.159596722144764, Max: 1.73641233693504
[NormalizeLogMeanVariance] Min: 0.00667093285901543, Max: 0.899555532449876
[NormalizeMinMax] Min: 0.0919117647058823, Max: 1

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, Fit 호출 시 오류가 발생한다면?

Unhandled Exception: System.ArgumentOutOfRangeException: Wrong column type for column X. Expected: Single, Double, Vector of Single or Vector of Double. Got: Int32.
Parameter name: column
   at Microsoft.ML.Transforms.NormalizeTransform.LogMeanVarUtils.CreateBuilder(LogMeanVarianceColumnOptions column, IHost host, Int32 srcIndex, DataViewType srcType, DataViewRowCursor cursor)
   at Microsoft.ML.Transforms.NormalizingTransformer.Train(IHostEnvironment env, IDataView data, ColumnOptionsBase[] columns)
   at Program.Main(String[] args) in F:\ConsoleApp1\ConsoleApp1\Program.cs:line 18

해당 transformer의 대상 타입이 int가 들어왔는데 float, double, vector of float/double/vector 유형이어야만 하기 때문입니다. 따라서 정규화 대상이 되는 칼럼의 모델 타입을,

class ClickData
{
    [LoadColumn(0)]
    public int X { get; set; }

    [LoadColumn(1)]
    public int Y { get; set; }
}

다음과 같이 적절하게 변경하면 됩니다.

class ClickData
{
    [LoadColumn(0)]
    public double X { get; set; }

    [LoadColumn(1)]
    public int Y { get; set; }
}




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 5/30/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  [3]  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12289정성태8/6/2020286개발 환경 구성: 502. Portainer에 윈도우 컨테이너를 등록하는 방법
12288정성태8/5/2020258오류 유형: 637. WCF - The protocol 'net.tcp' does not have an implementation of HostedTransportConfiguration type registered.
12287정성태8/5/2020186오류 유형: 636. C# - libdl.so를 DllImport로 연결 시 docker container 내에서 System.DllNotFoundException 예외 발생
12286정성태8/5/2020218개발 환경 구성: 501. .NET Core 용 container 이미지 만들 때 unzip이 필요한 경우
12285정성태8/4/2020249오류 유형: 635. 윈도우 10 업데이트 - 0xc1900209 [2]
12284정성태8/26/2020315디버깅 기술: 169. Hyper-V의 VM에 대한 메모리 덤프를 뜨는 방법
12283정성태8/3/2020211디버깅 기술: 168. windbg - 필터 드라이버 확인하는 확장 명령어(!fltkd)
12282정성태8/2/2020194디버깅 기술: 167. windbg 디버깅 사례: AppDomain 간의 static 변수 사용으로 인한 crash (2)
12281정성태8/2/2020343개발 환경 구성: 500. (PDB 연결이 없는) DLL의 소스 코드 디버깅을 dotPeek 도구로 해결하는 방법
12280정성태8/2/2020244오류 유형: 634. 오라클 (평생) 무료 클라우드 VM 생성 후 SSH 접속 시 키 오류 발생
12279정성태7/29/2020207개발 환경 구성: 499. 닷넷에서 접근해보는 InterSystems의 Cache 데이터베이스파일 다운로드1
12278정성태8/2/2020197VS.NET IDE: 149. ("Binary was not built with debug information" 상태로) 소스 코드 디버깅이 안되는 경우
12277정성태8/2/2020295개발 환경 구성: 498. DEVPATH 환경 변수의 사용 예 - .NET Reflector의 (PDB 연결이 없는) DLL의 소스 코드 디버깅
12276정성태7/23/2020311.NET Framework: 930. 개발자를 위한 닷넷 어셈블리 바인딩 - DEVPATH 환경 변수
12275정성태7/28/2020256개발 환경 구성: 497. 닷넷에서 접근해보는 InterSystems의 IRIS Data Platform 데이터베이스파일 다운로드1
12274정성태7/21/2020263개발 환경 구성: 496. Azure - Blob Storage Account의 Location 이전 방법파일 다운로드1
12273정성태7/20/2020387개발 환경 구성: 495. Azure - Location이 다른 웹/DB 서버의 경우 발생하는 성능 하락
12272정성태7/16/2020247.NET Framework: 929. (StrongName의 버전 구분이 필요 없는) .NET Core 어셈블리 바인딩 규칙파일 다운로드1
12271정성태7/16/2020232.NET Framework: 928. .NET Framework의 Strong-named 어셈블리 바인딩 (2) - 런타임에 바인딩 리디렉션파일 다운로드1
12270정성태7/16/2020262오류 유형: 633. SSL_CTX_use_certificate_file - error:140AB18F:SSL routines:SSL_CTX_use_certificate:ee key too small
12269정성태7/16/2020206오류 유형: 632. .NET Core 웹 응용 프로그램 - The process was terminated due to an unhandled exception.
12268정성태7/15/2020237오류 유형: 631. .NET Core 웹 응용 프로그램 오류 - HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process
12267정성태7/15/2020336.NET Framework: 927. C# - 윈도우 프로그램에서 Credential Manager를 이용한 보안 정보 저장파일 다운로드1
12266정성태7/14/2020315오류 유형: 630. 사용자 계정을 지정해 CreateService API로 서비스를 등록한 경우 "Error 1069: The service did not start due to a logon failure." 오류발생
12265정성태7/10/2020206오류 유형: 629. Visual Studio - 웹 애플리케이션 실행 시 "Unable to connect to web server 'IIS Express'." 오류 발생
12264정성태7/9/2020254오류 유형: 628. docker: Error response from daemon: Conflict. The container name "..." is already in use by container "...".
1  2  [3]  4  5  6  7  8  9  10  11  12  13  14  15  ...