Microsoft MVP성태의 닷넷 이야기
Math: 53. C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method) [링크 복사], [링크+제목 복사]
조회: 1793
글쓴 사람
홈페이지
첨부 파일

C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method)

개인적으로 자주 방문하게 되는 사이트가 있는데, 마침 "기초 수학으로 이해하는 머신러닝 알고리즘" 책과 연관된 내용이 나오는군요. ^^

최소자승법 이해와 다양한 활용예 (Least Square Method)
; https://darkpgmr.tistory.com/56

책에서 최소 자승법(최소 제곱법)을 해석학적 방법으로 접근해 행렬식으로 정리하는데, 위의 글을 보면 행렬로 정리한 내용을 더 쉽게 이해할 수 있습니다. 그럼, 실습을 한 번 해볼까요? ^^ 지난 글에서 설명한 click.csv로 다뤄볼 텐데요,

x,y
235,591
216,539
148,413
35,310
85,308
204,519
49,325
25,332
173,498
191,498
134,392
99,334
117,385
112,387
162,425
272,659
159,400
159,427
59,319
198,522

ML.NET의 라이브러리를 이용하면 다음과 같이 로드해,

using Microsoft.ML.Data;

class ClickData
{
    [LoadColumn(0)]
    public int X { get; set; }

    [LoadColumn(1)]
    public int Y { get; set; }
}

class Program
{
    static void Main(string[] args)
    {
        MLContext ctx = new MLContext();

        IDataView data = ctx.Data.LoadFromTextFile<ClickData>("click.csv", separatorChar: ',', hasHeader: true);
    }
}

Plot 데이터를 지난번과 마찬가지로 그릴 수 있습니다.

var xyList = ctx.Data.CreateEnumerable<ClickData>(data, true);
double[] xData = xyList.Select(xy => (double)xy.X).ToArray();
double[] yData = xyList.Select(xy => (double)xy.Y).ToArray();

DrawPlotChart(xData, yData);

private static void DrawPlotChart(double[] xData, double[] yData)
{
    string chartFileName = "click.svg";

    int xMin = 0;
    int yMin = 0;

    int xMax = (int)xData.Max() + 10;
    int yMax = (int)yData.Max() + 10;

    using (var pl = new PLStream())
    {
        pl.sdev("svg");
        pl.sfnam(chartFileName);
        pl.spal0("cmap0_alternate.pal");
        pl.init();

        pl.env(xMin, xMax, yMin, yMax, AxesScale.Independent, AxisBox.BoxTicksLabelsAxes);
        pl.lab("X", "Y", "Click");
        char code = Symbol.Bullet; // == 17;
        pl.col0(2); //Blue

        pl.poin(xData, yData, code);

        pl.eop();
        pl.gver(out var verText);
    }
}

lsm_by_matrix_0.png

자, 그럼 이제 위의 데이터 분포를 근사시킬 1차 함수를 구해야 하는데요.

θ0 + θ1x1 = y1
θ0 + θ1x2 = y2
...
θ0 + θ1xn = yn

"최소자승법 이해와 다양한 활용예 (Least Square Method)" 글에서 설명한 데로 이것은 행렬식으로 다룰 수 있고,



방정식의 θ1, θ0 요소는 결국 A 행렬의 의사 역행렬을 구해 계산하는 것으로 쉽게 처리할 수 있습니다.

AX=B
A-1AX=A-1B
X=A-1B

다행히 일반적인 역행렬과는 달리 의사 역행렬은,

의사역행렬
; https://ko.wikipedia.org/wiki/%EC%9D%98%EC%82%AC%EC%97%AD%ED%96%89%EB%A0%AC

항상 존재하며, 유일하기 때문에 안전하게 언제나 사용할 수 있습니다. 즉, 근사식에 따른 1차 함수를 언제나 구할 수 있다는 의미입니다. 자, 그럼 이걸 코드로 표현해야겠지요. ^^

우선, A 행렬은 Click 데이터의 X 데이터와 함께 두 번째 칼럼의 값이 1로 채워져 있는 것입니다. 이것을 MathNet의 행렬로 다음과 같이 만들어 줄 수 있습니다.

Matrix<double> matA = CreateMatrix.DenseOfColumnMajor(xData.Count(), 1, xData);
Vector<double> add1 = Vector<double>.Build.DenseOfArray(Enumerable.Repeat(1.0, xData.Count()).ToArray());
Matrix<double> matAwith1 = matA.InsertColumn(1, add1);
/* matAwith1 행렬
235   1
216   1
148   1
 35   1
 85   1
204   1
 49   1
 25   1
 ..  ..
159   1
159   1
 59   1
198   1
*/

남은 작업은 의사 역행렬을 구하고 B 행렬과 곱해주면 방정식의 (θ1, θ0) 값으로 이뤄진 행렬을 얻게 됩니다.

Matrix<double> matB = CreateMatrix.DenseOfColumnMajor(yData.Count(), 1, yData);

Matrix<double> pinvMatA = matAwith1.PseudoInverse();
Matrix<double> matX = pinvMatA * matB;

double theta1 = mat[1, 1];
double theta0 = mat[1, 0];

/*
matX[0, 0] == θ1
matX[1, 0] == θ0
*/

실제로 연산을 해보면 (1.39551018043075, 231.545758451005) 값이 얻어지는데, 따라서 Click 데이터를 근사하는 방정식은 다음과 같이 이뤄집니다.

Console.WriteLine($"y = {theta0} + {theta1} * x");

/* 출력 결과
y = 231.545758451005 + 1.39551018043075 * x
*/

계산 끝났군요. ^^ 이제 이렇게 구한 1차 방정식을 Plot 차트에 추가하면,

Func<double, double> func =
    (x) => theta0 + theta1 * x;

double y1 = func(0);
double y2 = func(300);

DrawPlotChart(xData, yData, new double[] { 0, 300 }, new double[] { y1, y2 });

private static void DrawPlotChart(double[] xData, double[] yData, double [] ptX, double [] ptY)
{
    ...[생략]...

        pl.poin(xData, yData, code);
        pl.line(ptX, ptY);

    ...[생략]...
}

다음과 같이 근사하게, 잘 근사한 직선을 볼 수 있습니다. ^^

lsm_by_matrix_1.png

(첨부 파일은 이 글의 예제 프로젝트를 포함합니다.)




.NET Core 프로젝트에서 "PLplot" 관련해 다음과 같은 오류가 발생한다면?

Unhandled Exception: System.DllNotFoundException: Unable to load DLL 'plplot' or one of its dependencies: The specified module could not be found. (Exception from HRESULT: 0x8007007E)
   at PLplot.Native.mkstrm(Int32& p_strm)
   at PLplot.PLStream..ctor() in C:\projects\plplotnet\PLplotNet\PLStream.cs:line 23
   at Program.DrawPlotChart(IEnumerable`1 xyList) in F:\ConsoleApp1\ConsoleApp1\Program.cs:line 41
   at Program.Main(String[] args) in F:\ConsoleApp1\ConsoleApp1\Program.cs:line 20

이번엔 지난번 상황과 다소 다릅니다. .NET Core 2.1 프로젝트였는데, 로드된 PLplotNet.dll은 다음의 경로였고,

%USERPROFILE%\.nuget\packages\plplot\5.13.7\lib\netstandard2.0\PLplotNet.dll

plplot의 네이티브 모듈들은 정상적으로 "%USERPROFILE%\.nuget\packages\plplot\5.13.7\runtimes\win-x64\native"에 위치하고 있었습니다. 문제의 원인은, .NET Core 2.1 프로젝트의 "Platform"이 "AnyCPU"였다는 것으로 예전에 설명한 적이 있는,

.NET Core 오류 - 0x80131620 Unable to load DLL 'libuv'
; https://www.sysnet.pe.kr/2/0/11389

상황과 동일한 오류입니다. 따라서, "Platform target"을 "AnyCPU"가 아닌 "x64"로 명시적인 설정을 하면 오류가 발생하지 않습니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 5/28/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12155정성태2/25/2020242오류 유형: 594. Warning NU1701 - This package may not be fully compatible with your project
12154정성태2/25/2020199오류 유형: 593. warning LNK4070: /OUT:... directive in .EXP differs from output filename
12153정성태2/23/2020312.NET Framework: 898. Trampoline을 이용한 후킹의 한계파일 다운로드1
12152정성태2/23/2020286.NET Framework: 897. 실행 시에 메서드 가로채기 - CLR Injection: Runtime Method Replacer 개선 - 세 번째 이야기(Trampoline 후킹)파일 다운로드1
12151정성태2/23/2020313.NET Framework: 896. C# - Win32 API를 Trampoline 기법을 이용해 C# 메서드로 가로채는 방법 - 두 번째 이야기 (원본 함수 호출)파일 다운로드1
12150정성태2/23/2020324.NET Framework: 895. C# - Win32 API를 Trampoline 기법을 이용해 C# 메서드로 가로채는 방법파일 다운로드1
12149정성태2/20/2020343.NET Framework: 894. eBEST C# XingAPI 래퍼 - 연속 조회 처리 방법 [1]
12148정성태2/23/2020413디버깅 기술: 163. x64 환경에서 구현하는 다양한 Trampoline 기법
12147정성태2/27/2020354디버깅 기술: 162. x86/x64의 기계어 코드 최대 길이
12146정성태2/18/2020400.NET Framework: 893. eBEST C# XingAPI 래퍼 - 로그인 처리파일 다운로드1
12145정성태2/18/2020333.NET Framework: 892. eBEST C# XingAPI 래퍼 - Sqlite 지원 추가파일 다운로드1
12144정성태2/23/2020374.NET Framework: 891. 실행 시에 메서드 가로채기 - CLR Injection: Runtime Method Replacer 개선 - 두 번째 이야기파일 다운로드1
12143정성태2/13/2020265.NET Framework: 890. 상황별 GetFunctionPointer 반환값 정리 - x64파일 다운로드1
12142정성태2/27/2020348.NET Framework: 889. C# 코드로 접근하는 MethodDesc, MethodTable파일 다운로드1
12141정성태2/10/2020465.NET Framework: 888. C# - ASP.NET Core 웹 응용 프로그램의 출력 가로채기 [1]파일 다운로드1
12140정성태2/10/2020314.NET Framework: 887. C# - ASP.NET 웹 응용 프로그램의 출력 가로채기파일 다운로드1
12139정성태2/9/2020503.NET Framework: 886. C# - Console 응용 프로그램에서 UI 스레드 구현 방법
12138정성태2/9/2020565.NET Framework: 885. C# - 닷넷 응용 프로그램에서 Sqlite 사용 [3]파일 다운로드1
12137정성태2/9/2020301오류 유형: 592. [AhnLab] 경고 - 디버거 실행을 탐지했습니다.
12136정성태2/6/2020244Windows: 166. Windows + S(또는 Q)로 뜨는 작업 표시줄의 검색 바가 동작하지 않는 경우
12135정성태2/6/2020300개발 환경 구성: 468. Nuget 패키지의 로컬 보관 폴더를 옮기는 방법
12134정성태2/5/2020763.NET Framework: 884. eBEST XingAPI의 C# 래퍼 버전 - XingAPINet Nuget 패키지파일 다운로드1
12133정성태2/7/2020412디버깅 기술: 161. Windbg 환경에서 확인해 본 .NET 메서드 JIT 컴파일 전과 후 - 두 번째 이야기
12132정성태2/20/2020615.NET Framework: 883. C#으로 구현하는 Win32 API 후킹(예: Sleep 호출 가로채기)파일 다운로드1
12131정성태1/27/2020584개발 환경 구성: 467. LocaleEmulator를 이용해 유니코드를 지원하지 않는(한글이 깨지는) 프로그램을 실행하는 방법
12130정성태1/26/2020349VS.NET IDE: 142. Visual Studio에서 windbg의 "Open Executable..."처럼 EXE를 직접 열어 디버깅을 시작하는 방법
1  2  3  4  [5]  6  7  8  9  10  11  12  13  14  15  ...