Microsoft MVP성태의 닷넷 이야기
Math: 57. C# - 해석학적 방법을 이용한 최소 자승법 [링크 복사], [링크+제목 복사]
조회: 1994
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - 해석학적 방법을 이용한 최소 자승법

다음의 글에 보면,

최소자승법 이해와 다양한 활용예 (Least Square Method)
; https://darkpgmr.tistory.com/56

최소 자승법(최소 제곱법)의 풀이로 대수적 방법과 해석학적 방법이 있다고 하는데요. 대수적 방법은 지난번에 설명했으니, 이번엔 해석학적 방법을 알아보겠습니다. (보다 더 자세한 설명은 "기초 수학으로 이해하는 머신러닝 알고리즘" 책을 참고하시고 여기서는 간략하게 넘어가겠습니다.)

그러니까, 결국 중요한 것은 데이터를 근사하는 방정식의,

fθ(x) = θ0 + θ1x

매개변수 값(θ0, θ1)을 정하는 것입니다. 이를 위해 데이터와의 오차를 계산하는 목적함수에 대해,



각각의 매개변수(θ0, θ1)로 편미분한 도함수를 다음과 같이 정리할 수 있습니다.




도함수가 정해졌으니, 이제 목적함수의 최솟값을 구하기 위해 경사하강법을 사용할 수 있고,

C# - 그래프 그리기로 알아보는 경사 하강법의 최소/최댓값 구하기
; https://www.sysnet.pe.kr/2/0/11923

따라서 도함수의 부호에 따라 매개변수를 근사하는 식은 다음과 같이 정리가 됩니다.




끝났군요. ^^ 이제 위의 동작을 코드로 잘 옮겨주면 연산이 진행될수록 θ0, θ1 값들은 근사한 1차 방정식의 모습을 갖추게 될 것입니다.




말이 좀 어려운데, 사실 코드로 보면 그다지 어렵지 않습니다. ^^

using MathNet.Numerics.Random;
using Microsoft.ML;
using Microsoft.ML.Data;
using PLplot;
using System;
using System.Collections.Generic;
using System.Linq;
using Microsoft.ML.Data;

class Program
{
    static void Main(string[] args)
    {
        MLContext ctx = new MLContext();

        IDataView data = ctx.Data.LoadFromTextFile<ClickData>("click.csv", separatorChar: ',', hasHeader: true);

        // 표준화
        var xyList = ctx.Data.CreateEnumerable<ClickData>(data, false).NormalizeZscore();

        // 매개변수 초기화
        double theta0 = SystemRandomSource.Default.NextDouble();
        double theta1 = SystemRandomSource.Default.NextDouble();

        // 예측 함수
        Func<double, double> f = (x) => theta0 + theta1 * x;

        // 목적 함수
        Func<double, double, double> errorFunc = (x, y) => Math.Pow((y - f(x)), 2);
        Func<IEnumerable<ClickData>, double> E = (list) => 0.5 * list.ForEach((e) => errorFunc(e.X, e.Y)).Sum();

        // 학습률
        double ETA = 1e-03;

        // 오차의 차분
        double diff = 1.0;

        // 갱신 횟수
        int count = 0;

        // 오차의 차분이 0.01 이하가 될 때까지 매개변수 갱신을 반복
        double error = E(xyList);

        while (diff > 1e-02)
        {
            // 갱신 결과를 임시 변수에 저장
            double tmp_theta0 = theta0 - ETA * xyList.ForEach((e) => f(e.X) - e.Y).Sum();
            double tmp_theta1 = theta1 - ETA * xyList.ForEach((e) => (f(e.X) - e.Y) * e.X).Sum();

            // 매개변수 갱신
            theta0 = tmp_theta0;
            theta1 = tmp_theta1;

            // 이전 회의 오차와의 차분을 계산
            double currentError = E(xyList);
            diff = error - currentError;
            error = currentError;

            // 로그 출력
            count++;
            Console.WriteLine($"{count,4:#} 회째: theta0 = {theta0,8:#.0000}, theta1 = {theta1,8:#.0000}, 차분 = {diff,8:#.0000}");
        }

        // 그래프 출력
        double[] xData = xyList.Select((elem) => elem.X).ToArray();
        double[] yData = xyList.Select((elem) => elem.Y).ToArray();
        DrawPlotChart(xData, yData, f);
    }
}

/* 출력 결과
   1 회째: theta0 =   9.3955, theta1 =   2.6899, 차분 = 76048.3710
   2 회째: theta0 =  17.7905, theta1 =   4.5057, 차분 = 73036.8555
   3 회째: theta0 =  26.0177, theta1 =   6.2851, 차분 = 70144.5960
...[생략]...
 384 회째: theta0 = 428.9669, theta1 =  93.4392, 차분 =    .0145
 385 회째: theta0 = 428.9706, theta1 =  93.4400, 차분 =    .0139
 386 회째: theta0 = 428.9742, theta1 =  93.4407, 차분 =    .0133
 387 회째: theta0 = 428.9777, theta1 =  93.4415, 차분 =    .0128
 388 회째: theta0 = 428.9812, theta1 =  93.4422, 차분 =    .0123
 389 회째: theta0 = 428.9845, theta1 =  93.4430, 차분 =    .0118
 390 회째: theta0 = 428.9878, theta1 =  93.4437, 차분 =    .0113
 391 회째: theta0 = 428.9911, theta1 =  93.4444, 차분 =    .0109
 392 회째: theta0 = 428.9943, theta1 =  93.4451, 차분 =    .0105
 393 회째: theta0 = 428.9974, theta1 =  93.4458, 차분 =    .0101
 394 회째: theta0 = 429.0004, theta1 =  93.4464, 차분 =    .0097
*/

출력된 그래프를 보면 잘 근사한 것을 확인할 수 있습니다.

lsm_gradient_descent_1.png

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




그러니까 위의 소스 코드는 "기초 수학으로 이해하는 머신러닝 알고리즘" 책의 파이썬 코드를,

math-for-ml / regression1_linear.py 
; https://github.com/wikibook/math-for-ml/blob/master/regression1_linear.py

C# 버전으로 변경했다고 보면 되겠습니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 5/31/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2019-06-11 12시04분
다음의 글에 그래프가 수렴하는 애니메이션을 확인할 수 있습니다. ^^

C# - 최소 자승법의 1차, 2차 수렴 그래프 변화 확인
; http://www.sysnet.pe.kr/2/0/11936
정성태

1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12089정성태12/23/2019571디버깅 기술: 146. gflags와 _CrtIsMemoryBlock을 이용한 Heap 메모리 손상 여부 체크
12088정성태12/23/2019460Linux: 28. Linux - 윈도우의 "Run as different user" 기능을 shell에서 실행하는 방법
12087정성태12/21/2019591디버깅 기술: 145. windbg/sos - Dictionary의 entries 배열 내용을 모두 덤프하는 방법 (do_hashtable.py)
12086정성태12/20/2019719디버깅 기술: 144. windbg - Marshal.FreeHGlobal에서 발생한 덤프 분석 사례
12085정성태12/20/2019600오류 유형: 586. iisreset - The data is invalid. (2147942413, 8007000d) 오류 발생 - 두 번째 이야기 [1]
12084정성태12/21/2019682디버깅 기술: 143. windbg/sos - Hashtable의 buckets 배열 내용을 모두 덤프하는 방법 (do_hashtable.py)
12083정성태12/17/2019992Linux: 27. linux - lldb를 이용한 .NET Core 응용 프로그램의 메모리 덤프 분석 방법 [2]
12082정성태12/17/2019738오류 유형: 585. lsof: WARNING: can't stat() fuse.gvfsd-fuse file system
12081정성태12/16/2019848개발 환경 구성: 465. 로컬 PC에서 개발 중인 ASP.NET Core 웹 응용 프로그램을 다른 PC에서도 접근하는 방법 [2]
12080정성태12/16/20191040.NET Framework: 870. C# - 프로세스의 모든 핸들을 열람
12079정성태12/13/2019779오류 유형: 584. 원격 데스크탑(rdp) 환경에서 다중 또는 고용량 파일 복사 시 "Unspecified error" 오류 발생
12078정성태12/13/20191997Linux: 26. .NET Core 응용 프로그램을 위한 메모리 덤프 방법 [1]
12077정성태12/13/2019894Linux: 25. 자주 실행할 명령어 또는 초기 환경을 "~/.bashrc" 파일에 등록
12076정성태12/17/2019982디버깅 기술: 142. Linux - lldb 환경에서 sos 확장 명령어를 이용한 닷넷 프로세스 디버깅 - 배포 방법에 따른 차이
12075정성태12/18/20191063디버깅 기술: 141. Linux - lldb 환경에서 sos 확장 명령어를 이용한 닷넷 프로세스 디버깅
12074정성태12/11/2019694디버깅 기술: 140. windbg/Visual Studio - 값이 변경된 경우를 위한 정지점(BP) 설정(Data Breakpoint)
12073정성태12/10/20191269Linux: 24. Linux/C# - 실행 파일이 아닌 스크립트 형식의 명령어를 Process.Start로 실행하는 방법
12072정성태12/9/2019499오류 유형: 583. iisreset 수행 시 "No such interface supported" 오류
12071정성태12/9/2019829오류 유형: 582. 리눅스 디스크 공간 부족 및 safemode 부팅 방법
12070정성태12/9/20191541오류 유형: 581. resize2fs: Bad magic number in super-block while trying to open /dev/.../root
12069정성태12/19/2019953디버깅 기술: 139. windbg - x64 덤프 분석 시 메서드의 인자 또는 로컬 변수의 값을 확인하는 방법
12068정성태11/28/20191606디버깅 기술: 138. windbg와 Win32 API로 알아보는 Windows Heap 정보 분석 [2]파일 다운로드2
12067정성태11/27/2019936디버깅 기술: 137. 실제 사례를 통해 Debug Diagnostics 도구가 생성한 닷넷 웹 응용 프로그램의 성능 장애 보고서 설명 [1]파일 다운로드1
12066정성태11/27/2019707디버깅 기술: 136. windbg - C# PInvoke 호출 시 마샬링을 담당하는 함수 분석 - OracleCommand.ExecuteReader에서 OpsSql.Prepare2 PInvoke 호출 분석
12065정성태11/25/2019813디버깅 기술: 135. windbg - C# PInvoke 호출 시 마샬링을 담당하는 함수 분석파일 다운로드1
12064정성태11/25/20191210오류 유형: 580. HTTP Error 500.0/500.33 - ANCM In-Process Handler Load Failure
1  2  3  4  5  6  7  8  [9]  10  11  12  13  14  15  ...