Microsoft MVP성태의 닷넷 이야기
Math: 58. C# - 최소 자승법의 1차, 2차 수렴 그래프 변화 확인 [링크 복사], [링크+제목 복사]
조회: 1521
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - 최소 자승법의 1차, 2차 수렴 그래프 변화 확인

지난 글에서 최소 자승법(최소 제곱법)을 다뤘고,

C# - 해석학적 방법을 이용한 최소 자승법
; https://www.sysnet.pe.kr/2/0/11924

PLplot을 윈도우 화면으로 출력하는 방법도 배웠으니,

C# - PLplot 출력을 파일이 아닌 Window 화면으로 변경
; https://www.sysnet.pe.kr/2/0/11935

이제 ^^ 최소 자승법이 theta 값을 수정하면서 그래프가 점점 근사해가는 모습을 눈으로 확인할 수 있습니다. ^^

따라서 지난 2개의 글에 실린 예제 코드를 합치면,

private void GraphLSM()
{
    MLContext ctx = new MLContext();

    IDataView data = ctx.Data.LoadFromTextFile<ClickData>("click.csv", separatorChar: ',', hasHeader: true);

    // 표준화
    var xyList = ctx.Data.CreateEnumerable<ClickData>(data, false).NormalizeZscore();

    // 매개변수 초기화
    double theta0 = SystemRandomSource.Default.NextDouble();
    double theta1 = SystemRandomSource.Default.NextDouble();

    // 예측 함수
    Func<double, double> f = (x) => theta0 + theta1 * x;

    // 목적 함수
    Func<double, double, double> errorFunc = (x, y) => Math.Pow((y - f(x)), 2);
    Func<IEnumerable<ClickData>, double> E = (list) => 0.5 * list.ForEach((e) => errorFunc(e.X, e.Y)).Sum();

    // 학습률
    double ETA = 1e-03;

    // 오차의 차분
    double diff = 1.0;

    // 갱신 횟수
    int count = 0;

    // 오차의 차분이 0.01 이하가 될 때까지 매개변수 갱신을 반복
    double error = E(xyList);

    // 그래프를 그리기 위한 데이터 준비
    double[] xData = xyList.Select((elem) => elem.X).ToArray();
    double[] yData = xyList.Select((elem) => elem.Y).ToArray();

    double xMin = xData.Min();
    double xMax = xData.Max();
    double yMin = yData.Min();
    double yMax = yData.Max();
    double[] ptX = Utils.RangeInclusive(xMin, xMax, 0.01).ToArray();
    double[] ptY = ptY = new double[ptX.Length];

    string title = $"{count:#}th: t0 = {theta0:#.00}, t1 = {theta1:#.00}, diff = {diff:#.00}";
    this.DoubleBuffered = true;
    this.BackgroundImage = DrawPlotChart(xMin - 0.1, xMax + 0.1, yMin - 0.1, yMax + 0.1, title, DrawPlot);

    while (diff > 1e-02)
    {
        Thread.Sleep(100);
        // 갱신 결과를 임시 변수에 저장
        double tmp_theta0 = theta0 - ETA * xyList.ForEach((e) => f(e.X) - e.Y).Sum();
        double tmp_theta1 = theta1 - ETA * xyList.ForEach((e) => (f(e.X) - e.Y) * e.X).Sum();

        // 매개변수 갱신
        theta0 = tmp_theta0;
        theta1 = tmp_theta1;

        // 이전 회의 오차와의 차분을 계산
        double currentError = E(xyList);
        diff = error - currentError;
        error = currentError;

        count++;
        title = $"{count:#}th: t0 = {theta0:#.00}, t1 = {theta1:#.00}, diff = {diff:#.00}";
        this.BackgroundImage = DrawPlotChart(xMin - 0.1, xMax + 0.1, yMin - 0.1, yMax + 0.1, title, DrawPlot);
    }

    void DrawPlot(PLStream pl, string text)
    {
        pl.lab("x", "y", text);
        pl.col0(PLplot.Color.Blue);

        for (int i = 0; i < xData.Length; i++)
        {
            pl.poin(xData[i], yData[i], Symbol.Bullet);
        }

        pl.lsty(LineStyle.ShortDashesShortGaps);

        {
            for (int i = 0; i < ptX.Length; i++)
            {
                ptY[i] = f(ptX[i]);
            }

            pl.line(ptX, ptY);
        }
    }
}

실행 시 다음과 같은 애니메이션을 볼 수 있습니다.

lsm_plot_ing_1.gif

해본 김에, 2차 함수 그래프로 근사하는 장면도 볼 수 있고.

lsm_plot_ing_2.gif

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 6/11/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




... [16]  17  18  19  20  21  22  23  24  25  26  27  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
12002정성태8/12/20191630.NET Framework: 853. Excel Sheet를 WinForm에서 사용하는 방법 - 두 번째 이야기 [5]
12001정성태8/10/20192287.NET Framework: 852. WPF/WinForm에서 UWP의 기능을 이용해 Bluetooth 기기와 Pairing하는 방법
12000정성태8/9/20191717.NET Framework: 851. WinForm/WPF에서 Console 창을 띄워 출력하는 방법파일 다운로드1
11999정성태8/1/20191135오류 유형: 563. C# - .NET Core 2.0 이하의 Unix Domain Socket 사용 시 System.IndexOutOfRangeException 오류
11998정성태7/30/20191422오류 유형: 562. .NET Remoting에서 서비스 호출 시 SYN_SENT로 남는 현상파일 다운로드1
11997정성태7/30/20191979.NET Framework: 850. C# - Excel(을 비롯해 Office 제품군) COM 객체를 제어 후 Excel.exe 프로세스가 남아 있는 문제파일 다운로드1
11996정성태7/25/20192051.NET Framework: 849. C# - Socket의 TIME_WAIT 상태를 없애는 방법파일 다운로드1
11995정성태7/23/20191754.NET Framework: 848. C# - smtp.daum.net 서비스(Implicit SSL)를 이용해 메일 보내는 방법
11994정성태10/22/20192041개발 환경 구성: 454. Azure 가상 머신(VM)에서 SMTP 메일 전송하는 방법파일 다운로드1
11993정성태7/22/20191257오류 유형: 561. Dism.exe 수행 시 "Error: 2 - The system cannot find the file specified." 오류 발생
11992정성태7/22/20191332오류 유형: 560. 서비스 관리자 실행 시 "Windows was unable to open service control manager database on [...]. Error 5: Access is denied." 오류 발생
11991정성태7/18/2019900디버깅 기술: 128. windbg - x64 환경에서 닷넷 예외가 발생한 경우 인자를 확인할 수 없었던 사례
11990정성태3/16/20201853오류 유형: 559. Settings / Update & Security 화면 진입 시 프로그램 종료
11989정성태7/18/20191006Windows: 162. Windows Server 2019 빌드 17763부터 Alt + F4 입력시 곧바로 로그아웃하는 현상
11988정성태7/18/20191713개발 환경 구성: 453. 마이크로소프트가 지정한 모든 Root 인증서를 설치하는 방법
11987정성태7/17/20195054오류 유형: 558. 윈도우 - KMODE_EXCEPTION_NOT_HANDLED 블루스크린(BSOD) 문제
11986정성태7/18/20191080오류 유형: 557. 드라이브 문자를 할당하지 않은 파티션을 탐색기에서 드라이브 문자와 함께 보여주는 문제
11985정성태7/17/20191054개발 환경 구성: 452. msbuild - csproj에 환경 변수 조건 사용
11984정성태7/9/20192033개발 환경 구성: 451. Microsoft Edge (Chromium)을 대상으로 한 Selenium WebDriver 사용법
11983정성태7/8/20191136오류 유형: 556. nodemon - 'mocha' is not recognized as an internal or external command, operable program or batch file.
11982정성태7/8/20191104오류 유형: 555. Visual Studio 빌드 오류 - result: unexpected exception occured (-1002 - 0xfffffc16)
11981정성태7/7/20191433Math: 64. C# - 3층 구조의 신경망(분류)파일 다운로드1
11980정성태7/7/20196078개발 환경 구성: 450. Visual Studio Code의 Java 확장을 이용한 간단한 프로젝트 구축파일 다운로드1
11979정성태7/8/20191671개발 환경 구성: 449. TFS에서 gitlab/github등의 git 서버로 마이그레이션하는 방법
11978정성태7/6/20191431Windows: 161. 계정 정보가 동일하지 않은 PC 간의 인증을 수행하는 방법 [1]
11977정성태7/6/20192618오류 유형: 554. git push - error: RPC failed; HTTP 413 curl 22 The requested URL returned error: 413 Request Entity Too Large
... [16]  17  18  19  20  21  22  23  24  25  26  27  28  29  30  ...