Microsoft MVP성태의 닷넷 이야기
Math: 55. C# - 다항식을 위한 최소 자승법(Least Squares Method) [링크 복사], [링크+제목 복사]
조회: 2265
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - 다항식을 위한 최소 자승법(Least Squares Method)

지난 글에서,

C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method)
; https://www.sysnet.pe.kr/2/0/11918

최소 자승법(최소 제곱법)을 이용해 1차 함수로 근사하는 것을 봤는데요, 이를 2차, 3차,...로 확장하는 것은 다음과 같이 매우 쉽습니다.

θ0 + θ1x1 + θ2x12 = y1
θ0 + θ1x2 + θ2x22 = y2
...
θ0 + θ1xn + θ2xn2 = yn



θ0 + θ1x1 + θ2x12 + θ3x13 = y1
θ0 + θ1x2 + θ2x22 + θ3x13 = y2
...
θ0 + θ1xn + θ2xn2 + θ3x13 = yn



따라서 행렬을 사용하는 경우 그냥 늘어나는 방정식의 계수만큼 행을 추가해 의사역행렬을 구한 후 연산하면 매개변수를 구할 수 있습니다.

private static double[] GetPolynomial(double[] xData, double[] yData, int numberOfEfficient)
{
    Matrix<double> matA = CreateMatrix.DenseOfColumnMajor(xData.Count(), 1, xData);
    Vector<double> add1 = Vector<double>.Build.DenseOfArray(Enumerable.Repeat(1.0, xData.Count()).ToArray());
    matA = matA.InsertColumn(1, add1);

    for (int i = 1; i < numberOfEfficient; i++)
    {
        double[] newColumnData = xData.Select((elem) => Math.Pow(elem, i + 1)).ToArray();
        Vector<double> addX = Vector<double>.Build.DenseOfArray(newColumnData);
        matA = matA.InsertColumn(0, addX);
    }

    Console.WriteLine(matA);
    Matrix<double> matB = CreateMatrix.DenseOfColumnMajor(yData.Count(), 1, yData);

    Matrix<double> pinvMatA = matA.PseudoInverse();
    Console.WriteLine(pinvMatA);

    Matrix<double> matX = pinvMatA * matB;
    return matX.AsColumnMajorArray();
}

[파란색 - 1차 함수, 빨간색 - 2차 함수, 노란색 3차 함수]
lsm_polynomial_1.png

일반적으로 차수가 올라갈수록 (과적합의 문제가 발생할 수 있지만) 오류는 더 적어집니다. 확인을 위해 간단하게 다음과 같이 작성해 보면,

private static void ReportError(double[] xData, double[] yData, Func<double, double> func)
{
    double error = 0.0;

    for (int i = 0; i < xData.Length; i ++)
    {
        double diff = yData[i] - func(xData[i]);
        error += (diff * diff);
    }

    Console.WriteLine("Error: " + error);
}
/*
1차: Error: 19086.9489618992
2차: Error: 6555.72459287144
3차: Error: 5038.32058563331
*/

1차에 비해 2차에서 두드러지게 오류가 낮아지는 것을 볼 수 있습니다. 따라서 이런 경우 효율을 고려한다면 2차 함수를 사용하는 것이 좋은 선택일 수 있습니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




지난 글에서 행렬 라이브러리를 직접 사용하지 않고 1차 근사식에 대한 매개 변수를 구하는 방법을 알아봤는데요,

C# - 최소 자승법의 1차 함수에 대한 매개변수를 단순 for 문으로 구하는 방법
; https://www.sysnet.pe.kr/2/0/11919

말 그대로 연립 방정식이므로 가우스 소거법을 이용해 매개 변수를 구하는 것도 가능합니다. 코드가 눈에 잘 안 들어오지만 어차피 복붙으로 써야 하는 것이라 큰 문제는 안 될 것입니다. ^^

Linear Equation Solver - Gaussian Elimination (C#)
; https://www.codeproject.com/Tips/388179/Linear-Equation-Solver-Gaussian-Elimination-Csharp

Gaussian elimination
; https://rosettacode.org/wiki/Gaussian_elimination#C.23

Solve a system of equations with Gaussian elimination in C#
; http://csharphelper.com/blog/2014/10/solve-a-system-of-equations-with-gaussian-elimination-in-c/

[C#/WINFORM] 다항식 최소 제곱법(Polynomial Least Squares Method) 사용하기
; https://icodebroker.tistory.com/5580




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 5/28/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12177정성태3/9/2020515개발 환경 구성: 479. docker - MySQL 컨테이너 실행
12176정성태3/9/2020372개발 환경 구성: 478. 파일의 (sha256 등의) 해시 값(checksum) 확인하는 방법
12175정성태3/8/2020571개발 환경 구성: 477. "Docker Desktop for Windows"의 "Linux Container" 모드를 위한 tcp 바인딩 추가
12174정성태3/8/2020714개발 환경 구성: 476. DockerDesktopVM의 파일 시스템 접근 [2]
12173정성태3/8/2020660개발 환경 구성: 475. docker - SQL Server 2019 컨테이너 실행 [1]
12172정성태3/8/20201006개발 환경 구성: 474. docker - container에서 root 권한 명령어 실행(sudo)
12171정성태3/6/2020651VS.NET IDE: 143. Visual Studio - ASP.NET Core Web Application의 "Enable Docker Support" 옵션으로 달라지는 점
12170정성태3/6/2020542오류 유형: 599. "Docker Desktop is switching..." 메시지와 DockerDesktopVM CPU 소비 현상
12169정성태3/5/2020931개발 환경 구성: 473. Windows nanoserver에 대한 docker pull의 태그 사용
12168정성태3/8/2020823개발 환경 구성: 472. 윈도우 환경에서의 dockerd.exe("Docker Engine" 서비스)가 Linux의 것과 다른 점
12167정성태3/5/2020644개발 환경 구성: 471. C# - 닷넷 응용 프로그램에서 DB2 Express-C 데이터베이스 사용 (3) - ibmcom/db2express-c 컨테이너 사용
12166정성태3/14/2020517개발 환경 구성: 470. Windows Server 컨테이너 - DockerMsftProvider 모듈을 이용한 docker 설치
12165정성태8/18/2020530.NET Framework: 900. 실행 시에 메서드 가로채기 - CLR Injection: Runtime Method Replacer 개선 - 네 번째 이야기(Monitor.Enter 후킹)파일 다운로드1
12164정성태2/29/2020620오류 유형: 598. Surface Pro 6 - Windows Hello Face Software Device가 인식이 안 되는 문제
12163정성태2/27/2020568.NET Framework: 899. 익명 함수를 가리키는 delegate 필드에 대한 직렬화 문제
12162정성태2/28/2020714디버깅 기술: 166. C#에서 만든 COM 객체를 C/C++로 P/Invoke Interop 시 메모리 누수(Memory Leak) 발생파일 다운로드2
12161정성태2/26/2020367오류 유형: 597. manifest - The value "x64" of attribute "processorArchitecture" in element "assemblyIdentity" is invalid.
12160정성태2/26/2020437개발 환경 구성: 469. Reg-free COM 개체 사용을 위한 manifest 파일 생성 도구 - COMRegFreeManifest
12159정성태2/26/2020337오류 유형: 596. Visual Studio - The project needs to include ATL support
12158정성태2/26/2020513디버깅 기술: 165. C# - Marshal.GetIUnknownForObject/GetIDispatchForObject 사용 시 메모리 누수(Memory Leak) 발생파일 다운로드1
12157정성태2/27/2020516디버깅 기술: 164. C# - Marshal.GetNativeVariantForObject 사용 시 메모리 누수(Memory Leak) 발생 및 해결 방법파일 다운로드1
12156정성태2/25/2020387오류 유형: 595. LINK : warning LNK4098: defaultlib 'nafxcw.lib' conflicts with use of other libs; use /NODEFAULTLIB:library
12155정성태2/25/2020425오류 유형: 594. Warning NU1701 - This package may not be fully compatible with your project
12154정성태2/25/2020353오류 유형: 593. warning LNK4070: /OUT:... directive in .EXP differs from output filename
12153정성태7/15/2020507.NET Framework: 898. Trampoline을 이용한 후킹의 한계파일 다운로드1
12152정성태2/23/2020484.NET Framework: 897. 실행 시에 메서드 가로채기 - CLR Injection: Runtime Method Replacer 개선 - 세 번째 이야기(Trampoline 후킹)파일 다운로드1
1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...