성태의 닷넷 이야기
홈 주인
모아 놓은 자료
프로그래밍
질문/답변
사용자 관리
사용자
메뉴
아티클
외부 아티클
유용한 코드
온라인 기능
MathJax 입력기
최근 덧글
[정성태] Roll A Lisp In C - Reading ; https...
[정성태] Java - How to use the Foreign Funct...
[정성태] 제가 큰 실수를 했군요. ^^; Delegate를 통한 Bein...
[정성태] Working with Rust Libraries from C#...
[정성태] Detecting blocking calls using asyn...
[정성태] 아쉽게도, 커뮤니티는 아니고 개인 블로그입니다. ^^
[정성태] 질문이 잘 이해가 안 됩니다. 우선, 해당 소스코드에서 ILis...
[양승조
] var대신 dinamic으로 선언해서 해결은 했습니다. 맞는 해...
[양승조
] 또 막혔습니다. ㅠㅠ var list = props[i].Ge...
[양승조
] 아. 감사합니다. 어제는 안됐던것 같은데....정신을 차려야겠네...
글쓰기
제목
이름
암호
전자우편
HTML
홈페이지
유형
제니퍼 .NET
닷넷
COM 개체 관련
스크립트
VC++
VS.NET IDE
Windows
Team Foundation Server
디버깅 기술
오류 유형
개발 환경 구성
웹
기타
Linux
Java
DDK
Math
Phone
Graphics
사물인터넷
부모글 보이기/감추기
내용
<div style='display: inline'> <h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>C# - 해석학적 방법을 이용한 최소 자승법</h1> <p> 다음의 글에 보면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 최소자승법 이해와 다양한 활용예 (Least Square Method) ; <a target='tab' href='https://darkpgmr.tistory.com/56'>https://darkpgmr.tistory.com/56</a> </pre> <br /> 최소 자승법(최소 제곱법)의 풀이로 대수적 방법과 해석학적 방법이 있다고 하는데요. <a target='tab' href='http://www.sysnet.pe.kr/2/0/11918'>대수적 방법은 지난번에 설명</a>했으니, 이번엔 해석학적 방법을 알아보겠습니다. (보다 더 자세한 설명은 "<a target='tab' href='https://wikibook.co.kr/math-for-ml/'>기초 수학으로 이해하는 머신러닝 알고리즘</a>" 책을 참고하시고 여기서는 간략하게 넘어가겠습니다.)<br /> <br /> 그러니까, 결국 중요한 것은 데이터를 근사하는 방정식의,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > f<sub>θ</sub>(x) = θ<sub>0</sub> + θ<sub>1</sub>x </pre> <br /> 매개변수 값(θ<sub>0</sub>, θ<sub>1</sub>)을 정하는 것입니다. 이를 위해 데이터와의 오차를 계산하는 목적함수에 대해,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > <script type="math/tex"> E(\theta) = \frac{1}{2} \sum_{i=1}^n (y_i - f_\theta(x_i))^2 </script><br /> </pre> <br /> 각각의 매개변수(θ<sub>0</sub>, θ<sub>1</sub>)로 편미분한 도함수를 다음과 같이 정리할 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > <script type="math/tex"> \frac{\partial \mu}{\partial \theta_0} = \sum_{i=1}^n (f_\theta(x_i) - y_i) </script><br /> <script type="math/tex"> \frac{\partial \mu}{\partial \theta_1} = \sum_{i=1}^n (f_\theta(x_i) - y_i) \times x_i </script><br /> </pre> <br /> 도함수가 정해졌으니, 이제 목적함수의 최솟값을 구하기 위해 경사하강법을 사용할 수 있고,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > C# - 그래프 그리기로 알아보는 경사 하강법의 최소/최댓값 구하기 ; <a target='tab' href='http://www.sysnet.pe.kr/2/0/11923'>http://www.sysnet.pe.kr/2/0/11923</a> </pre> <br /> 따라서 도함수의 부호에 따라 매개변수를 근사하는 식은 다음과 같이 정리가 됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > <script type="math/tex"> \theta_0 := \theta_0 - \eta \times \sum_{i=1}^n (f_\theta(x_i) - y_i) </script><br /> <script type="math/tex"> \theta_1 := \theta_1 - \eta \times \sum_{i=1}^n (f_\theta(x_i) - y_i) \times x_i </script><br /> </pre> <br /> 끝났군요. ^^ 이제 위의 동작을 코드로 잘 옮겨주면 연산이 진행될수록 θ<sub>0</sub>, θ<sub>1</sub> 값들은 근사한 1차 방정식의 모습을 갖추게 될 것입니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 말이 좀 어려운데, 사실 코드로 보면 그다지 어렵지 않습니다. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > using MathNet.Numerics.Random; using Microsoft.ML; using Microsoft.ML.Data; using PLplot; using System; using System.Collections.Generic; using System.Linq; using Microsoft.ML.Data; class Program { static void Main(string[] args) { <a target='tab' href='http://www.sysnet.pe.kr/2/0/11894'>MLContext</a> ctx = new MLContext(); IDataView data = ctx.Data.LoadFromTextFile<ClickData>("click.csv", separatorChar: ',', hasHeader: true); // 표준화 var xyList = ctx.Data.CreateEnumerable<ClickData>(data, false).<a target='tab' href='http://www.sysnet.pe.kr/2/0/11922'>NormalizeZscore</a>(); // 매개변수 초기화 double theta0 = <a target='tab' href='http://www.sysnet.pe.kr/2/0/11917'>SystemRandomSource</a>.Default.NextDouble(); double theta1 = SystemRandomSource.Default.NextDouble(); // 예측 함수 Func<double, double> f = (x) => theta0 + theta1 * x; // 목적 함수 Func<double, double, double> errorFunc = (x, y) => Math.Pow((y - f(x)), 2); Func<IEnumerable<ClickData>, double> E = (list) => 0.5 * list.ForEach((e) => errorFunc(e.X, e.Y)).Sum(); // 학습률 double ETA = 1e-03; // 오차의 차분 double diff = 1.0; // 갱신 횟수 int count = 0; // 오차의 차분이 0.01 이하가 될 때까지 매개변수 갱신을 반복 double error = E(xyList); while (diff > 1e-02) { // 갱신 결과를 임시 변수에 저장 double tmp_theta0 = theta0 - ETA * xyList.ForEach((e) => f(e.X) - e.Y).Sum(); double tmp_theta1 = theta1 - ETA * xyList.ForEach((e) => (f(e.X) - e.Y) * e.X).Sum(); // 매개변수 갱신 theta0 = tmp_theta0; theta1 = tmp_theta1; // 이전 회의 오차와의 차분을 계산 double currentError = E(xyList); diff = error - currentError; error = currentError; // 로그 출력 count++; Console.WriteLine($"{count,4:#} 회째: theta0 = {theta0,8:#.0000}, theta1 = {theta1,8:#.0000}, 차분 = {diff,8:#.0000}"); } // 그래프 출력 double[] xData = xyList.Select((elem) => elem.X).ToArray(); double[] yData = xyList.Select((elem) => elem.Y).ToArray(); <a target='tab' href='http://www.sysnet.pe.kr/2/0/11909'>DrawPlotChart</a>(xData, yData, f); } } /* 출력 결과 1 회째: theta0 = 9.3955, theta1 = 2.6899, 차분 = 76048.3710 2 회째: theta0 = 17.7905, theta1 = 4.5057, 차분 = 73036.8555 3 회째: theta0 = 26.0177, theta1 = 6.2851, 차분 = 70144.5960 ...[생략]... 384 회째: theta0 = 428.9669, theta1 = 93.4392, 차분 = .0145 385 회째: theta0 = 428.9706, theta1 = 93.4400, 차분 = .0139 386 회째: theta0 = 428.9742, theta1 = 93.4407, 차분 = .0133 387 회째: theta0 = 428.9777, theta1 = 93.4415, 차분 = .0128 388 회째: theta0 = 428.9812, theta1 = 93.4422, 차분 = .0123 389 회째: theta0 = 428.9845, theta1 = 93.4430, 차분 = .0118 390 회째: theta0 = 428.9878, theta1 = 93.4437, 차분 = .0113 391 회째: theta0 = 428.9911, theta1 = 93.4444, 차분 = .0109 392 회째: theta0 = 428.9943, theta1 = 93.4451, 차분 = .0105 393 회째: theta0 = 428.9974, theta1 = 93.4458, 차분 = .0101 394 회째: theta0 = 429.0004, theta1 = 93.4464, 차분 = .0097 */ </pre> <br /> 출력된 그래프를 보면 잘 근사한 것을 확인할 수 있습니다.<br /> <br /> <img onclick='toggle_img(this)' class='imgView' alt='lsm_gradient_descent_1.png' src='/SysWebRes/bbs/lsm_gradient_descent_1.png' /><br /> <br /> (<a target='tab' href='https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1465&boardid=331301885'>첨부 파일은 이 글의 예제 코드를 포함</a>합니다.)<br /> <br /> <hr style='width: 50%' /><br /> <br /> 그러니까 위의 소스 코드는 "<a target='tab' href='https://wikibook.co.kr/math-for-ml/'>기초 수학으로 이해하는 머신러닝 알고리즘</a>" 책의 파이썬 코드를,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > math-for-ml / regression1_linear.py ; <a target='tab' href='https://github.com/wikibook/math-for-ml/blob/master/regression1_linear.py'>https://github.com/wikibook/math-for-ml/blob/master/regression1_linear.py</a> </pre> <br /> C# 버전으로 변경했다고 보면 되겠습니다. ^^<br /> </p><br /> <br /><hr /><span style='color: Maroon'>[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]</span> </div>
첨부파일
스팸 방지용 인증 번호
1770
(왼쪽의 숫자를 입력해야 합니다.)