성태의 닷넷 이야기
홈 주인
모아 놓은 자료
프로그래밍
질문/답변
사용자 관리
사용자
메뉴
아티클
외부 아티클
유용한 코드
온라인 기능
MathJax 입력기
최근 덧글
[정성태] Java - How to use the Foreign Funct...
[정성태] 제가 큰 실수를 했군요. ^^; Delegate를 통한 Bein...
[정성태] Working with Rust Libraries from C#...
[정성태] Detecting blocking calls using asyn...
[정성태] 아쉽게도, 커뮤니티는 아니고 개인 블로그입니다. ^^
[정성태] 질문이 잘 이해가 안 됩니다. 우선, 해당 소스코드에서 ILis...
[양승조
] var대신 dinamic으로 선언해서 해결은 했습니다. 맞는 해...
[양승조
] 또 막혔습니다. ㅠㅠ var list = props[i].Ge...
[양승조
] 아. 감사합니다. 어제는 안됐던것 같은데....정신을 차려야겠네...
[정성태] "props[i].GetValue(props[i])" 코드에서 ...
글쓰기
제목
이름
암호
전자우편
HTML
홈페이지
유형
제니퍼 .NET
닷넷
COM 개체 관련
스크립트
VC++
VS.NET IDE
Windows
Team Foundation Server
디버깅 기술
오류 유형
개발 환경 구성
웹
기타
Linux
Java
DDK
Math
Phone
Graphics
사물인터넷
부모글 보이기/감추기
내용
<div style='display: inline'> <h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>C# - 로지스틱 회귀를 이용한 선형분리 불가능 문제의 분류</h1> <p> 지난번의 글에서 다룬 소스 코드가,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > C# - 로지스틱 회귀를 이용한 분류 ; <a target='tab' href='http://www.sysnet.pe.kr/2/0/11955'>http://www.sysnet.pe.kr/2/0/11955</a> </pre> <br /> "θ<sup>T</sup> * x"의 계산식이 단순한 1차 식을 사용했으므로,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > θ<sup>T</sup> * x = θ<sub>0</sub> * x<sub>0</sub> + θ<sub>1</sub> * x<sub>1</sub> + θ<sub>2</sub> * x<sub>2</sub> = θ<sub>0</sub> + θ<sub>1</sub> * x<sub>1</sub> + θ<sub>2</sub> * x<sub>2</sub> = 0 </pre> <br /> 선형적인 데이터 분류에만 사용할 수 있었습니다. 하지만, 최소 자승법에 했던 방식과 유사하게,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > C# - 다항식을 위한 최소 자승법(Least Squares Method) ; <a target='tab' href='http://www.sysnet.pe.kr/2/0/11921'>http://www.sysnet.pe.kr/2/0/11921</a> </pre> <br /> 2차 함수로 확장시켜주면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > θ<sup>T</sup> * x = θ<sub>0</sub> * x<sub>0</sub> + θ<sub>1</sub> * x<sub>1</sub> + θ<sub>2</sub> * x<sub>2</sub> + <span style='color: blue; font-weight: bold'>θ<sub>3</sub> * x<sub>1</sub> * x<sub>1</sub></span> = θ<sub>0</sub> + θ<sub>1</sub> * x<sub>1</sub> + θ<sub>2</sub> * x<sub>2</sub> + <span style='color: blue; font-weight: bold'>θ<sub>3</sub> * x<sub>1</sub> * x<sub>1</sub></span> = 0 </pre> <br /> 간단하게 선형 분리 불가능 문제도 해결할 수 있습니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 코드 변경은 딱 2군데만 해주면 됩니다. 우선 θ 값을 하나 더 늘려주고,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > // 매개변수 초기화 Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(<span style='color: blue; font-weight: bold'>4</span>)); </pre> <br /> 데이터의 벡터도 역시 늘려주면 끝입니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > // ImageRect.cs public Vector<double> AsVectorX() { return Vector<double>.Build.Dense(new double[] { 1.0, X1, X2, <span style='color: blue; font-weight: bold'>X1 * X1</span> }); } </pre> <br /> 이렇게 하고 <a target='tab' href='https://wikibook.co.kr/math-for-ml/'>책</a>에서 나온 data3.csv에 대해 분류를 하면 다음과 같이 출력되는 것을 확인할 수 있습니다.<br /> <br /> <img onclick='toggle_img(this)' class='imgView' alt='logistic_regression_non_linear_1.png' src='/SysWebRes/bbs/logistic_regression_non_linear_1.png' /><br /> <br /> (확장 함수의 도움을 받아 작성한 ^^) 핵심 소스 코드를,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > static void Main(string[] args) { MLContext ctx = new MLContext(); string inputFileName = "data3.csv"; IDataView data = ctx.Data.LoadFromTextFile<ImageRect>(inputFileName, separatorChar: ',', hasHeader: true); // 매개변수 초기화 Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(4)); var dataList = ctx.Data.CreateEnumerable<ImageRect>(data, false); var statInfo = dataList.GetStatisticsInfo(); // 표준화 var imgList = dataList.NormalizeZscore(statInfo); Matrix<double> X = imgList.ToMatrix(); Vector<double> train_y = imgList.ToVectorY(); Console.WriteLine(X); // 시그모이드 함수 Func<Matrix<double>, Vector<double>, Vector<double>> f = (x, t) => 1 / (1 + exp(-x * theta)); // 학습률 double ETA = 1e-3; // 반복 횟수 int epoch = 5000; // 갱신 횟수 for (int i = 0; i < epoch * 1; i ++) { theta = theta - ETA * (f(X, theta) - train_y) * X; // Console.WriteLine(theta); } Console.WriteLine($"theta = {theta}"); OutputChart(imgList, theta); } </pre> <br /> 파이썬과 비교해보는 것도 좋겠지요. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > wikibook/math-for-ml ; <a target='tab' href='https://github.com/wikibook/math-for-ml/blob/master/classification2_logistic_regression.py'>https://github.com/wikibook/math-for-ml/blob/master/classification2_logistic_regression.py</a> </pre> <br /> (<a target='tab' href='https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1476&boardid=331301885'>첨부 파일은 이 글의 소스 코드를 포함</a>합니다.)<br /> </p><br /> <br /> <br /><hr /><span style='color: Maroon'>[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]</span> </div>
첨부파일
스팸 방지용 인증 번호
6801
(왼쪽의 숫자를 입력해야 합니다.)