C# - 로지스틱 회귀를 이용한 분류
이번에도,
기초 수학으로 이해하는 머신러닝 알고리즘
; https://wikibook.co.kr/math-for-ml/
지난번의 퍼셉트론 분류에 이어,
C# - 웨이트 벡터 갱신식을 이용한 퍼셉트론 분류
; https://www.sysnet.pe.kr/2/0/11938
책에서 공개한 파이썬 버전의 로지스틱 회귀를,
wikibook/math-for-ml
; https://github.com/wikibook/math-for-ml/blob/master/classification2_logistic_regression.py
C# 버전으로 포팅해 보겠습니다. ^^
우선 예측 함수로서의 시그모이드는,
C#으로 이렇게 정의할 수 있습니다.
Func<Vector<double>, Vector<double>, double> f = (x, t) =>
1 / (1 + Math.Exp(-x * theta));
재미있는 것은 가능도 함수(책에서는 우도 함수)가,
제곱 계산 때문에 0으로 빠르게 수렴하는 문제를 완화하기 위해 대수 우도 함수를 정의하는데,
이것을 미분해 얻은 갱신식이 결국,
웨이트 벡터 갱신식과
최소 자승법의 경우와 유사하다는 점입니다. 정말이지 수학 분야는 너무나 신비롭습니다. ^^
어쨌든 책에서는 위의 미분 함수에서 부호를 밖으로 빼내 다음과 같이 정리해서 사용합니다.
C# 코드로는 이 부분을 다음과 같이 바꿀 수 있습니다.
var fResult = imgList.ForEach((elem) => f(elem.AsVectorX(), theta) - elem.Y).ToVector();
theta = theta - ETA * fResult * X;
암튼, 이렇게 해서
classification2_logistic_regression.py 소스 코드를 C#으로 변환하면 (각종 확장 함수의 도움을 이용해 ^^;) 대충 이렇게 정리할 수 있습니다.
static void Main(string[] args)
{
MLContext ctx = new MLContext();
string inputFileName = "images2.csv";
IDataView data = ctx.Data.LoadFromTextFile<ImageRect>(inputFileName, separatorChar: ',', hasHeader: true);
// 매개변수 초기화
Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(3));
var dataList = ctx.Data.CreateEnumerable<ImageRect>(data, false);
var statInfo = dataList.GetStatisticsInfo();
// 표준화
var imgList = dataList.NormalizeZscore(statInfo);
Matrix<double> X = imgList.ToMatrix();
Console.WriteLine(X);
// 시그모이드 함수
Func<Vector<double>, Vector<double>, double> f = (x, t) =>
1 / (1 + Math.Exp(-x * theta));
// 학습률
double ETA = 1e-3;
// 반복 횟수
int epoch = 5000;
// 갱신 횟수
for (int i = 0; i < epoch; i ++)
{
var fResult = imgList.ForEach((elem) => f(elem.AsVectorX(), theta) - elem.Y).ToVector();
theta = theta - ETA * fResult * X;
// Console.WriteLine(theta);
}
Console.WriteLine($"theta = {theta}");
OutputChart(imgList, theta);
}
그런대로 좀 비슷하죠?!!! ^^;
(
첨부 파일은 이 글의 소스 코드를 포함합니다.)
참고로, 분류 함수의 출력 그래프는 다음과 같고,
지난
퍼셉트론 글에서 분류하지 못했던 "x2의 값이 300 이상인 경우 -1, 미만인 경우 1의 데이터"에 대해서도 다음과 같이 잘 분류를 하는 것을 볼 수 있습니다. ^^
시간 되시면 다음의 글도 읽어보시고. ^^
Sigmoid function (시그모이드 함수)
; https://m.blog.naver.com/2feelus/220363930362
Mathpresso 머신 러닝 스터디 - 3. 오차를 다루는 방법_1
; https://medium.com/qandastudy/mathpresso-%EB%A8%B8%EC%8B%A0-%EB%9F%AC%EB%8B%9D-%EC%8A%A4%ED%84%B0%EB%94%94-3-%EC%98%A4%EC%B0%A8%EB%A5%BC-%EB%8B%A4%EB%A3%A8%EB%8A%94-%EB%B0%A9%EB%B2%95-7d1fb64ea0cf
R을 이용한 회귀분석 (이부일 | 인사이트마이닝)
; https://www.youtube.com/watch?v=fCF1SXix10Y
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]