Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

C# - 로지스틱 회귀를 이용한 선형분리 불가능 문제의 분류

지난번의 글에서 다룬 소스 코드가,

C# - 로지스틱 회귀를 이용한 분류
; https://www.sysnet.pe.kr/2/0/11955

T * x"의 계산식이 단순한 1차 식을 사용했으므로,

θT * x = θ0 * x0 + θ1 * x1 + θ2 * x2
       = θ0 + θ1 * x1 + θ2 * x2 = 0

선형적인 데이터 분류에만 사용할 수 있었습니다. 하지만, 최소 자승법에 했던 방식과 유사하게,

C# - 다항식을 위한 최소 자승법(Least Squares Method)
; https://www.sysnet.pe.kr/2/0/11921

2차 함수로 확장시켜주면,

θT * x = θ0 * x0 + θ1 * x1 + θ2 * x2 + θ3 * x1 * x1
       = θ0 + θ1 * x1 + θ2 * x2 + θ3 * x1 * x1 = 0

간단하게 선형 분리 불가능 문제도 해결할 수 있습니다.




코드 변경은 딱 2군데만 해주면 됩니다. 우선 θ 값을 하나 더 늘려주고,

// 매개변수 초기화
Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(4));

데이터의 벡터도 역시 늘려주면 끝입니다.

// ImageRect.cs
public Vector<double> AsVectorX()
{
    return Vector<double>.Build.Dense(new double[] { 1.0, X1, X2, X1 * X1 });
}

이렇게 하고 에서 나온 data3.csv에 대해 분류를 하면 다음과 같이 출력되는 것을 확인할 수 있습니다.

logistic_regression_non_linear_1.png

(확장 함수의 도움을 받아 작성한 ^^) 핵심 소스 코드를,

static void Main(string[] args)
{
    MLContext ctx = new MLContext();

    string inputFileName = "data3.csv";
    IDataView data = ctx.Data.LoadFromTextFile<ImageRect>(inputFileName, separatorChar: ',', hasHeader: true);

    // 매개변수 초기화
    Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(4));

    var dataList = ctx.Data.CreateEnumerable<ImageRect>(data, false);
    var statInfo = dataList.GetStatisticsInfo();

    // 표준화
    var imgList = dataList.NormalizeZscore(statInfo);
    Matrix<double> X = imgList.ToMatrix();
    Vector<double> train_y = imgList.ToVectorY();

    Console.WriteLine(X);

    // 시그모이드 함수
    Func<Matrix<double>, Vector<double>, Vector<double>> f = (x, t) =>
                    1 / (1 + exp(-x * theta));

    // 학습률
    double ETA = 1e-3;

    // 반복 횟수
    int epoch = 5000;

    // 갱신 횟수
    for (int i = 0; i < epoch * 1; i ++)
    {
        theta = theta - ETA * (f(X, theta) - train_y) * X;
        // Console.WriteLine(theta);
    }

    Console.WriteLine($"theta = {theta}");

    OutputChart(imgList, theta);
}

파이썬과 비교해보는 것도 좋겠지요. ^^

wikibook/math-for-ml
; https://github.com/wikibook/math-for-ml/blob/master/classification2_logistic_regression.py

(첨부 파일은 이 글의 소스 코드를 포함합니다.)





[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 6/27/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  6  7  8  9  10  11  12  13  14  [15]  ...
NoWriterDateCnt.TitleFile(s)
11870정성태4/16/20191186.NET Framework: 817. Process.Start로 실행한 콘솔 프로그램의 출력 결과를 얻는 방법파일 다운로드1
11869정성태5/9/20191198.NET Framework: 816. (번역글) .NET Internals Cookbook Part 2 - GC-related things파일 다운로드1
11868정성태4/15/20191089.NET Framework: 815. CER(Constrained Execution Region)이란?파일 다운로드1
11867정성태4/15/20191122.NET Framework: 814. Critical Finalizer와 SafeHandle의 사용 의미파일 다운로드1
11866정성태4/9/20192295Windows: 159. 네트워크 공유 폴더(net use)에 대한 인증 정보는 언제까지 유효할까요?
11865정성태4/9/20191126오류 유형: 529. 제어판 - C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Administrative Tools is not accessible.
11864정성태4/9/20191271오류 유형: 528. '...' could be '0': this does not adhere to the specification for the function '...'
11863정성태4/9/20191462디버깅 기술: 127. windbg - .NET x64 EXE의 EntryPoint
11862정성태4/7/20191320개발 환경 구성: 437. .NET EXE의 ASLR 기능을 끄는 방법
11861정성태4/6/20191443디버깅 기술: 126. windbg - .NET x86 CLR2/CLR4 EXE의 EntryPoint
11860정성태4/5/20192216오류 유형: 527. Visual C++ 컴파일 오류 - error C2220: warning treated as error - no 'object' file generated
11859정성태4/4/20191667디버깅 기술: 125. WinDbg로 EXE의 EntryPoint에서 BP 거는 방법
11858정성태3/27/20191485VC++: 129. EXE를 LoadLibrary로 로딩해 PE 헤더에 있는 EntryPoint를 직접 호출하는 방법파일 다운로드1
11857정성태3/26/20191640VC++: 128. strncpy 사용 시 주의 사항(Linux / Windows)
11856정성태3/25/20191382VS.NET IDE: 134. 마이크로소프트의 CoreCLR 프로파일러 리눅스 예제를 Visual Studio F5 원격 디버깅하는 방법 [1]파일 다운로드1
11855정성태3/25/20191955개발 환경 구성: 436. 페이스북 HTTPS 인증을 localhost에서 테스트하는 방법
11854정성태3/25/20191026VS.NET IDE: 133. IIS Express로 호스팅하는 사이트를 https로 접근하는 방법
11853정성태3/24/20191373개발 환경 구성: 435. 존재하지 않는 IP 주소에 대한 Dns.GetHostByAddress/gethostbyaddr/GetNameInfoW 실행이 느리다면? - 두 번째 이야기
11852정성태3/20/20191445개발 환경 구성: 434. 존재하지 않는 IP 주소에 대한 Dns.GetHostByAddress/gethostbyaddr/GetNameInfoW 실행이 느리다면?파일 다운로드1
11851정성태3/19/20191715Linux: 8. C# - 리눅스 환경에서 DllImport 대신 라이브러리 동적 로드 처리
11850정성태3/18/20191250.NET Framework: 813. C# async 메서드에서 out/ref/in 유형의 인자를 사용하지 못하는 이유
11849정성태3/18/20191858.NET Framework: 812. pscp.exe 기능을 C#으로 제어하는 방법파일 다운로드1
11848정성태3/17/20191145스크립트: 14. 윈도우 CMD - 파일이 변경된 경우 파일명을 변경해 복사하고 싶다면?
11847정성태3/17/20192057Linux: 7. 리눅스 C/C++ - 공유 라이브러리 동적 로딩 후 export 함수 사용 방법파일 다운로드1
11846정성태3/15/20191784Linux: 6. getenv, setenv가 언어/운영체제마다 호환이 안 되는 문제
11845정성태3/15/20192329Linux: 5. Linux 응용 프로그램의 (C++) so 의존성 줄이기(ReleaseMinDependency) [3]
1  2  3  4  5  6  7  8  9  10  11  12  13  14  [15]  ...