Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

C# - 로지스틱 회귀를 이용한 선형분리 불가능 문제의 분류

지난번의 글에서 다룬 소스 코드가,

C# - 로지스틱 회귀를 이용한 분류
; https://www.sysnet.pe.kr/2/0/11955

T * x"의 계산식이 단순한 1차 식을 사용했으므로,

θT * x = θ0 * x0 + θ1 * x1 + θ2 * x2
       = θ0 + θ1 * x1 + θ2 * x2 = 0

선형적인 데이터 분류에만 사용할 수 있었습니다. 하지만, 최소 자승법에 했던 방식과 유사하게,

C# - 다항식을 위한 최소 자승법(Least Squares Method)
; https://www.sysnet.pe.kr/2/0/11921

2차 함수로 확장시켜주면,

θT * x = θ0 * x0 + θ1 * x1 + θ2 * x2 + θ3 * x1 * x1
       = θ0 + θ1 * x1 + θ2 * x2 + θ3 * x1 * x1 = 0

간단하게 선형 분리 불가능 문제도 해결할 수 있습니다.




코드 변경은 딱 2군데만 해주면 됩니다. 우선 θ 값을 하나 더 늘려주고,

// 매개변수 초기화
Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(4));

데이터의 벡터도 역시 늘려주면 끝입니다.

// ImageRect.cs
public Vector<double> AsVectorX()
{
    return Vector<double>.Build.Dense(new double[] { 1.0, X1, X2, X1 * X1 });
}

이렇게 하고 에서 나온 data3.csv에 대해 분류를 하면 다음과 같이 출력되는 것을 확인할 수 있습니다.

logistic_regression_non_linear_1.png

(확장 함수의 도움을 받아 작성한 ^^) 핵심 소스 코드를,

static void Main(string[] args)
{
    MLContext ctx = new MLContext();

    string inputFileName = "data3.csv";
    IDataView data = ctx.Data.LoadFromTextFile<ImageRect>(inputFileName, separatorChar: ',', hasHeader: true);

    // 매개변수 초기화
    Vector<double> theta = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(4));

    var dataList = ctx.Data.CreateEnumerable<ImageRect>(data, false);
    var statInfo = dataList.GetStatisticsInfo();

    // 표준화
    var imgList = dataList.NormalizeZscore(statInfo);
    Matrix<double> X = imgList.ToMatrix();
    Vector<double> train_y = imgList.ToVectorY();

    Console.WriteLine(X);

    // 시그모이드 함수
    Func<Matrix<double>, Vector<double>, Vector<double>> f = (x, t) =>
                    1 / (1 + exp(-x * theta));

    // 학습률
    double ETA = 1e-3;

    // 반복 횟수
    int epoch = 5000;

    // 갱신 횟수
    for (int i = 0; i < epoch * 1; i ++)
    {
        theta = theta - ETA * (f(X, theta) - train_y) * X;
        // Console.WriteLine(theta);
    }

    Console.WriteLine($"theta = {theta}");

    OutputChart(imgList, theta);
}

파이썬과 비교해보는 것도 좋겠지요. ^^

wikibook/math-for-ml
; https://github.com/wikibook/math-for-ml/blob/master/classification2_logistic_regression.py

(첨부 파일은 이 글의 소스 코드를 포함합니다.)





[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]





[최초 등록일: ]
[최종 수정일: 6/27/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  6  7  8  9  10  11  12  [13]  14  15  ...
NoWriterDateCnt.TitleFile(s)
11919정성태5/27/20191535Math: 54. C# - 최소 자승법의 1차 함수에 대한 매개변수를 단순 for 문으로 구하는 방법 [1]파일 다운로드1
11918정성태5/27/20191639Math: 53. C# - 행렬식을 이용한 최소 자승법(LSM: Least Square Method)파일 다운로드1
11917정성태5/24/20191560Math: 52. MathNet을 이용한 간단한 통계 정보 처리 - 분산/표준편차파일 다운로드1
11916정성태5/24/20191102Math: 51. MathNET + OxyPlot을 이용한 간단한 통계 정보 처리 - Histogram파일 다운로드1
11915정성태5/24/20191239Linux: 11. 리눅스의 환경 변수 관련 함수 정리 - putenv, setenv, unsetenv
11914정성태5/24/20191792Linux: 10. 윈도우의 GetTickCount와 리눅스의 clock_gettime파일 다운로드1
11913정성태5/24/20191132.NET Framework: 838. C# - 숫자형 타입의 bit(2진) 문자열, 16진수 문자열 구하는 방법파일 다운로드1
11912정성태5/23/20191140VS.NET IDE: 137. Visual Studio 2019 버전 16.1부터 리눅스 C/C++ 프로젝트에 추가된 WSL 지원
11911정성태5/23/20191228VS.NET IDE: 136. Visual Studio 2019 - 리눅스 C/C++ 프로젝트에 인텔리센스가 동작하지 않는 경우
11910정성태5/24/20192359Math: 50. C# - MathNet.Numerics의 Matrix(행렬) 연산파일 다운로드1
11909정성태5/25/20191657.NET Framework: 837. C# - PLplot 사용 예제 [1]파일 다운로드1
11908정성태5/22/20191107.NET Framework: 836. C# - Python range 함수 구현파일 다운로드1
11907정성태6/4/2019908오류 유형: 541. msbuild - MSB4024 The imported project file "...targets" could not be loaded
11906정성태5/21/2019790.NET Framework: 835. .NET Core/C# - 리눅스 syslog에 로그 남기는 방법
11905정성태5/21/20191067.NET Framework: 834. C# - 폴더 경로 문자열에서 "..", "." 표기를 고려한 최종 문자열을 얻는 방법 - 두 번째 이야기
11904정성태5/21/20192119.NET Framework: 833. C# - Open Hardware Monitor를 이용한 CPU 온도 정보파일 다운로드1
11903정성태5/21/20191242오류 유형: 540. .NET Core - System.PlatformNotSupportedException: The named version of this synchronization primitive is not supported on this platform.
11902정성태5/21/2019828오류 유형: 539. mstest 실행 시 "The directory name is invalid." 오류 발생
11901정성태5/21/20191377오류 유형: 538. msbuild 오류 - Could not find a part of the path '%LOCALAPPDATA%\Temp\2\.NETFramework,Version=v4.0.AssemblyAttributes.cs'
11900정성태3/12/20201302오류 유형: 537. "sfc /scannow" 실행 중 시스템이 부팅되는 현상
11899정성태5/17/20191429Linux: 9. Linux에서 윈도우의 OutputDebugString 대신 사용할 수 있는 syslog [1]
11898정성태5/20/20191445VC++: 130. C++ string의 c_str과 data 함수의 차이점 [3]
11897정성태5/16/20192563오류 유형: 536. Visual Studio - "Developer Pack"을 설치했는데도 "대상 프레임워크" 목록에 나오지 않는 경우 [1]
11896정성태5/15/20191997개발 환경 구성: 440. C#, C++ - double의 Infinity, NaN 표현 방식파일 다운로드1
11895정성태5/12/20191443.NET Framework: 832. ML.NET Model Builder - 회귀(Regression), 다중 분류(Multi-class classification) 예제파일 다운로드1
11894정성태5/12/20191923VS.NET IDE: 135. Visual Studio - ML.NET Model Builder 소개 [1]
1  2  3  4  5  6  7  8  9  10  11  12  [13]  14  15  ...