Microsoft MVP성태의 닷넷 이야기
Math: 59. C# - 웨이트 벡터 갱신식을 이용한 퍼셉트론 분류 [링크 복사], [링크+제목 복사]
조회: 1236
글쓴 사람
홈페이지
첨부 파일

C# - 웨이트 벡터 갱신식을 이용한 퍼셉트론 분류

아래의 책에 보면,

기초 수학으로 이해하는 머신러닝 알고리즘
; https://wikibook.co.kr/math-for-ml/

간단한 선형 분류를 하는 용도의 Perceptron을 설명하는데, 웨이트 벡터 갱신식을 이용해 풀어가는 과정을 그림과 함께 잘 설명해 주고 있어 직관적인 이해를 할 수 있습니다. 이와 함께 그 구현 코드를 다음의 파이썬으로 공개하고 있는데,

math-for-ml / classification1_perceptron.py 
; https://github.com/wikibook/math-for-ml/blob/master/classification1_perceptron.py

그럼, C#으로 번역해볼까요? ^^




우선 파이썬 예제에 나온 images1.csv 파일을,

x1,x2,y
153,432,-1
220,262,-1
118,214,-1
474,384,1
485,411,1
233,430,-1
396,321,1
484,349,1
429,259,1
286,220,1
399,433,-1
403,300,1
252,34,1
497,372,1
379,416,-1
76,163,-1
263,112,1
26,193,-1
61,473,-1
420,253,1

시각화하면 다음과 같이 2개의 부류로 나뉘고,

perceptron_2.png

label에 해당하는 y 칼럼의 값이 1인 경우 속이 빈 사각형으로, -1인 경우에는 속이 찬 사각형으로 보입니다. 일단 여기까지만 C# 코드로 작성하면 다음과 같습니다.

static void Main(string[] args)
{
    MLContext ctx = new MLContext();

    IDataView data = ctx.Data.LoadFromTextFile<ImageRect>("images1.csv", separatorChar: ',', hasHeader: true);
    var imgList = ctx.Data.CreateEnumerable<ImageRect>(data, false);

    (double x0Min, double x0Max, double x1Min, double x1Max) = imgList.MinMax();

    DrawPlotChart(x0Min - 10, x0Max + 10, x1Min - 10, x1Max + 10, (pl) =>
    {
        pl.lab("x0", "x1", "ImageRect");
        pl.col0(PLplot.Color.Blue);

        foreach (var item in imgList)
        {
            pl.poin(item, (item.Y == 1) ? Symbol.Box : Symbol.FilledBox);
        }
    });
}

private static void DrawPlotChart(double x0Min, double x0Max, double x1Min, double x1Max, Action<PLStream> drawFunc)
{
    string chartFileName = "imagerect.svg";

    using (var pl = new PLStream())
    {
        pl.sdev("svg");
        pl.sfnam(chartFileName);
        pl.spal0("cmap0_alternate.pal");
        pl.init();

        pl.env(x0Min, x0Max, x1Min, x1Max, AxesScale.Independent, AxisBox.BoxTicksLabelsAxes);

        pl.spal0("");
        drawFunc(pl);

        pl.eop();
        pl.gver(out var verText);
    }
}

이것을 분류하기 위해 퍼셉트론을 사용할 텐데요. 간단하게 퍼셉트론의 연산을 정리해 보면 그 특성이,

perceptron_1.png

벡터의 내적과 같습니다. 실제로 입력값 x와 가중치 w의 연산 과정이,

fw(x) = (w0 * x0) + (w1 * x1) + (w2 * x2)
      = w * x

w, x를 벡터로 본 내적 연산과 동일합니다. 그런데 내적 연산이 어떻게 분류의 기능을 할 수 있는지에 대해서는 에서 그림과 함께 친절하게, 어렵지 않게 설명하고 있으니 참고를 하시고 여기서는 C# 코드로의 계산 과정을 보겠습니다.




자, 그럼 분류를 하기 위한 (활성함수라고도 불리는) 식별 함수를 다음과 같이 코드로 표현할 수 있고,


// C# Func<Vector<double>, Vector<double>, int> f = (w, x) => w * x >= 0 ? 1 : -1;

가중치 w 벡터를 images1.csv 파일의 입력값과 label에 따라 학습시키는 갱신식도 코드로 표현한 다음,


// C# Func<Vector<double>, Vector<double>, double, Vector<double>> updateF = (w, x, y) => f(w, x) != y ? w + (y * x) : w;

다음과 같이 5회 반복과 그 출력 결과를 확인할 수 있습니다.

Func<Vector<double>, Vector<double>, int> f = (w, x) => w * x >= 0 ? 1 : -1;
Func<Vector<double>, Vector<double>, double, Vector<double>> updateF = (w, x, y) => f(w, x) != y ? w + (y * x) : w;

Vector<double> weight = Vector<double>.Build.Dense(SystemRandomSource.Default.NextDoubles(2));

Console.WriteLine($"[{0,2:#0}]: w = {weight[0]},{weight[1]}");

for (int i = 0; i < 5; i ++)
{
    foreach (var item in imgList)
    {
        Vector<double> x = item.AsVectorX();
        weight = updateF(weight, x, item.Y);
    }

    Console.WriteLine($"[{i + 1,2:#0}]: w = {weight[0]},{weight[1]}");
}

[ 0]: w = 0.285028267318862,0.885289029630501
[ 1]: w = 372.285028267319,-593.11471097037
[ 2]: w = 613.285028267319,-639.11471097037
[ 3]: w = 613.285028267319,-639.11471097037
[ 4]: w = 613.285028267319,-639.11471097037
[ 5]: w = 613.285028267319,-639.11471097037

5회까지 갈 것도 없이 사실상 2회부터 값의 변동이 없습니다. Weight 벡터가 정해졌으니 이제 그것의 법선을 직선으로 표시해 보면,

IEnumerable<double> x1 = Utils.RangeInclusive(0.0, x0Max, 1.0);
IEnumerable<double> x2 = x1.ForEach((elem) => (-weight[0] / weight[1]) * elem);

DrawPlotChart(x0Min - 10, x0Max + 10, x1Min - 10, x1Max + 10, (pl) =>
{
    // ...[생략]...

    pl.lsty(LineStyle.ShortDashesShortGaps);
    pl.line(x1.ToArray(), x2.ToArray());
});

잘 동작했음을 확인할 수 있습니다.

perceptron_3.png




그런데 웹 검색을 해보면 책에서 사용한 갱신식과,



약간 다른 것을 볼 수 있습니다.

wi = wi + η(y - fw(xi)) * xi

하지만 자세히 보면 위의 2개 식은 같습니다. 실제로 label에 해당하는 y 값과 그것의 활성함수가 1과 -1을 반환한다는 점으로 인해 책에서 2개의 경우로 나눈 갱신식을 하나로 합칠 수 있기 때문입니다. 즉, y == f(x)가 같은 경우라면 어차피 y - f(x)는 0이 된다는 점과, 다른 경우라면 y - f(x)가 2 또는 -2가 되기 때문에 책의 갱신식을 다음과 같이 하나로 합칠 수 있습니다.

wi = wi + 0.5 * (y - fw(xi)) * xi

따라서 C# 코드도 기존의 updateF 함수를 다음과 같이 고쳐 쓸 수 있습니다.

// 기존
Func<Vector<double>, Vector<double>, double, Vector<double>> updateF = (w, x, y) =>
                                             (f(w, x) != y) ? w + (y * x) : w;

// 신규
Func<Vector<double>, Vector<double>, double, Vector<double>> updateF = (w, x, y) =>
                                             w + 0.5 * (y - f(w, x)) * x;

여기서 지난 글에 설명한 최소 자승법의 갱신식을 떠 올려보면,

C# - 해석학적 방법을 이용한 최소 자승법
; https://www.sysnet.pe.kr/2/0/11924



위의 갱신식을 "확률 경사 하강법"으로 바꾸고,



마이너스 부호를 식 안으로 넣어 정리해 주면,



웨이트 벡터 갱신식과 구조가 같아집니다. 재미있는 점은, 최소 자승법의 경우 목적함수가 연속이므로 미분한 결과로 나온 수식이었던 반면, 웨이트 벡터 갱신식의 경우에는 활성 함수가 연속적이지 않아 미분으로 나온 것은 아니라는 점입니다. 즉, 활성함수를 설계한 수학자가 label의 값을 -1과 1로 맞춰줌으로써 (아마도 의도했겠지만) 여타 다른 갱신식과 유사한 수식으로 나타낼 수 있게 된 것입니다.




웹 검색을 해보면,

[3편] 파이썬으로 단순 인공신경망인 퍼셉트론 구현하기
; http://sams.epaiai.com/220951769938

퍼셉트론으로 AND, OR 연산을 학습시키는 것이 나옵니다. 그런데 (에서 참고한) 우리가 만든 C# 코드로는 AND, OR 학습이 안 됩니다. 예를 들어 AND 데이터로,

x1,x2,y
0,0,-1
0,1,-1
1,0,-1
1,1,1

weight를 학습시킨,

[ 0]: w = 0.488790991012375, 0.944808860749383, 0.633428586010555
[ 1]: w = -0.511209008987625, 1.94480886074938, 0.633428586010555
[ 2]: w = -1.51120900898762, 1.94480886074938, 0.633428586010555
[ 3]: w = -1.51120900898762, 1.94480886074938, 1.63342858601056
[ 4]: w = -2.51120900898762, 1.94480886074938, 0.633428586010555
...
...

가중치를 확인해 보면 다음과 같이 잘못된 결과를 보게 됩니다.

Console.WriteLine(f(AsVector(0, 0), weight)); // -1 (0 AND 0)
Console.WriteLine(f(AsVector(0, 1), weight)); // 1  (0 AND 1)
Console.WriteLine(f(AsVector(1, 0), weight)); // 1  (1 AND 0)
Console.WriteLine(f(AsVector(1, 1), weight)); // 1  (1 AND 1)

"[3편] 파이썬으로 단순 인공신경망인 퍼셉트론 구현하기" 글을 보면 bias 값이 하나 더 추가되는 것을 볼 수 있는데요. 따라서 우리도 그에 대한 보정을 해주면 정상적으로 출력이 나옵니다.

-1
-1
-1
1

다음은 이것을 반영한 최종 소스 코드입니다.

static void Main(string[] args)
{
    MLContext ctx = new MLContext();

    IDataView data = ctx.Data.LoadFromTextFile<ImageRect>("bit_and.csv", separatorChar: ',', hasHeader: true);
    var imgList = ctx.Data.CreateEnumerable<ImageRect>(data, false);

    Func<Vector<double>, Vector<double>, int> f = (w, x) => ((w * x) > 0) ? 1 : -1;
    Func<Vector<double>, Vector<double>, double, Vector<double>> updateF = (w, x, y) => w + 0.5 * (y - f(w, x)) * x;

    Vector<double> weight = AsVector(SystemRandomSource.Default.NextDoubles(3));

    OutputWeights(0, weight);

    bool addBias = true;

    for (int i = 1; i < 10; i ++)
    {
        foreach (var item in imgList)
        {
            Vector<double> x = item.AsVectorX(addBias);
            weight = updateF(weight, x, item.Y);
        }

        OutputWeights(i, weight);
    }
}

/*
public class ImageRect
{
    // ...[생략]...

    public Vector AsVectorX(bool addBias)
    {
        return Vector.Build.Dense(new double[] { (addBias) ? 1.0 : 0.0, X0, X1 });
    }
}
*/

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




bias를 넣었음에도, 그리고 여전히 선형적인 문제임에도 정상적인 weight 벡터가 구해지지 않는 경우가 있습니다. 가령 다음의 데이터는 x2의 값이 300 이상인 경우 -1, 미만인 경우 1의 데이터입니다.

x1,x2,y
153,432,-1
220,262,-1
118,214,-1
474,384,1
485,411,1
233,430,-1
396,321,1
484,349,1
429,259,1
286,220,-1
399,433,1
403,300,1
252,34,-1
497,372,1
379,416,1
76,163,-1
263,112,-1
26,193,-1
61,473,-1
420,253,1

perceptron_4.png

다음과 같이 10회를 학습시켜도 가중치 벡터가 수렴하지 않으며,

[ 0]: w = 0.518085081371518, 0.788236180687433, 0.914021219552504
[ 1]: w = -1.48191491862848, 426.788236180687, 0.914021219552524
[ 2]: w = -3.48191491862848, 532.788236180687, -157.085978780447
[ 3]: w = -6.48191491862848, 521.788236180687, -315.085978780447
[ 4]: w = -9.48191491862848, 443.788236180687, -303.085978780447
[ 5]: w = -12.4819149186285, 480.788236180687, -447.085978780447
[ 6]: w = -13.4819149186285, 498.788236180687, -127.085978780447
[ 7]: w = -16.4819149186285, 487.788236180687, -285.085978780447
[ 8]: w = -19.4819149186285, 409.788236180687, -273.085978780447
[ 9]: w = -22.4819149186285, 446.788236180687, -417.085978780447

x2의 값이 300 이상/미만으로 테스트를 해보면,

Console.WriteLine(f(AsVector(addBias, 100, 250), weight)); // -1 (250이므로 1이어야 함)
Console.WriteLine(f(AsVector(addBias, 200, 350), weight)); // -1
Console.WriteLine(f(AsVector(addBias, 300, 450), weight)); // -1
Console.WriteLine(f(AsVector(addBias, 400, 100), weight)); // 1

잘못된 값이 나오는 것을 볼 수 있습니다. 이 외에도 잘 아시겠지만 XOR 같은 비선형 문제는 당연히 단일 퍼셉트론으로는 학습시킬 수 없습니다.




참고로, "[3편] 파이썬으로 단순 인공신경망인 퍼셉트론 구현하기" 글에 실린 파이썬 코드에 대해,

import numpy as np

class Perceptron():
    def __init__(self, thresholds = 0.0, eta = 0.01, n_iter = 10):
        self.thresholds = thresholds
        self.eta = eta
        self.n_iter = n_iter

    def fit(self, X, y):
        self.w_ = np.zeros(1 + X.shape[1])
        self.errors_ = []

        for _ in range(self.n_iter):
            errors = 0
            for xi, target in zip(X, y):
                update = self.eta * (target - self.predict(xi))
                self.w_[1:] += update * xi
                self.w_[0] += update
                errors += int(update != 0.0)
            self.errors_.append(errors)
            print(self.w_)
        
        return self

    def net_input(self, X):
        return np.dot(X, self.w_[1:]) + self.w_[0]

    def predict(self, X):
        return np.where(self.net_input(X) > self.thresholds, 1, -1)

if __name__ == '__main__':
    train = np.loadtxt('./data/image300hor.csv', delimiter = ',', skiprows = 1)

    X = train[:,0:2]
    y = train[:,2]

    ppn = Perceptron(eta = 0.1)
    ppn.fit(X, y)
    print(ppn.errors_)

    X = np.array([[0, 250], [0, 350], [1, 450], [1, 100]])
    y = np.array([-1, -1, -1, 1])
    print(ppn.predict(X))

우리가 만든 C# 코드를 동일하게 출력을 맞춰주고 싶다면 다음의 인자들을 조정해야 합니다.

Func<Vector<double>, Vector<double>, int> f = (w, x) => ((w * x) > 0) ? 1 : -1;

Func<Vector<double>, Vector<double>, double, Vector<double>> updateF = (w, x, y) => w + 0.1 * (y - f(w, x)) * x;

Vector weight = AsVector(0.0, 0.0, 0.0);




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 6/13/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12222정성태6/3/202024VS.NET IDE: 146. error information: "CryptQueryObject" (-2147024893/0x80070003)
12221정성태6/3/202044Windows: 168. 비어 있지 않은 디렉터리로 symbolic link(junction) 연결하는 방법
12220정성태6/3/202045.NET Framework: 907. C# DLL로부터 TLB 및 C/C++ 헤더 파일(TLH)을 생성하는 방법
12219정성태6/1/2020124.NET Framework: 906. C# - lock (this), lock (typeof(...))를 사용하면 안 되는 이유파일 다운로드1
12218정성태5/31/202078.NET Framework: 905. C# - DirectX 게임 클라이언트 실행 중 키보드 입력을 감지하는 방법
12217정성태5/24/202038오류 유형: 615. Transaction count after EXECUTE indicates a mismatching number of BEGIN and COMMIT statements. Previous count = 0, current count = 1.
12216정성태5/15/2020134.NET Framework: 904. USB/IP PROJECT를 이용해 C#으로 USB Keyboard 가상 장치 만들기
12215정성태5/12/2020152개발 환경 구성: 490. C# - (Wireshark의) USBPcap을 이용한 USB 패킷 모니터링파일 다운로드1
12214정성태5/5/2020120개발 환경 구성: 489. 정식 인증서가 있는 경우 Device Driver 서명하는 방법 (2) - UEFI/SecureBoot
12213정성태5/3/2020216개발 환경 구성: 488. (코드로 가상 USB 장치를 만들 수 있는) USB/IP PROJECT 소개
12212정성태5/1/2020111개발 환경 구성: 487. UEFI / Secure Boot 상태인지 확인하는 방법
12211정성태4/27/2020215개발 환경 구성: 486. WSL에서 Makefile로 공개된 리눅스 환경의 C/C++ 소스 코드 빌드
12210정성태4/20/2020316.NET Framework: 903. .NET Framework의 Strong-named 어셈블리 바인딩 (1) - app.config을 이용한 바인딩 리디렉션 [1]파일 다운로드1
12209정성태4/13/2020176오류 유형: 614. 리눅스 환경에서 C/C++ 프로그램이 Segmentation fault 에러가 발생한 경우 (2)
12208정성태4/12/2020213Linux: 29. 리눅스 환경에서 C/C++ 프로그램이 Segmentation fault 에러가 발생한 경우
12207정성태4/2/2020203스크립트: 19. Windows PowerShell의 NonInteractive 모드
12206정성태4/2/2020279오류 유형: 613. 파일 잠금이 바로 안 풀린다면? - The process cannot access the file '...' because it is being used by another process.
12205정성태4/2/2020182스크립트: 18. Powershell에서는 cmd.exe의 명령어를 지원하진 않습니다.
12204정성태4/1/2020174스크립트: 17. Powershell 명령어에 ';' (semi-colon) 문자가 포함된 경우
12203정성태3/18/2020369오류 유형: 612. warning: 'C:\ProgramData/Git/config' has a dubious owner: '...'.
12202정성태3/18/2020401개발 환경 구성: 486. .NET Framework 프로젝트를 위한 GitLab CI/CD Runner 구성
12201정성태3/18/2020201오류 유형: 611. git-credential-manager.exe: Using credentials for username "Personal Access Token".
12200정성태3/18/2020497VS.NET IDE: 145. NuGet + Github 라이브러리 디버깅 관련 옵션 3가지 - "Enable Just My Code" / "Enable Source Link support" / "Suppress JIT optimization on module load (Managed only)"
12199정성태3/17/2020194오류 유형: 610. C# - CodeDomProvider 사용 시 Unhandled Exception: System.IO.DirectoryNotFoundException: Could not find a part of the path '...\f2_6uod0.tmp'.
12198정성태3/17/2020207오류 유형: 609. SQL 서버 접속 시 "Cannot open user default database. Login failed."
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...