Microsoft MVP성태의 닷넷 이야기
Math: 64. C# - 3층 구조의 신경망(분류) [링크 복사], [링크+제목 복사],
조회: 19387
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 6개 있습니다.)
Math: 59. C# - 웨이트 벡터 갱신식을 이용한 퍼셉트론 분류
; https://www.sysnet.pe.kr/2/0/11938

Math: 60. C# - 로지스틱 회귀를 이용한 분류
; https://www.sysnet.pe.kr/2/0/11955

Math: 61. C# - 로지스틱 회귀를 이용한 선형분리 불가능 문제의 분류
; https://www.sysnet.pe.kr/2/0/11962

Math: 62. 활성화 함수에 따른 뉴런의 출력을 그리드 맵으로 시각화
; https://www.sysnet.pe.kr/2/0/11966

Math: 63. C# - 3층 구조의 신경망
; https://www.sysnet.pe.kr/2/0/11969

Math: 64. C# - 3층 구조의 신경망(분류)
; https://www.sysnet.pe.kr/2/0/11981




C# - 3층 구조의 신경망(분류)

지난 글에 이어서,

C# - 3층 구조의 신경망
; https://www.sysnet.pe.kr/2/0/11969

아래의 책에 보면,

실체가 손에 잡히는 딥러닝
; http://www.yes24.com/Product/Goods/74258238

3층 신경망을 이용한 분류 예제를 파이썬 코드로 싣고 있습니다.

# http://nanya-kanya.net/index.php/1232/#outline__1_30

import numpy as np
import matplotlib.pyplot as plt

X = np.arange(-1.0, 1.0, 0.1)
Y = np.arange(-1.0, 1.0, 0.1)

w_im = np.array([[1.0, 2.0],
                [2.0, 3.0]])

w_mo = np.array([[ -1.0, 1.0],
                [1.0, -1.0]])

b_im = np.array([0.3, -0.3])
b_mo = np.array([0.4, 0.1])

def middle_layer(x, w, b):
    u = np.dot(x, w) + b
    return 1 / (1 + np.exp(-u))

def output_layer(x, w, b):
    u = np.dot(x, w) + b
    return np.exp(u) / np.sum(np.exp(u))

x_1 = []
y_1 = []
x_2 = []
y_2 = []

for i in range(20):
    for j in range(20):
        inp = np.array([X[i], Y[j]])
        mid = middle_layer(inp, w_im, b_im)
        out = output_layer(mid, w_mo, b_mo)

        if out[0] > out[1]:
            x_1.append(X[i])
            y_1.append(Y[j])
        else:
            x_2.append(X[i])
            y_2.append(Y[j])

        
plt.scatter(x_1, y_1, marker="+")
plt.scatter(x_2, y_2, marker="o")
plt.show()

역시 C#으로 표현한 후,

using MathNet.Numerics.LinearAlgebra;
using System;
using System.Linq;

using np = PythonUtils;
using vector = MathNet.Numerics.LinearAlgebra.Vector<double>;
using matrix = MathNet.Numerics.LinearAlgebra.Matrix<double>;
using System.Collections.Generic;

class Program
{
    static void Main(string[] args)
    {
        var X = np.arange(-1.0, 1.0, 0.1).ToArray();
        var Y = np.arange(-1.0, 1.0, 0.1).ToArray();

        List<double> x1 = new List<double>();
        List<double> x2 = new List<double>();
        List<double> y1 = new List<double>();
        List<double> y2 = new List<double>();

        matrix w_im = GetMatrix(new[] { 1.0, 2.0 }, new[] { 2.0, 3.0 });
        matrix w_mo = GetMatrix(new[] { -1.0, 1.0 }, new[] { 1.0, -1.0 });

        vector b_im = GetVector(0.3, -0.3);
        vector b_mo = GetVector(0.4, 0.1);

        Func<vector, matrix, vector, vector> middle_layer = (x, w, b) =>
        {
            vector u = x * w + b;
            return 1 / (1 + np.exp(-u)); // sigmoid
        };

        Func<vector, matrix, vector, vector> output_layer = (x, w, b) =>
        {
            vector u = x * w + b;
            return np.exp(u) / np.sum(u); // softmax
        };

        for (int i = 0; i < X.Length; i++)
        {
            for (int j = 0; j < Y.Length; j++)
            {
                var inp = GetVector(X[i], Y[j]);
                var mid = middle_layer(inp, w_im, b_im);
                var outp = output_layer(mid, w_mo, b_mo);

                if (outp[0] > outp[1])
                {
                    x1.Add(X[i]);
                    y1.Add(Y[j]);
                }
                else
                {
                    x2.Add(X[i]);
                    y2.Add(Y[j]);
                }
            }
        }

        OutputImage("layer3_neuron_classification.png");

        void OutputImage(string fileName)
        {
            Gridmap grid = new Gridmap(471, 471);
            grid.Show(x1.ToArray(), y1.ToArray(), x2.ToArray(), y2.ToArray(), fileName);
        }
    }
}

실행해 보면 다음의 분류 상태를 볼 수 있습니다.

layer3_neuron_classification.png

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 7/7/2019]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 106  107  108  109  110  111  [112]  113  114  115  116  117  118  119  120  ...
NoWriterDateCnt.TitleFile(s)
11159정성태3/23/201720508Windows: 136. Memory-mapped File은 Private Bytes 크기에 포함될까요?파일 다운로드1
11158정성태3/22/201719397디버깅 기술: 85. Windbg - SOS 디버깅 사례 System.NullReferenceException 예외 추적
11157정성태3/22/201722710.NET Framework: 648. Dictionary<TKey, TValue>를 deep copy하는 방법파일 다운로드1
11156정성태3/21/201724028.NET Framework: 647. 닷넷(C#) 코드로 인증서 요청 코드 만드는 방법파일 다운로드1
11155정성태3/21/201724314.NET Framework: 646. SslStream의 CipherAlgorithm 선택이 가능할까요?파일 다운로드1
11154정성태3/5/201730615VC++: 109. DLL에서 STL 객체를 인자/반환값으로 갖는 함수를 제공할 때, 그 함수를 외부에서 사용하는 경우 비정상 종료한다면? [2]파일 다운로드1
11153정성태3/5/201730329VC++: 108. DLL에 정의된 C++ template 클래스의 복사 생성자 문제파일 다운로드1
11152정성태3/4/201724371VC++: 107. VirtualAlloc, HeapAlloc, GlobalAlloc, LocalAlloc, malloc, new의 차이점 [1]파일 다운로드1
11151정성태3/3/201724525VC++: 106. DLL 개발자가 주의해야 할 Secure CRT 함수 사용 [1]파일 다운로드1
11150정성태2/21/201720497.NET Framework: 645. Visual Studio Fakes 기능에서 Shim... 클래스가 생성되지 않는 경우 [5]
11149정성태2/21/201724343오류 유형: 378. A 64-bit test cannot run in a 32-bit process. Specify platform as X64 to force test run in X64 mode on X64 machine.
11148정성태2/20/201723447.NET Framework: 644. AppDomain에 대한 단위 테스트 시 알아야 할 사항
11147정성태2/19/201721864오류 유형: 377. Windows 10에서 Fake 어셈블리를 생성하는 경우 빌드 시 The type or namespace name '...' does not exist in the namespace 컴파일 오류 발생
11146정성태2/19/201721150오류 유형: 376. Error VSP1033: The file '...' does not contain a recognized executable image. [2]
11145정성태2/16/201722630.NET Framework: 643. 작업자 프로세스(w3wp.exe)가 재시작되는 시점을 알 수 있는 방법 - 두 번째 이야기 [4]파일 다운로드1
11144정성태2/6/201726041.NET Framework: 642. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (부록 1) - CallingConvention.StdCall, CallingConvention.Cdecl에 상관없이 왜 호출이 잘 될까요?파일 다운로드1
11143정성태2/5/201723606.NET Framework: 641. [Out] 형식의 int * 인자를 가진 함수에 대한 P/Invoke 호출 방법파일 다운로드1
11142정성태2/5/201731480.NET Framework: 640. 닷넷 - 배열 크기의 한계 [2]파일 다운로드1
11141정성태1/31/201725904.NET Framework: 639. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (4) - CLR JIT 컴파일러의 P/Invoke 호출 규약 [1]파일 다운로드1
11140정성태1/27/201721312.NET Framework: 638. RSAParameters와 RSA파일 다운로드1
11139정성태1/22/201724258.NET Framework: 637. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (3) - x64 환경의 __fastcall과 Name mangling [1]파일 다운로드1
11138정성태1/20/201722649VS.NET IDE: 113. 프로젝트 생성 시부터 "Enable the Visual Studio hosting process" 옵션을 끄는 방법 - 두 번째 이야기 [3]
11137정성태1/20/201720781Windows: 135. AD에 참여한 컴퓨터로 RDP 연결 시 배경 화면을 못 바꾸는 정책
11136정성태1/20/201720402오류 유형: 375. Hyper-V 내에 구성한 Active Directory 환경의 시간 구성 방법 - 두 번째 이야기
11135정성태1/20/201721258Windows: 134. Windows Server 2016의 작업 표시줄에 있는 시계가 사라졌다면? [1]
11134정성태1/20/201728839.NET Framework: 636. System.Threading.Timer를 이용해 타이머 작업을 할 때 유의할 점 [5]파일 다운로드1
... 106  107  108  109  110  111  [112]  113  114  115  116  117  118  119  120  ...