Microsoft MVP성태의 닷넷 이야기
Math: 63. C# - 3층 구조의 신경망 [링크 복사], [링크+제목 복사],
조회: 11103
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

(시리즈 글이 6개 있습니다.)
Math: 59. C# - 웨이트 벡터 갱신식을 이용한 퍼셉트론 분류
; https://www.sysnet.pe.kr/2/0/11938

Math: 60. C# - 로지스틱 회귀를 이용한 분류
; https://www.sysnet.pe.kr/2/0/11955

Math: 61. C# - 로지스틱 회귀를 이용한 선형분리 불가능 문제의 분류
; https://www.sysnet.pe.kr/2/0/11962

Math: 62. 활성화 함수에 따른 뉴런의 출력을 그리드 맵으로 시각화
; https://www.sysnet.pe.kr/2/0/11966

Math: 63. C# - 3층 구조의 신경망
; https://www.sysnet.pe.kr/2/0/11969

Math: 64. C# - 3층 구조의 신경망(분류)
; https://www.sysnet.pe.kr/2/0/11981




C# - 3층 구조의 신경망

아래의 책에 보면,

실체가 손에 잡히는 딥러닝
; http://www.yes24.com/Product/Goods/74258238

3층 신경만을 표현한 파이썬 용 소스 코드가 나오는데 다음과 같습니다.

# http://nanya-kanya.net/index.php/1232/#outline__1_29

import numpy as np
import matplotlib.pyplot as plt

X = np.arange(-1.0, 1.0, 0.2)
Y = np.arange(-1.0, 1.0, 0.2)

Z = np.zeros((10, 10))

w_im = np.array([[2.0, -2.0],
                 [1.0, 4.0]])
w_mo = np.array([[1.0],
                 [-1.0]])

b_im = np.array([3.0, -3.0])
b_mo = np.array([0.1])

def middle_layer(x, w, b):
    u = np.dot(x, w) + b
    return 1 / (1 + np.exp(-u))

def output_layer(x, w, b):
    u = np.dot(x, w) + b
    return u

for i in range(10):
    for j in range(10):

        inp = np.array([X[i], Y[j]])
        mid = middle_layer(inp, w_im, b_im)
        out = output_layer(mid, w_mo, b_mo)

        Z[j][i] = out[0]
        
plt.imshow(Z, "gray", vmin = 0.0, vmax = 1.0)
plt.colorbar()
plt.show()

C#으로 표현한 후,

using MathNet.Numerics.LinearAlgebra;
using System;
using System.Linq;

using np = PythonUtils;
using vector = MathNet.Numerics.LinearAlgebra.Vector<double>;
using matrix = MathNet.Numerics.LinearAlgebra.Matrix<double>;

class Program
{
    static void Main(string[] args)
    {
        var X0 = np.arange(-1.0, 1.0, 0.2).ToArray();
        var X1 = np.arange(-1.0, 1.0, 0.2).ToArray();

        double[,] Y = new double[X0.Length, X1.Length];

        matrix w_im = GetMatrix(new[] { -4.0, 4.0 }, new[] { -4.0, -4.0 });
        matrix w_mo = GetMatrix(new[] { 1.0 }, new[] { -1.0 });

        vector b_im = GetVector(3.0, -3.0);
        vector b_mo = GetVector(0.1);

        Func<vector, matrix, vector, vector> middle_layer = (x, w, b) =>
        {
            vector u = x * w + b;
            return 1 / (1 + np.exp(-u));
        };

        Func<vector, matrix, vector, vector> output_layer = (x, w, b) =>
        {
            return x * w + b;
        };

        for (int i = 0; i < X0.Length; i++)
        {
            for (int j = 0; j < X1.Length; j++)
            {
                var inp = GetVector(X0[i], X1[j]);
                var mid = middle_layer(inp, w_im, b_im);
                var outp = output_layer(mid, w_mo, b_mo);

                Y[j, i] = outp[0];
            }
        }

        OutputImage("layer3_neuron.png");

        void OutputImage(string fileName)
        {
            Gridmap grid = new Gridmap(371, 371);
            grid.Show(Y, fileName);
        }
    }

    private static Matrix<double> GetMatrix(params double[][] values)
    {
        return CreateMatrix.DenseOfRows(values.Length, values[0].Length, values);
    }

    private static Vector<double> GetVector(params double [] values)
    {
        return CreateVector.DenseOfArray(values);
    }
}

실행해 보면, 좌측의 출력은 matplotlib의 출력이고 우측은 C# 출력입니다.

layer3_neuron.png

제 경우에, 신경망 출력의 값을 단순히 다음과 같이 gray 색으로 보간했는데,

double minX = gridmap.Min();
double maxX = gridmap.Max();

Func<double, double> lerf = (value) =>
{
    return (value - minX) / (maxX - minX);
};

for (int i = 0; i < count; i++)
{
    double h, l, s;
    double r1, g1, b1;

    h = 0;
    l = lerf(gridmap[i]);
    s = 0;

    pl.hlsrgb(h, l, s, out r1, out g1, out b1);
    r[i + 16] = (int)(r1 * 255.0);
    g[i + 16] = (int)(g1 * 255.0);
    b[i + 16] = (int)(b1 * 255.0);
}

matplotlib과 차이가 납니다. 어쩌면 보간 방식의 차이일 수도 있고, HLS to RGB 방식의 차이일 수 있는데 중요한 것은 신경망 출력이 가중치와 편향에 따라 다양해진다는 점이므로 넘어가도 좋겠습니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 7/7/2019]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 46  47  48  49  [50]  51  52  53  54  55  56  57  58  59  60  ...
NoWriterDateCnt.TitleFile(s)
12396정성태11/3/20208383VS.NET IDE: 152. Visual Studio - "Tools" / "External Tools..."에 등록된 외부 명령어에 대한 단축키 설정 방법
12395정성태11/3/20209694오류 유형: 677. SSMS로 DB 접근 시 The server principal "..." is not able to access the database "..." under the current security context.
12394정성태11/3/20208123오류 유형: 676. cacls - The Recycle Bin on ... is corrupted. Do you want to empty the Recycle Bin for this drive?
12393정성태11/3/20208619오류 유형: 675. Visual Studio - 닷넷 응용 프로그램 디버깅 시 Disassembly 창에서 BP 설정할 때 "Error while processing breakpoint." 오류
12392정성태11/2/202012722.NET Framework: 959. C# 9.0 - (9) 레코드(Records) [4]파일 다운로드1
12390정성태11/1/202011009디버깅 기술: 173. windbg - System.Configuration.ConfigurationErrorsException 예외 분석 방법
12389정성태11/1/202010738.NET Framework: 958. C# 9.0 - (8) 정적 익명 함수 (static anonymous functions)파일 다운로드1
12388정성태10/29/202010197오류 유형: 674. 어느 순간부터 닷넷 응용 프로그램 실행 시 System.Configuration.ConfigurationErrorsException 예외가 발생한다면?
12387정성태10/28/202010974.NET Framework: 957. C# - static 필드의 정보가 GC Heap에 저장될까요? [3]파일 다운로드1
12386정성태10/28/202011201Linux: 34. 사용자 정보를 함께 출력하는 리눅스의 ps 명령어 사용 방법
12385정성태10/28/20209037오류 유형: 673. openssl - req: No value provided for Subject Attribute CN, skipped
12384정성태10/27/202010232오류 유형: 672. AllowPartiallyTrustedCallers 특성이 적용된 어셈블리의 struct 멤버 메서드를 재정의하면 System.Security.VerificationException 예외 발생
12383정성태10/27/202011120.NET Framework: 956. C# 9.0 - (7) 패턴 일치 개선 사항(Pattern matching enhancements) [3]파일 다운로드1
12382정성태10/26/20208854오류 유형: 671. dotnet build - The local source '...' doesn't exist
12381정성태10/26/202010509VC++: 137. C++ stl map의 사용자 정의 타입을 key로 사용하는 방법 [1]파일 다운로드1
12380정성태10/26/20207901오류 유형: 670. Visual Studio - Squash_FailureCommitsReset
12379정성태10/21/202010918.NET Framework: 955. .NET 메서드의 Signature 바이트 코드 분석 [1]파일 다운로드2
12378정성태10/15/202010359.NET Framework: 954. C# - x86/x64 환경에 따라 달라지는 P/Invoke 함수의 export 이름파일 다운로드1
12377정성태10/15/202011662디버깅 기술: 172. windbg - 파일 열기 시점에 bp를 걸어 파일명 알아내는 방법(Managed/Unmanaged)
12376정성태10/15/20208374오류 유형: 669. windbg - sos의 name2ee 명령어 실행 시 "Failed to request module list." 오류
12375정성태10/15/20209739Windows: 177. 윈도우 탐색기에서 띄우는 cmd.exe 창의 디렉터리 구분 문자가 'Yen(&#0165;)' 기호로 나오는 경우 [1]
12374정성태10/14/202014360.NET Framework: 953. C# 9.0 - (6) 함수 포인터(Function pointers) [1]파일 다운로드2
12373정성태10/14/20209602.NET Framework: 952. OpCodes.Box와 관련해 IL 형식으로 직접 코딩 시 유의할 점
12372정성태10/13/202011485.NET Framework: 951. C# 9.0 - (5) 로컬 함수에 특성 지정 가능(Attributes on local functions)파일 다운로드1
12371정성태10/13/202010265개발 환경 구성: 519. Visual Studio의 Ctrl+Shift+U (Edit.MakeUppercase) 단축키가 동작하지 않는 경우
12370정성태10/13/202011170Linux: 33. Linux - nmcli를 이용한 고정 IP 설정
... 46  47  48  49  [50]  51  52  53  54  55  56  57  58  59  60  ...