Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

활성화 함수에 따른 뉴런의 출력을 그리드 맵으로 시각화

다음의 책에 보면,

실체가 손에 잡히는 딥러닝
; http://www.yes24.com/Product/Goods/74258238

뉴런의 가중치와 편향에 대한 시각화를 한 내용이 나옵니다. 그중에서 활성 함수가 sigmoid인 파이썬 소스 코드(\DeepLearning_Examples.zip\Chapter4\4-6_single_neuron.ipynb)가 공개되어 있는데요.

[예제 파일] 실체가 손에 잡히는 딥러닝, 기초부터 실전 프로그래밍
; https://www.onlybook.co.kr/entry/deeplearingexamples?category=738122

import numpy as np
import matplotlib.pyplot as plt

X = np.arange(-1.0, 1.0, 0.2)
Y = np.arange(-1.0, 1.0, 0.2)

Z = np.zeros((10, 10))

w_x = 2.5
w_y = 3.0

bias = 0.1

for i in range(10):
    for j in range(10):
        u = X[i] * w_x + Y[j] * w_y + bias

        y = 1 / (1 + np.exp(-u))
        Z[j][i ] = y

plt.imshow(Z, "gray", vmin = 0.0, vmax = 1.0)
plt.colorbar();
plt.show();

실은 이걸 C#으로도 해보려고 지난번 글을 쓴 것입니다. ^^

C# - PLplot의 16색 이상을 표현하는 방법과 subpage를 이용한 그리드 맵 표현
; https://www.sysnet.pe.kr/2/0/11960

게다가 sigmoid 활성 함수는 전에도 한번 소개한 적이 있는데,

C# - 로지스틱 회귀를 이용한 분류
; https://www.sysnet.pe.kr/2/0/11955

따라서 입력 값 x0와 x1을 받는 뉴런이 있다고 할 때,

perceptron_1.png

각각의 출력값을 그리드 맵으로 출력하는 C# 코드를 다음과 같이 작성할 수 있습니다.

using System;
using System.Linq;

class Program
{
    static void Main(string[] args)
    {
        var X0 = Utils.ARange(-1.0, 1.0, 0.1).ToArray();
        var X1 = Utils.ARange(-1.0, 1.0, 0.1).ToArray();

        double[,] Y = new double[10, 10];

        double w0 = 1.0; // 가중치를 모두 1.0으로 고정 (물론 임의로 설정해서 테스트 가능)
        double w1 = 1.0;

        double bias = 0.1; // 편향을 0.1로 고정 (물론 임의로 설정해서 테스트 가능)

        for (int i = 0; i < 10; i ++)
        {
            for (int j = 0; j < 10; j ++)
            {
                double u = X0[i] * w0 + X1[j] * w1 + bias;
                double y = 1 / (1 + Math.Exp(-u));

                Y[j, i] = y;
            }
        }

        Gridmap grid = new Gridmap();
        grid.Show(Y);
    }
}

sigmoid.png

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




책에서는 나오지 않지만, 기왕 해보는 김에 위의 소스 코드에서 활성화 함수만 바꿔가며 그리드 맵 출력을 할 수 있습니다. 다음은 각각의 결과입니다. (가중치와 편향을 바꿔가면서 테스트하면 더 재미있을 것입니다. ^^)

[계단 함수] == (x) => (x <= 0) ? 0 : 1
stepfunction.png

[tanh] == (x) => Math.Tanh(x)
tanh.png

[ReLU] == (x) => (x <= 0) ? 0 : x
tanh.png

[Leaky ReLU] == (x) => (x <= 0) ? 0.01 * x : x
tanh.png

[항등 함수] == (x) => x
tanh.png

[소프트맥스 함수] == (x) => Math.Exp(x) / sumOfAllExp
tanh.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 6/30/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  6  7  8  9  10  11  12  13  14  [15]  ...
NoWriterDateCnt.TitleFile(s)
11869정성태5/9/20191184.NET Framework: 816. (번역글) .NET Internals Cookbook Part 2 - GC-related things파일 다운로드1
11868정성태4/15/20191080.NET Framework: 815. CER(Constrained Execution Region)이란?파일 다운로드1
11867정성태4/15/20191114.NET Framework: 814. Critical Finalizer와 SafeHandle의 사용 의미파일 다운로드1
11866정성태4/9/20192268Windows: 159. 네트워크 공유 폴더(net use)에 대한 인증 정보는 언제까지 유효할까요?
11865정성태4/9/20191122오류 유형: 529. 제어판 - C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Administrative Tools is not accessible.
11864정성태4/9/20191262오류 유형: 528. '...' could be '0': this does not adhere to the specification for the function '...'
11863정성태4/9/20191453디버깅 기술: 127. windbg - .NET x64 EXE의 EntryPoint
11862정성태4/7/20191312개발 환경 구성: 437. .NET EXE의 ASLR 기능을 끄는 방법
11861정성태4/6/20191436디버깅 기술: 126. windbg - .NET x86 CLR2/CLR4 EXE의 EntryPoint
11860정성태4/5/20192188오류 유형: 527. Visual C++ 컴파일 오류 - error C2220: warning treated as error - no 'object' file generated
11859정성태4/4/20191656디버깅 기술: 125. WinDbg로 EXE의 EntryPoint에서 BP 거는 방법
11858정성태3/27/20191473VC++: 129. EXE를 LoadLibrary로 로딩해 PE 헤더에 있는 EntryPoint를 직접 호출하는 방법파일 다운로드1
11857정성태3/26/20191614VC++: 128. strncpy 사용 시 주의 사항(Linux / Windows)
11856정성태3/25/20191373VS.NET IDE: 134. 마이크로소프트의 CoreCLR 프로파일러 리눅스 예제를 Visual Studio F5 원격 디버깅하는 방법 [1]파일 다운로드1
11855정성태3/25/20191916개발 환경 구성: 436. 페이스북 HTTPS 인증을 localhost에서 테스트하는 방법
11854정성태3/25/20191022VS.NET IDE: 133. IIS Express로 호스팅하는 사이트를 https로 접근하는 방법
11853정성태3/24/20191359개발 환경 구성: 435. 존재하지 않는 IP 주소에 대한 Dns.GetHostByAddress/gethostbyaddr/GetNameInfoW 실행이 느리다면? - 두 번째 이야기
11852정성태3/20/20191434개발 환경 구성: 434. 존재하지 않는 IP 주소에 대한 Dns.GetHostByAddress/gethostbyaddr/GetNameInfoW 실행이 느리다면?파일 다운로드1
11851정성태3/19/20191693Linux: 8. C# - 리눅스 환경에서 DllImport 대신 라이브러리 동적 로드 처리
11850정성태3/18/20191236.NET Framework: 813. C# async 메서드에서 out/ref/in 유형의 인자를 사용하지 못하는 이유
11849정성태3/18/20191829.NET Framework: 812. pscp.exe 기능을 C#으로 제어하는 방법파일 다운로드1
11848정성태3/17/20191124스크립트: 14. 윈도우 CMD - 파일이 변경된 경우 파일명을 변경해 복사하고 싶다면?
11847정성태3/17/20192021Linux: 7. 리눅스 C/C++ - 공유 라이브러리 동적 로딩 후 export 함수 사용 방법파일 다운로드1
11846정성태3/15/20191766Linux: 6. getenv, setenv가 언어/운영체제마다 호환이 안 되는 문제
11845정성태3/15/20192306Linux: 5. Linux 응용 프로그램의 (C++) so 의존성 줄이기(ReleaseMinDependency) [3]
11844정성태5/22/20192269개발 환경 구성: 434. Visual Studio 2019 - 리눅스 프로젝트를 이용한 공유/실행(so/out) 프로그램 개발 환경 설정 [1]파일 다운로드1
1  2  3  4  5  6  7  8  9  10  11  12  13  14  [15]  ...