Microsoft MVP성태의 닷넷 이야기
글쓴 사람
홈페이지
첨부 파일

활성화 함수에 따른 뉴런의 출력을 그리드 맵으로 시각화

다음의 책에 보면,

실체가 손에 잡히는 딥러닝
; http://www.yes24.com/Product/Goods/74258238

뉴런의 가중치와 편향에 대한 시각화를 한 내용이 나옵니다. 그중에서 활성 함수가 sigmoid인 파이썬 소스 코드(\DeepLearning_Examples.zip\Chapter4\4-6_single_neuron.ipynb)가 공개되어 있는데요.

[예제 파일] 실체가 손에 잡히는 딥러닝, 기초부터 실전 프로그래밍
; https://www.onlybook.co.kr/entry/deeplearingexamples?category=738122

import numpy as np
import matplotlib.pyplot as plt

X = np.arange(-1.0, 1.0, 0.2)
Y = np.arange(-1.0, 1.0, 0.2)

Z = np.zeros((10, 10))

w_x = 2.5
w_y = 3.0

bias = 0.1

for i in range(10):
    for j in range(10):
        u = X[i] * w_x + Y[j] * w_y + bias

        y = 1 / (1 + np.exp(-u))
        Z[j][i ] = y

plt.imshow(Z, "gray", vmin = 0.0, vmax = 1.0)
plt.colorbar();
plt.show();

실은 이걸 C#으로도 해보려고 지난번 글을 쓴 것입니다. ^^

C# - PLplot의 16색 이상을 표현하는 방법과 subpage를 이용한 그리드 맵 표현
; https://www.sysnet.pe.kr/2/0/11960

게다가 sigmoid 활성 함수는 전에도 한번 소개한 적이 있는데,

C# - 로지스틱 회귀를 이용한 분류
; https://www.sysnet.pe.kr/2/0/11955

따라서 입력 값 x0와 x1을 받는 뉴런이 있다고 할 때,

perceptron_1.png

각각의 출력값을 그리드 맵으로 출력하는 C# 코드를 다음과 같이 작성할 수 있습니다.

using System;
using System.Linq;

class Program
{
    static void Main(string[] args)
    {
        var X0 = Utils.ARange(-1.0, 1.0, 0.1).ToArray();
        var X1 = Utils.ARange(-1.0, 1.0, 0.1).ToArray();

        double[,] Y = new double[10, 10];

        double w0 = 1.0; // 가중치를 모두 1.0으로 고정 (물론 임의로 설정해서 테스트 가능)
        double w1 = 1.0;

        double bias = 0.1; // 편향을 0.1로 고정 (물론 임의로 설정해서 테스트 가능)

        for (int i = 0; i < 10; i ++)
        {
            for (int j = 0; j < 10; j ++)
            {
                double u = X0[i] * w0 + X1[j] * w1 + bias;
                double y = 1 / (1 + Math.Exp(-u));

                Y[j, i] = y;
            }
        }

        Gridmap grid = new Gridmap();
        grid.Show(Y);
    }
}

sigmoid.png

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




책에서는 나오지 않지만, 기왕 해보는 김에 위의 소스 코드에서 활성화 함수만 바꿔가며 그리드 맵 출력을 할 수 있습니다. 다음은 각각의 결과입니다. (가중치와 편향을 바꿔가면서 테스트하면 더 재미있을 것입니다. ^^)

[계단 함수] == (x) => (x <= 0) ? 0 : 1
stepfunction.png

[tanh] == (x) => Math.Tanh(x)
tanh.png

[ReLU] == (x) => (x <= 0) ? 0 : x
tanh.png

[Leaky ReLU] == (x) => (x <= 0) ? 0.01 * x : x
tanh.png

[항등 함수] == (x) => x
tanh.png

[소프트맥스 함수] == (x) => Math.Exp(x) / sumOfAllExp
tanh.png




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 6/30/2019 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 




1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12069정성태12/19/2019758디버깅 기술: 139. windbg - x64 덤프 분석 시 메서드의 인자 또는 로컬 변수의 값을 확인하는 방법
12068정성태11/28/20191129디버깅 기술: 138. windbg와 Win32 API로 알아보는 Windows Heap 정보 분석 [2]파일 다운로드2
12067정성태11/27/2019743디버깅 기술: 137. 실제 사례를 통해 Debug Diagnostics 도구가 생성한 닷넷 웹 응용 프로그램의 성능 장애 보고서 설명 [1]파일 다운로드1
12066정성태11/27/2019535디버깅 기술: 136. windbg - C# PInvoke 호출 시 마샬링을 담당하는 함수 분석 - OracleCommand.ExecuteReader에서 OpsSql.Prepare2 PInvoke 호출 분석
12065정성태11/25/2019650디버깅 기술: 135. windbg - C# PInvoke 호출 시 마샬링을 담당하는 함수 분석파일 다운로드1
12064정성태11/25/2019901오류 유형: 580. HTTP Error 500.0/500.33 - ANCM In-Process Handler Load Failure
12063정성태11/21/2019685디버깅 기술: 134. windbg - RtlReportCriticalFailure로부터 parameters 정보 찾는 방법
12062정성태12/20/2019559디버깅 기술: 133. windbg - CoTaskMemFree/FreeCoTaskMem에서 발생한 덤프 분석 사례 - 두 번째 이야기
12061정성태11/20/2019625Windows: 165. CoTaskMemAlloc/CoTaskMemFree과 윈도우 Heap의 관계
12060정성태11/21/2019681디버깅 기술: 132. windbg/Visual Studio - HeapFree x64의 동작 분석
12059정성태11/20/2019649디버깅 기술: 131. windbg/Visual Studio - HeapFree x86의 동작 분석
12058정성태11/19/2019636디버깅 기술: 130. windbg - CoTaskMemFree/FreeCoTaskMem에서 발생한 덤프 분석 사례
12057정성태11/18/2019460오류 유형: 579. Visual Studio - Memory 창에서 유효한 주소 영역임에도 "Unable to evaluate the expression." 오류 출력
12056정성태11/18/2019813개발 환경 구성: 464. "Microsoft Visual Studio Installer Projects" 프로젝트로 EXE 서명 및 MSI 파일 서명 방법파일 다운로드1
12055정성태11/17/2019412개발 환경 구성: 463. Visual Studio의 Ctrl + Alt + M, 1 (Memory 1) 등의 단축키가 동작하지 않는 경우
12054정성태11/15/2019850.NET Framework: 869. C# - 일부러 GC Heap을 깨뜨려 GC 수행 시 비정상 종료시키는 예제
12053정성태11/15/2019510Windows: 164. 윈도우 10 - 명령행 창(cmd.exe) 속성에 (DotumChe, GulimChe, GungsuhChe 등의) 한글 폰트가 없는 경우
12052정성태11/15/2019442오류 유형: 578. Azure - 일정(schedule)에 등록한 runbook이 1년 후 실행이 안 되는 문제(Reason - The key used is expired.)
12051정성태12/2/2019962개발 환경 구성: 462. 시작하자마자 비정상 종료하는 프로세스의 메모리 덤프 - procdump [1]
12050정성태11/14/2019660Windows: 163. AcLayers의 API 후킹과 FaultTolerantHeap
12049정성태11/13/2019503.NET Framework: 868. (닷넷 프로세스를 대상으로) 디버거 방식이 아닌 CLR Profiler를 이용해 procdump.exe 기능 구현
12048정성태11/12/2019690Windows: 163. GUID 이름의 볼륨에 해당하는 파티션을 찾는 방법
12047정성태11/12/20191100Windows: 163. 안전하게 eject시킨 USB 장치를 물리적인 재연결 없이 다시 인식시키는 방법
12046정성태11/9/2019612오류 유형: 577. windbg - The call to LoadLibrary(...\sos.dll) failed, Win32 error 0n193
12045정성태10/27/2019512오류 유형: 576. mstest.exe 실행 시 "Visual Studio Enterprise is required to execute the test." 오류 - 두 번째 이야기
12044정성태10/27/2019620오류 유형: 575. mstest.exe - System.Resources.MissingSatelliteAssemblyException: The satellite assembly named "Microsoft.VisualStudio.ProductKeyDialog.resources.dll, ..."
1  2  3  4  5  6  [7]  8  9  10  11  12  13  14  15  ...