Unity - shader 코드 디버깅 방법
우선 디버깅하고 싶은 shader에 다음과 같이 "#pragma enable_d3d11_debug_symbols"를 추가합니다.
Shader "Custom/NewShader" {
Properties {
_MainTex ("Base (RGB)", 2D) = "white" {}
}
SubShader {
Tags { "RenderType"="Opaque" }
LOD 200
CGPROGRAM
#pragma surface surf Lambert
#pragma enable_d3d11_debug_symbols
sampler2D _MainTex;
...[생략]...
ENDCG
}
FallBack "Diffuse"
}
당연히 위의 shader를 사용한 객체가 화면(Scene)에 적어도 하나는 있어야 하고 소스 코드 변경은 이걸로 끝입니다. 이제 빌드를 하면 되는데, shader 코드 디버깅은 DirectX 11 환경으로 설정한 경우에 한해서만 가능하다고 합니다. 따라서 모바일 등의 환경이라면 디버깅을 위해 잠시 DirectX 11의 PC 환경으로 놓고 빌드해야 합니다. 기본값이 DirectX 11이므로 굳이 별도 설정은 필요 없겠지만 다른 걸로 맞춰져 있다면 다음의 글을 참고해 DirectX 11로 변경합니다.
DirectX
; https://docs.unity3d.com/Manual/UsingDX11GL3Features.html
빌드하고 나면, exe 파일이 생성될 텐데 제 테스트 환경에서는 다음의 경로에 실행 파일이 있습니다.
"F:\test\cameraMatrix\output\cameraMatrix.exe"
이제 비주얼 스튜디오를 실행하고, Visual C++ 유형의 빈 프로젝트를 하나 생성합니다. 그다음 프로젝트 속성 창에서 "Debugging" 영역에서 다음과 같이 Command와 Command Arguments를 설정합니다.
Command: F:\test\cameraMatrix\output\cameraMatrix.exe
Command Arguments: -force-d3d11
주의할 것은, Unity에서 빌드한 exe가 x86_64라면 Visual C++의 디버그 실행 환경도 그에 맞게 x64로 해야 합니다. 마지막으로 "Debug" / "Graphics" / "Start Graphics Debugging..." 메뉴로 실행해 디버그 모드로 진입합니다.
디버그로 진입하면서 유니티로 빌드한 cameraMatrix.exe 프로그램이 실행되고 shader 코드가 실행되는 Scene의 시점까지 실행했으면 비주얼 스튜디오에서 다음과 같이 "Capture Frame" 버튼을 눌러 해당 화면의 실행 환경을 capture합니다.
(유의할 것은, "Capture Frame" 버튼을 누른 후 cameraMatrix.exe의 실행 화면을 선택해야 capture가 됩니다. 또는 유니티 실행 화면에서 "Print Screen" 키를 누르면 되는데 일부 화면 캡처 프로그램들이 "Print Screen" 키를 예약하고 있으므로 동작하지 않을 수 있습니다.)
capture를 한번 했으면 다음과 같이 "Frame n"에 해당하는 화면을 캡처한 thumbnail을 보여줍니다.
해당 thumbnail 이미지를 더블 클릭하거나, "Frame n" (위의 이미지에서는 Frame 150) 링크를 클릭하면 "Visual Studio Graphics Analyzer" 창이 뜹니다.
좌측 상단의 윈도우는 "Event List"이고 해당 화면을 그리는 동안 사용된 일련의 호출 함수를 보여줍니다. 그리고 그 함수의 목록을 펼쳐 보면 아래 화면에서 보는 바와 같이 관련 호출들이 보이고 그중에는 우리가 원하는 shader(위의 그림에서는 Unlit/NewUnlitShader)가 호출된 것을 찾을 수 있습니다.
"Visual Studio Graphics Analyzer"의 가장 매력적인 부분은 이제부터입니다. 다음 그림과 같이 capture 순간의 "render target" 화면에서 "Event List"에서 선택한 시점의 호출이 불렸을 때 특정 위치의 점이 그려진 이력을 구할 수 있습니다.
위의 화면은 "(878,395)" 위치의 픽셀이 "Event List"에서 "208: obj:4->DrawIndexed(36,0,0)" 호출이 되는 시점에 불린 Vertex shader와 Pixel Shader의 환경을 보여줍니다. 위에서는 Sphere 안의 빨간 점을 하나 선택한 것인데, 저 점이 왜 빨간색으로 렌더링 되었는지를 우측의 "Pixel History" 화면에서 확인할 수 있는 것입니다. (만약 "Pixel History" 화면이 안 보인다면 "Render Target" 화면에서 우 클릭을 해 "Pixel History" 화면을 불러올 수 있습니다.)
위의 그림을 보면 해당 점이 삼각형 정점 목록 중에서 다음의 삼각형에 속한 것을 확인할 수 있습니다.
Vertex 394
POSITION x = -0.3852368, y = -0.1748779, z=-0.2637085
Vertex 396
POSITION x = -0.4055811, y = -0.0902124, z=-0.2754956
Vertex 395
POSITION x = -0.3469702, y = -0.0880603, z=-0.3469702
그리고 저 정점에 대해 Unlit/NewUnlitShader가 실행되었고, 각각의 정점 정보 및 pixel shader의 우측 빨간색 삼각형 버튼을 누르면 해당 문맥에서의 shader가 실행되는 것을 디버깅할 수 있습니다. 예를 들어, "Vertex 395"에 대해 Unlit/NewUnlitShader의 vertex shader 코드를 디버깅하고 싶다면, Pixel History 창의 "Vertex 395" 라벨 옆에 있는 빨간색 버튼을 누르면 됩니다. 그럼 다음과 같이 hlsl 소스 코드 창이 열리면서 라인 단위로 디버깅을 하면서 변수의 값을 확인할 수 있습니다.
(디버깅하려는 대상 shader의 hlsl 파일을 임시 폴더에 저장한 적이 없는 경우 처음 한 번은 디버깅이 안 됩니다. 일단 hlsl 임시 파일이 저장된 이후부터는 정상적으로 디버깅이 되니 다시 한번 디버깅을 시도하면 됩니다.)
보는 바와 같이 Locals 창이나 Watch 창을 이용해 변수의 값을 확인할 수 있고 우측의 "Compiler Output"을 통해 컴파일된 shader 코드도 볼 수 있습니다.
약간 아쉬운 점이라면 HLSL 코드가 기본적으로 최적화 빌드가 되므로 확인하고 싶은 대부분의 임시 변수들이, 위의 화면에서도 "Watch" 창을 통해 보이는 것처럼 "Invalid expression"이라고 나옵니다. 실제로 "Compiler Output" 창에 보면 많은 변수들이 [Unused]로 처리되어,
// cbuffer UnityPerCameraRare
// {
//
// float4 unity_CameraWorldClipPlanes[6];// Offset: 0 Size: 96
// float4x4 unity_CameraProjection; // Offset: 96 Size: 64 [unused]
// float4x4 unity_CameraInvProjection;// Offset: 160 Size: 64 [unused]
// float4x4 unity_WorldToCamera; // Offset: 224 Size: 64 [unused]
// float4x4 unity_CameraToWorld; // Offset: 288 Size: 64 [unused]
//
디버거 상에서 변숫값을 볼 수 없습니다. "Compiler Output" 창과 함께 제공되는 "Compiler Options"의 목록 중에 "Disable Optimizations"를 "Yes"로 바꾸는 것도 가능합니다. 그걸 바꾸고 다시 빨간색 버튼을 눌러 디버깅을 시작하면 컴파일 된 hlsl 내부의 코드가 더 길어진 것을 볼 수 있지만 그래도 대부분의 변수가 "Invalid expression"으로 처리되어 값이 확인이 안 됩니다.
변숫값을 확인할 수 있는 약간의 팁이라면, 어떻게든 해당 변수가 shader의 유효한 출력값에 관여하도록 코드를 변경하는 것입니다. 가령, 위의 컴파일 코드에서 보면 unity_CameraWorldClipPlanes 항목은 Unused가 아닌 걸로 나오는데, 그 이유는 제가 일부러 다음과 같은 코드를 넣었기 때문입니다.
projectionMatrix[0] = unity_CameraWorldClipPlanes[0];
재미있는 것은, 최적화를 어찌나 잘하는지 이런 경우 디버거 상에서 unity_CameraWorldClipPlanes[0] 값만 확인할 수 있습니다. 그러니까, unity_CameraWorldClipPlanes[1] ~ unity_CameraWorldClipPlanes[5]까지는 전부 "Not used"라고 해서 값이 확인이 안 됩니다. 그 정도로 최적화가 잘 되기 때문에 값을 확인하기 위해 오히려 shader 코드를 일부러 변경해야 하는 경우가 더 많아서 번거롭기까지 할 정도입니다.
한 가지 팁이 더 있는데, "Compiler Output" 창에 보면 다음과 같은 식으로 코드에 사용된 로컬 변수의 값들이 GPU 레지스터로 치환되어 있는 것을 볼 수 있습니다.
#line 122 "C:\...\temp.hlsl"
0: mul r0.xyzw, v0.yyyy, cb2[1].xyzw
1: mad r0.xyzw, cb2[0].xyzw, v0.xxxx, r0.xyzw
2: mad r0.xyzw, cb2[2].xyzw, v0.zzzz, r0.xyzw
3: mad r0.xyzw, cb2[3].xyzw, v0.wwww, r0.xyzw // r0.x <- pos.x; r0.y <- pos.y; r0.z <- pos.z; r0.w <- pos.w
4: mul r1.xyzw, r0.yyyy, cb3[10].xyzw
5: mad r1.xyzw, cb3[9].xyzw, r0.xxxx, r1.xyzw
6: mad r1.xyzw, cb3[11].xyzw, r0.zzzz, r1.xyzw
7: mad r0.xyzw, cb3[12].xyzw, r0.wwww, r1.xyzw
8: mul o0.x, r0.x, cb3[5].x
9: mul o0.y, r0.y, cb3[6].y
10: dp2 o0.z, l(0.001000, 0.300090, 0.000000, 0.000000), r0.zwzz
11: mov o0.w, -r0.z
#line 133
12: mov o1.xyzw, cb1[0].xyzw
13: mov o2.xyzw, cb0[10].zyzw
14: mov o3.x, cb0[11].x
15: mov o3.yzw, l(0,0,0,0)
16: ret
// Approximately 17 instruction slots used
이때 (소스 코드와 함께 잘 비교해가며) 원하는 값을 Watch 창에 넣어서 확인하는 것은 가능합니다. 그러니까, 위의 경우에 r0, v0, cb2[1], ... 등의 값을 watch 창에 입력하면 확인할 수 있는 것입니다.
어쨌든... 이 정도라도 제공해주는 게 어디입니까?!!!! ^^;
유니티 도움말에는 이에 대해 간략하게 사용법이 있고,
Debugging DirectX 11 shaders with Visual Studio
; https://docs.unity3d.com/Manual/SL-DebuggingD3D11ShadersWithVS.html
MSDN 측에서는 아주 자세한 도움말을 제공합니다.
Visual Studio Graphics Diagnostics
; https://docs.microsoft.com/en-us/visualstudio/debugger/graphics/visual-studio-graphics-diagnostics?view=vs-2017
참고로, 도움말에 보면 빌드하지 않아도 unity EXE를 대상으로 비주얼 스튜디오에서 디버거를 걸어도 된다고 합니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]