Microsoft.ML.OnnxRuntimeGenAI 패키지 사용 시 "cublasLt64_12.dll" which is missing. (Error 126: "The specified module could not be found.") 오류
아래의 예제처럼,
C# - 카카오 카나나 모델 + Microsoft.ML.OnnxRuntimeGenAI 예제
; https://www.sysnet.pe.kr/2/0/13976
Microsoft.ML.OnnxRuntimeGenAI 패키지를 사용하는 경우 로컬 머신에 CUDA Toolkit과 cuDNN 라이브러리가 설치돼 있어야 합니다.
CUDA Toolkit Download
; https://developer.nvidia.com/cuda-toolkit
NVIDIA cuDNN
; https://developer.nvidia.com/cudnn
현재(2025-08-09)
CUDA Toolkit은 13.0, cuDNNdms 9.12.0 버전이 최신인데요, 여기서 유의할 점은 OnnxRuntimeGenAI 패키지가 지원하는 CUDA 버전은 12.x 버전이라는 점입니다. 그래서 13.0 버전이 설치된 경우에는 이런 오류가 발생합니다.
Loading model from C:\foundry_cache\Microsoft\gpt-oss-20b-cuda-gpu\v1...Unhandled exception. Microsoft.ML.OnnxRuntimeGenAI.OnnxRuntimeGenAIException: D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1778 onnxruntime::ProviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : Error loading "c:\temp\builds\ConsoleApp2\AnyCPU\Debug\runtimes\win-x64\native\onnxruntime_providers_cuda.dll" which depends on "cublasLt64_12.dll" which is missing. (Error 126: "The specified module could not be found.")
이유는 알 수 없지만, cublasLt64_12.dll 파일은 12.x 버전에만 있습니다. 어쨌든, 아래의 링크를 방문해 12.x 버전을 다운로드하면 되는데 그 버전대의 마지막인 12.9 버전을 사용할 수 있습니다.
CUDA Toolkit 12.9 Downloads
; https://developer.nvidia.com/cuda-12-9-0-download-archive
CUDA Toolkit Archive
; https://developer.nvidia.com/cuda-toolkit-archive
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]