Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

Microsoft.ML.OnnxRuntimeGenAI 패키지 사용 시 "cublasLt64_12.dll" which is missing. (Error 126: "The specified module could not be found.") 오류

아래의 예제처럼,

C# - 카카오 카나나 모델 + Microsoft.ML.OnnxRuntimeGenAI 예제
; https://www.sysnet.pe.kr/2/0/13976

Microsoft.ML.OnnxRuntimeGenAI 패키지를 사용하는 경우 로컬 머신에 CUDA Toolkit과 cuDNN 라이브러리가 설치돼 있어야 합니다.

CUDA Toolkit Download
; https://developer.nvidia.com/cuda-toolkit

NVIDIA cuDNN
; https://developer.nvidia.com/cudnn

현재(2025-08-09) CUDA Toolkit은 13.0, cuDNNdms 9.12.0 버전이 최신인데요, 여기서 유의할 점은 OnnxRuntimeGenAI 패키지가 지원하는 CUDA 버전은 12.x 버전이라는 점입니다. 그래서 13.0 버전이 설치된 경우에는 이런 오류가 발생합니다.

Loading model from C:\foundry_cache\Microsoft\gpt-oss-20b-cuda-gpu\v1...Unhandled exception. Microsoft.ML.OnnxRuntimeGenAI.OnnxRuntimeGenAIException: D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1778 onnxruntime::ProviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : Error loading "c:\temp\builds\ConsoleApp2\AnyCPU\Debug\runtimes\win-x64\native\onnxruntime_providers_cuda.dll" which depends on "cublasLt64_12.dll" which is missing. (Error 126: "The specified module could not be found.")


이유는 알 수 없지만, cublasLt64_12.dll 파일은 12.x 버전에만 있습니다. 어쨌든, 아래의 링크를 방문해 12.x 버전을 다운로드하면 되는데 그 버전대의 마지막인 12.9 버전을 사용할 수 있습니다.

CUDA Toolkit 12.9 Downloads
; https://developer.nvidia.com/cuda-12-9-0-download-archive

CUDA Toolkit Archive
; https://developer.nvidia.com/cuda-toolkit-archive




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 8/13/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 16  17  18  19  20  21  22  23  24  25  26  27  28  29  [30]  ...
NoWriterDateCnt.TitleFile(s)
13269정성태2/23/202315343스크립트: 46. 파이썬 - uvicorn의 콘솔 출력을 UDP로 전송
13268정성태2/22/202314823개발 환경 구성: 667. WSL 2 내부에서 열고 있는 UDP 서버를 호스트 측에서 접속하는 방법
13267정성태2/21/202316038.NET Framework: 2097. C# - 비동기 소켓 사용 시 메모리 해제가 finalizer 단계에서 발생하는 사례파일 다운로드1
13266정성태2/20/202314422오류 유형: 848. .NET Core/5+ - Process terminated. Couldn't find a valid ICU package installed on the system
13265정성태2/18/202316357.NET Framework: 2096. .NET Core/5+ - PublishSingleFile 유형에 대한 runtimeconfig.json 설정
13264정성태2/17/202318448스크립트: 45. 파이썬 - uvicorn 사용자 정의 Logger 작성
13263정성태2/16/202314278개발 환경 구성: 666. 최신 버전의 ilasm.exe/ildasm.exe 사용하는 방법
13262정성태2/15/202316404디버깅 기술: 191. dnSpy를 이용한 (소스 코드가 없는) 닷넷 응용 프로그램 디버깅 방법 [1]
13261정성태2/15/202316083Windows: 224. Visual Studio - 영문 폰트가 Fullwidth Latin Character로 바뀌는 문제 [1]
13260정성태2/14/202315841오류 유형: 847. ilasm.exe 컴파일 오류 - error : syntax error at token '-' in ... -inf
13259정성태2/14/202314089.NET Framework: 2095. C# - .NET5부터 도입된 CollectionsMarshal
13258정성태2/13/202316809오류 유형: 846. .NET Framework 4.8 Developer Pack 설치 실패 - 0x81f40001
13257정성태2/13/202316350.NET Framework: 2094. C# - Job에 Process 포함하는 방법 [2]파일 다운로드1
13256정성태2/10/202314437개발 환경 구성: 665. WSL 2의 네트워크 통신 방법 - 두 번째 이야기
13255정성태2/10/202316722오류 유형: 845. gihub - windows2022 이미지에서 .NET Framework 4.5.2 미만의 프로젝트에 대한 빌드 오류
13254정성태2/10/202315906Windows: 223. (WMI 쿼리를 위한) PowerShell 문자열 escape 처리
13253정성태2/9/202315623Windows: 222. C# - 다른 윈도우 프로그램이 실행되었음을 인식하는 방법파일 다운로드1
13252정성태2/9/202313622오류 유형: 844. ssh로 명령어 수행 시 멈춤 현상
13251정성태2/8/202315089스크립트: 44. 파이썬의 3가지 스레드 ID
13250정성태2/8/202315860오류 유형: 843. System.InvalidOperationException - Unable to configure HTTPS endpoint
13249정성태2/7/202317972오류 유형: 842. 리눅스 - You must wait longer to change your password
13248정성태2/7/202312836오류 유형: 841. 리눅스 - [사용자 계정] is not in the sudoers file. This incident will be reported.
13247정성태2/7/202316125VS.NET IDE: 180. Visual Studio - 닷넷 소스 코드 디버깅 중 "Decompile source code"가 동작하는 않는 문제
13246정성태2/6/202316137개발 환경 구성: 664. Hyper-V에 설치한 리눅스 VM의 VHD 크기 늘리는 방법 - 두 번째 이야기
13245정성태2/6/202314967.NET Framework: 2093. C# - PKCS#8 PEM 파일을 이용한 RSA 개인키/공개키 설정 방법파일 다운로드1
13244정성태2/5/202315845VS.NET IDE: 179. Visual Studio - External Tools에 Shell 내장 명령어 등록
... 16  17  18  19  20  21  22  23  24  25  26  27  28  29  [30]  ...