Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

Microsoft.ML.OnnxRuntimeGenAI 패키지 사용 시 "cublasLt64_12.dll" which is missing. (Error 126: "The specified module could not be found.") 오류

아래의 예제처럼,

C# - 카카오 카나나 모델 + Microsoft.ML.OnnxRuntimeGenAI 예제
; https://www.sysnet.pe.kr/2/0/13976

Microsoft.ML.OnnxRuntimeGenAI 패키지를 사용하는 경우 로컬 머신에 CUDA Toolkit과 cuDNN 라이브러리가 설치돼 있어야 합니다.

CUDA Toolkit Download
; https://developer.nvidia.com/cuda-toolkit

NVIDIA cuDNN
; https://developer.nvidia.com/cudnn

현재(2025-08-09) CUDA Toolkit은 13.0, cuDNNdms 9.12.0 버전이 최신인데요, 여기서 유의할 점은 OnnxRuntimeGenAI 패키지가 지원하는 CUDA 버전은 12.x 버전이라는 점입니다. 그래서 13.0 버전이 설치된 경우에는 이런 오류가 발생합니다.

Loading model from C:\foundry_cache\Microsoft\gpt-oss-20b-cuda-gpu\v1...Unhandled exception. Microsoft.ML.OnnxRuntimeGenAI.OnnxRuntimeGenAIException: D:\a\_work\1\s\onnxruntime\core\session\provider_bridge_ort.cc:1778 onnxruntime::ProviderLibrary::Get [ONNXRuntimeError] : 1 : FAIL : Error loading "c:\temp\builds\ConsoleApp2\AnyCPU\Debug\runtimes\win-x64\native\onnxruntime_providers_cuda.dll" which depends on "cublasLt64_12.dll" which is missing. (Error 126: "The specified module could not be found.")


이유는 알 수 없지만, cublasLt64_12.dll 파일은 12.x 버전에만 있습니다. 어쨌든, 아래의 링크를 방문해 12.x 버전을 다운로드하면 되는데 그 버전대의 마지막인 12.9 버전을 사용할 수 있습니다.

CUDA Toolkit 12.9 Downloads
; https://developer.nvidia.com/cuda-12-9-0-download-archive

CUDA Toolkit Archive
; https://developer.nvidia.com/cuda-toolkit-archive




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 8/13/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 16  17  18  19  20  [21]  22  23  24  25  26  27  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
13497정성태12/22/202314124오류 유형: 885. Visual Studiio - error : Could not connect to the remote system. Please verify your connection settings, and that your machine is on the network and reachable.
13496정성태12/21/202312378Linux: 66. 리눅스 - 실행 중인 프로세스 내부의 환경변수 설정을 구하는 방법 (gdb)
13495정성태12/20/202313168Linux: 65. clang++로 공유 라이브러리의 -static 옵션 빌드가 가능할까요?
13494정성태12/20/202312924Linux: 64. Linux 응용 프로그램의 (C++) so 의존성 줄이기(ReleaseMinDependency) - 두 번째 이야기
13493정성태12/19/202313985닷넷: 2185. C# - object를 QueryString으로 직렬화하는 방법
13492정성태12/19/202312980개발 환경 구성: 699. WSL에 nopCommerce 예제 구성
13491정성태12/19/202311557Linux: 63. 리눅스 - 다중 그룹 또는 사용자를 리소스에 권한 부여
13490정성태12/19/202313205개발 환경 구성: 698. Golang - GLIBC 의존을 없애는 정적 빌드 방법
13489정성태12/19/202312529개발 환경 구성: 697. GoLand에서 ldflags 지정 방법
13488정성태12/18/202311679오류 유형: 884. HTTP 500.0 - 명령행에서 실행한 ASP.NET Core 응용 프로그램을 실행하는 방법
13487정성태12/16/202314226개발 환경 구성: 696. C# - 리눅스용 AOT 빌드를 docker에서 수행 [1]
13486정성태12/15/202311705개발 환경 구성: 695. Nuget config 파일에 값 설정/삭제 방법
13485정성태12/15/202311277오류 유형: 883. dotnet build/restore - error : Root element is missing
13484정성태12/14/202313561개발 환경 구성: 694. Windows 디렉터리 경로를 WSL의 /mnt 포맷으로 구하는 방법
13483정성태12/14/202312660닷넷: 2184. C# - 하나의 resource 파일을 여러 프로그램에서 (AOT 시에도) 사용하는 방법파일 다운로드1
13482정성태12/13/202314931닷넷: 2183. C# - eFriend Expert OCX 예제를 .NET Core/5+ Console App에서 사용하는 방법 [2]파일 다운로드1
13481정성태12/13/202313983개발 환경 구성: 693. msbuild - .NET Core/5+ 프로젝트에서 resgen을 이용한 리소스 파일 생성 방법파일 다운로드1
13480정성태12/12/202316189개발 환경 구성: 692. Windows WSL 2 + Chrome 웹 브라우저 설치
13479정성태12/11/202311842개발 환경 구성: 691. WSL 2 (Ubuntu) + nginx 환경 설정
13477정성태12/8/202312765닷넷: 2182. C# - .NET 7부터 추가된 Int128, UInt128 [1]파일 다운로드1
13476정성태12/8/202313789닷넷: 2181. C# - .NET 8 JsonStringEnumConverter의 AOT를 위한 개선파일 다운로드1
13475정성태12/7/202314743닷넷: 2180. .NET 8 - 함수 포인터에 대한 Reflection 정보 조회파일 다운로드1
13474정성태12/6/202313289개발 환경 구성: 690. 닷넷 코어/5+ 버전의 ilasm/ildasm 실행 파일 구하는 방법 - 두 번째 이야기
13473정성태12/5/202314403닷넷: 2179. C# - 값 형식(Blittable)을 메모리 복사를 이용해 바이트 배열로 직렬화/역직렬화파일 다운로드1
13472정성태12/4/202312637C/C++: 164. Visual C++ - InterlockedCompareExchange128 사용 방법
13471정성태12/4/202312705Copilot - To enable GitHub Copilot, authorize this extension using GitHub's device flow
... 16  17  18  19  20  [21]  22  23  24  25  26  27  28  29  30  ...