Microsoft MVP성태의 닷넷 이야기
닷넷: 2353. C# - Foundry Local을 이용한 gpt-oss-20b 모델 사용 [링크 복사], [링크+제목 복사],
조회: 974
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일

(시리즈 글이 6개 있습니다.)
개발 환경 구성: 748. Windows + Foundry Local - 로컬에서 AI 모델 활용
; https://www.sysnet.pe.kr/2/0/13943

닷넷: 2337. C# - Hugging Face에 공개된 LLM 모델을 Foundry Local에서 사용하는 방법
; https://www.sysnet.pe.kr/2/0/13954

닷넷: 2338. C# / Foundry Local - Phi-4-multimodal 모델을 사용하는 방법
; https://www.sysnet.pe.kr/2/0/13957

닷넷: 2339. C# - Phi-4-multimodal 모델의 GPU 가속 방법 (ORT 사용)
; https://www.sysnet.pe.kr/2/0/13958

닷넷: 2348. C# - 카카오 카나나 모델 + Microsoft.ML.OnnxRuntimeGenAI 예제
; https://www.sysnet.pe.kr/2/0/13976

닷넷: 2353. C# - Foundry Local을 이용한 gpt-oss-20b 모델 사용
; https://www.sysnet.pe.kr/2/0/13992




C# - Foundry Local을 이용한 gpt-oss-20b 모델 사용

오호~~~ 최근 OpenAI에서 GPT OSS 20B 모델을 공개했는데요, Hugging Face에도 올라온 상태입니다.

openai/gpt-oss-20b
; https://huggingface.co/openai/gpt-oss-20b/blob/main/config.json

아쉽게도 "GptOssForCausalLM" 구조라 olive를 이용한 ONNX 포맷으로의 전환이 안 되는 유형이었는데, 마이크로소프트에서 발 빠르게 이것을 Foundry Local에 기본 지원 모델로 포함시켰기 때문에,

Available today: gpt-oss-20B Model on Windows with GPU Acceleration – further pushing the boundaries on the edge
; https://blogs.windows.com/windowsdeveloper/2025/08/05/available-today-gpt-oss-20b-model-on-windows-with-gpu-acceleration-further-pushing-the-boundaries-on-the-edge/

지난 글에서 설명한 방법대로 C#에서도 손쉽게 접근할 수 있습니다.

Windows + Foundry Local - 로컬에서 AI 모델 활용
; https://www.sysnet.pe.kr/2/0/13943




그래도 한번 실습을 해볼까요? ^^ 일단 olive 변환은 할 수 없으니, Foundry Local을 이용해 다음과 같이 다운로드할 수 있습니다.

C:\temp> foundry model download gpt-oss-20B
Downloading gpt-oss-20b-cuda-gpu...
[####################################] 100.00 % [Time remaining: about 0s]        36.9 MB/s
Tips:
- To find model cache location use: foundry cache location
- To find models already downloaded use: foundry cache ls

이후 OpenAI 패키지로 Foundry Local과 연동해 이런 식으로 코딩할 수 있습니다.

using OpenAI;
using OpenAI.Chat;
using System.ClientModel;

namespace ConsoleApp1;

internal class Program
{
    // Install-Package OpenAI 
    static void Main(string[] args)
    {
        string ep = "http://localhost:5273/v1";
        string key = "OPENAI_API_KEY";
        string alias = "gpt-oss-20b-cuda-gpu";

        OpenAIClientOptions options = new OpenAIClientOptions();
        options.Endpoint = new Uri(ep);

        ApiKeyCredential akc = new ApiKeyCredential(key);
        ChatClient client = new(alias, akc, options);

        ChatCompletion completion = client.CompleteChat("하늘이 파란 이유는?'");

        foreach (var message in completion.Content)
        {
            Console.WriteLine($"[{message.Kind}]: {message.Text}");
        }
    }
}

/* 실행 결과:

[Text]: <|channel|>analysis<|message|>The user says: "하늘이 파란 이유는?" in Korean, which translates to "The reason why the sky is blue?" The question is likely about the reason behind Rayleigh scattering, color of sky because of scattering of shorter wavelengths of visible light off atmosphere, etc.

We need to respond. The user didn't give any context besides asking. They just say in Korean: "The reason the sky is blue?" So answer: It's due to Rayleigh scattering causing blue light to be scattered more.

We can provide explanation: solar light: white, but Earth's atmosphere scatters more of blue wavelengths, causing blue sky.

So just answer like: "태양빛이 투과하면서 대기 중 분자와 아주 작은 입자에 의해 산란된 파장에서 가장 짧은 파장이 산란이 가장 잘 일어나므로..." or we can keep simple.

We can also mention the "Huygens–Fresnel principle" or "Mie scattering
*/

참고로, 모델 용량이 11GB 정도여서 그런지 초기 로딩 시간이 꽤 걸리는군요. ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




Foundry Local을 통해 다운로드한 모델의 경우 .\Microsoft\gpt-oss-20b-cuda-gpu\v1 디렉터리에 genai_config.json 파일이 함께 있습니다. 아하... 그렇다면 Microsoft.ML.OnnxRuntimeGenAI 패키지를 이용하는 것도 가능하다는 의미일 텐데요,

using Microsoft.ML.OnnxRuntimeGenAI;
using System.Reflection;
using System.Reflection.Emit;

namespace ConsoleApp2;

internal class Program
{
    // Install-Package Microsoft.ML.OnnxRuntimeGenAI.CUDA

    static void Main(string[] args)
    {
        // cuDNN 필요
        string? path = Environment.GetEnvironmentVariable("PATH");
        path += @";C:\Program Files\NVIDIA\CUDNN\v9.10\bin\12.9";
        Environment.SetEnvironmentVariable("PATH", path);

        string modelPath = @"C:\foundry_cache\Microsoft\gpt-oss-20b-cuda-gpu\v1";

        Console.Write("Loading model from " + modelPath + "...");
        using Model model = new(modelPath);
        Console.Write("Done\n");
        using Tokenizer tokenizer = new(model);
        using TokenizerStream tokenizerStream = tokenizer.CreateStream();

        while (true)
        {
            Console.Write("User:");

            string prompt = "<|im_start|>user\n" +
                            Console.ReadLine() +
                            "<|im_end|>\n<|im_start|>assistant\n";
            var sequences = tokenizer.Encode(prompt);

            using GeneratorParams gParams = new GeneratorParams(model);
            gParams.SetSearchOption("max_length", 2400);
            using Generator generator = new(model, gParams);
            generator.AppendTokenSequences(sequences);

            Console.Out.Write("\nAI:");
            while (!generator.IsDone())
            {
                generator.GenerateNextToken();
                var token = generator.GetSequence(0)[^1];
                Console.Out.Write(tokenizerStream.Decode(token));
                Console.Out.Flush();
            }
            Console.WriteLine();
        }
    }
}

아쉽게도 실행해 보면 이런 오류가 발생합니다.

Loading model from C:\foundry_cache\Microsoft\gpt-oss-20b-cuda-gpu\v1...Unhandled exception. Microsoft.ML.OnnxRuntimeGenAI.OnnxRuntimeGenAIException: Load model from E:\foundry_cache\Microsoft\gpt-oss-20b-cuda-gpu\v1\model.onnx failed:This is an invalid model. In Node, ("/model/layers.0/attn/GroupQueryAttention", GroupQueryAttention, "com.microsoft", -1) : ("/model/layers.0/attn/qkv_proj/Add/output_0": tensor(float16),"","","past_key_values.0.key": tensor(float16),"past_key_values.0.value": tensor(float16),"/model/attn_mask_reformat/attn_mask_subgraph/Sub/Cast/output_0": tensor(int32),"/model/attn_mask_reformat/attn_mask_subgraph/Gather/Cast/output_0": tensor(int32),"cos_cache": tensor(float16),"sin_cache": tensor(float16),"","","model.layers.0.attn.sinks": tensor(float16),) -> ("/model/layers.0/attn/GroupQueryAttention/output_0": tensor(float16),"present.0.key": tensor(float16),"present.0.value": tensor(float16),) , Error Node(/model/layers.0/attn/GroupQueryAttention) with schema(com.microsoft::GroupQueryAttention:1) has input size 12 not in range [min=7, max=11].
at Microsoft.ML.OnnxRuntimeGenAI.Model..ctor(String modelPath)
at ConsoleApp2.Program.Main(String[] args)


음... 아마도 Microsoft.ML.OnnxRuntimeGenAI 패키지가 업데이트되기를 기다려야 할 것 같습니다. ^^ (기록을 보니까 불과 5일 전에 0.9.0 업데이트가 되었는데 그 버전이 안 됩니다.)




혹시나 Foundry Local에서 gpt-oss-20B 모델을 찾지 못한다고 나오면?

C:\foundry_cache> foundry model run gpt-oss-20B
Exception: Model gpt-oss-20B not found

지난 버전의 Foundry Local을 사용하고 있는 경우인데요, 최신 버전으로 업데이트하면 됩니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 8/12/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 136  137  138  139  140  141  142  [143]  144  145  146  147  148  149  150  ...
NoWriterDateCnt.TitleFile(s)
1556정성태12/27/201346422개발 환경 구성: 208. IIS + Node.js 환경 구성 [8]
1555정성태12/27/201332996개발 환경 구성: 207. IIS의 80 포트를 공유하는 응용 프로그램 만드는 방법 [1]
1554정성태12/26/201338062Windows: 78. 마음에 드는 윈도우 8.1 태블릿 - 델 베뉴 8 프로 5830 [4]
1553정성태12/26/201325193개발 환경 구성: 206. JNBridgePro와 한글 인코딩 문제파일 다운로드1
1552정성태12/25/201330712개발 환경 구성: 205. JNBridgePro를 이용해 C#에서 Java메서드 호출 테스트파일 다운로드1
1551정성태12/24/201325736.NET Framework: 398. tech-days 미니 토요세미나 - 3회 C#편 PPT 자료파일 다운로드1
1550정성태12/13/201328211Windows: 77. Windows 8 - 잠시 사용을 안하는 경우 화면 잠김 상태로 빠지는 문제
1549정성태12/13/201331588VC++: 73. IIS - ISAPI 필터 제작하는 방법 [2]
1548정성태12/10/201324237오류 유형: 198. C# - 제네릭 covariance/contravariance 사용할 때 컴파일 오류가 발생한다면?
1547정성태12/10/201335303.NET Framework: 397. C# - OCX 컨트롤에 구현된 메서드에 배열을 in, out으로 전달하는 방법파일 다운로드2
1546정성태11/28/201327990.NET Framework: 396. C# - 프로퍼티로 정의하면 필드보다 느릴까요? - windbg / ollydbg [3]
1545정성태11/28/201331890.NET Framework: 395. C# - 프로퍼티로 정의하면 필드보다 느릴까요? [3]
1544정성태11/27/201328608개발 환경 구성: 204. Visual Studio Online "Monaco" 서비스와 github 연동
1543정성태11/27/201332944오류 유형: 197. error MSB8008: Specified platform toolset (v120) is not installed or invalid. [1]
1542정성태11/27/201338652오류 유형: 196. The procedure entry point InitializeCriticalSectionEx could not be located in the dynamic link library KERNEL32.dll
1541정성태11/22/201339962.NET Framework: 394. async/await 사용 시 hang 문제가 발생하는 경우 [7]파일 다운로드1
1540정성태11/20/201328264개발 환경 구성: 203. Azure - WEB SITES 서비스 소개 [4]
1539정성태11/19/201332207VS.NET IDE: 83. 형상 관리 서버 운영을 대신해 주는 Visual Studio 온라인 서비스
1538정성태11/19/201333159오류 유형: 195. 웹 사이트의 모든 정적 컨텐츠 요청에 대해 "Internal Server Error" 응답
1537정성태11/19/201324605오류 유형: 194. 윈도우 서버 백업으로 인해 Hyper-V VM들의 상태가 모두 "Backing up..." 상태로 오래 지속되는 문제
1536정성태11/19/201329326오류 유형: 193. 윈도우 서버 백업 - Hyper-V 가상 머신이 백업되지 않는 경우
1535정성태11/18/201329479.NET Framework: 393. Internet Explorer 11에서 ASP.NET 컨트롤의 크기가 달라지는 문제 [1]
1534정성태11/13/201329826.NET Framework: 392. .NET 스레드 콜 스택 덤프 (6) - MDbg를 이용한 방법 [2]파일 다운로드1
1533정성태11/12/201336796기타: 39. Internet Explorer 11에서 유튜브 동영상의 1080p 옵션이 보이지 않는 경우 [5]
1532정성태11/5/201337923Phone: 8. 안드로이드용 Xamarin 개발 시 겪을 만한 시행 착오 정리 [6]
1531정성태11/5/201329115VS.NET IDE: 82. Visual Studio에서 Attach 메서드를 이용해 디버깅을 시작한 경우 Breakpoint가 안 잡힌다면?
... 136  137  138  139  140  141  142  [143]  144  145  146  147  148  149  150  ...