Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)
(시리즈 글이 8개 있습니다.)
.NET Framework: 2117. C# - (OpenAI 기반의) Microsoft Semantic Kernel을 이용한 자연어 처리
; https://www.sysnet.pe.kr/2/0/13345

.NET Framework: 2118. C# - Semantic Kernel의 Prompt chaining 예제
; https://www.sysnet.pe.kr/2/0/13347

.NET Framework: 2119. C# - Semantic Kernel의 "Basic Loading of the Kernel" 예제
; https://www.sysnet.pe.kr/2/0/13348

.NET Framework: 2120. C# - Semantic Kernel의 Skill과 Function 사용 예제
; https://www.sysnet.pe.kr/2/0/13349

.NET Framework: 2121. C# - Semantic Kernel의 대화 문맥 유지
; https://www.sysnet.pe.kr/2/0/13352

.NET Framework: 2123. C# - Semantic Kernel의 ChatGPT 대화 구현
; https://www.sysnet.pe.kr/2/0/13355

.NET Framework: 2124. C# - Semantic Kernel의 Planner 사용 예제
; https://www.sysnet.pe.kr/2/0/13357

.NET Framework: 2125. C# - Semantic Kernel의 Semantic Memory 사용 예제
; https://www.sysnet.pe.kr/2/0/13358




C# - (OpenAI 기반의) Microsoft Semantic Kernel을 이용한 자연어 처리

지인으로부터 Semantic Kernel에 대한 소식을 들었습니다. C# 언어를 처음부터 제공한다고 하시면서, 저에게 호기심을 불러일으켰는데요, ChatGPT에게 물어보니 이런 대답을 해줍니다. ^^

Q: Semantic Kernel이 뭐지?

A: Semantic Kernel은 자연어 처리에서 사용되는 텍스트 분석 기술 중 하나입니다. 텍스트에서 핵심 단어 및 문장을 추출하는 데 사용됩니다.

보통 텍스트 분석을 할 때, 우리는 각 단어가 문맥 안에서 어떤 의미를 가지는지 이해하려고 노력합니다. Semantic Kernel은 이러한 작업을 수행하는 도구 중 하나로, 문맥에서 중요한 역할을 하는 단어를 식별하고, 그 단어들 간의 관계를 분석하여 문장에서 중요한 정보를 추출합니다.

예를 들어, "고양이가 좋아하는 음식은 무엇인가?"라는 질문이 있다면, Semantic Kernel은 "고양이", "좋아하는", "음식"이라는 단어를 중요한 단어로 식별하고, 이들 간의 관계를 분석하여 이 문장의 의미를 파악합니다.

이러한 방식으로 Semantic Kernel은 문장이나 문서에서 중요한 정보를 추출하고, 이를 기반으로 다양한 자연어 처리 작업을 수행하는 데 사용됩니다.


아쉽게도 이것은 틀린 대답입니다. ChatGPT는 현재 마이크로소프트가 만든 "Semantic Kernel"이 뭔지 모르고 있으며 위의 대답은 Apache OpenNLP에서 제공하는 기능 중의 하나를 설명하고 있는 것에 불과합니다. 따라서 오히려 검색 엔진 쪽에 물어보는 것이 낫습니다. 아래는 Bing의 CHAT에서 Q&A 결과를 보여줍니다.

마이크로소프트의 Semantic Kernel은 자연어 텍스트를 분석하고 그 의미와 구조를 포착하는 풍부한 의미 표현을 생성할 수 있는 모델과 도구의 집합입니다. 이것은 마이크로소프트의 디자인 및 인공지능 부사장인 John Maeda가 작성한 글에서 확인할 수 있습니다1. 이것은 대규모 언어 모델(Large Language Model, LLM) AI "프롬프트"와 템플릿, 체이닝 및 계획 기능을 제공하는 경량 SDK인 Semantic Kernel (SK)를 사용하여 전통적인 프로그래밍 언어(C# 및 Python 등)를 쉽게 혼합할 수 있습니다2.


제 수준에서 저 답변을 받아들이자면, ML.NET 라이브러리가 기본적인 머신 러닝과 관련된 기능을 제공하는 것처럼, "Semantic Kernel"은 (현재는 OpenAI/Azure OpenAI를 활용해) 자연어 처리를 할 수 있는 라이브러리라고 보시면 될 것 같습니다.

좀 더 간단히 보면, OpenAI API를 좀 더 쉽게 사용할 수 있도록 SDK를 만들어 둔 것이라고 봐도 무방할 듯합니다.




실제로 간단하게 코딩까지 한번 해볼까요? ^^

Hello, Semantic Kernel!
; https://devblogs.microsoft.com/semantic-kernel/hello-world/

SK(Semantic Kernel)은 현재 오픈소스로,

microsoft/semantic-kernel
; https://github.com/microsoft/semantic-kernel

(지원 언어는 더 늘어날 예정이지만, 우선) C#과 파이썬 SDK로 AI LLM을 통합할 수 있는 경량화된 SDK라고 합니다. 경량화되었다는 것은 곧, 모델 데이터가 로컬에 있지 않다는 의미도 될 것입니다. 실제로 로컬에서 인터넷 접근 없이 독자적으로 사용할 수 있는 것은 아니고, 결국에는 OpenAI/Azure OpenAI와 협업해 결과를 얻는 방식입니다.

C#으로 시작해 보면, 우선, 패키지 참조를 하고,

dotnet add package Microsoft.SemanticKernel --prerelease

// 또는, Install-Package Microsoft.SemanticKernel -Pre

nuget 문서에 따라,

Running prompts with input parameters
; https://github.com/microsoft/semantic-kernel/blob/main/dotnet/README.md

다음과 같이 코딩할 수 있습니다.

using Microsoft.SemanticKernel;

internal class Program
{
    // Install-Package Microsoft.SemanticKernel -Pre

    private static async Task<int> Main(string[] args)
    {
        (string apiKey, _) = GetKeyInfo(@"d:\settings\openai_key.txt");

        var kernel = Kernel.Builder.Build();

        // using OpenAI (만약 Azure OpenAI를 사용한다면, AddAzureTextCompletionService 메서드로 호출)
        kernel.Config.AddOpenAITextCompletionService(
            "davinci-openai",
            "text-davinci-003",               // OpenAI Model name
            apiKey       // OpenAI API Key
        ); // Get Started with OpenAI Completions with .NET

        var prompt = @"{{$input}}

One line TLDR with the fewest words.";

        var summarize = kernel.CreateSemanticFunction(prompt);

        string text1 = @"
1st Law of Thermodynamics - Energy cannot be created or destroyed.
2nd Law of Thermodynamics - For a spontaneous process, the entropy of the universe increases.
3rd Law of Thermodynamics - A perfect crystal at zero Kelvin has zero entropy.";

        string text2 = @"
1. An object at rest remains at rest, and an object in motion remains in motion at constant speed and in a straight line unless acted on by an unbalanced force.
2. The acceleration of an object depends on the mass of the object and the amount of force applied.
3. Whenever one object exerts a force on another object, the second object exerts an equal and opposite on the first.";

        Console.WriteLine(await summarize.InvokeAsync(text1));

        Console.WriteLine(await summarize.InvokeAsync(text2));

        return 0;
    }
}

코드 구조는 간단합니다. 우선 OpenAI API Key (또는, Azure OpenAI Key)가 필요한데요, 지난 글에서 설명했으니 생략합니다.

그다음, AddOpenAITextCompletionService를 호출해 OpenAI 모델과 함께 API Key를 전달해 초기화합니다.

kernel.Config.AddOpenAITextCompletionService(
    "davinci-openai",
    "text-davinci-003",               // OpenAI Model name
    apiKey       // OpenAI API Key
);

첫 번째 인자는 "Service ID"라고 하는데 딱히 이에 대한 정보가 없습니다. 임의로 지정할 수 있는 식별자입니다. 2번째 인자는 OpenAI의 모델 식별자로 역시 지난 글에서 이 값을 구하는 방법을 살펴봤으니 생략합니다.

이후, 사용법은 아주 편안합니다. 입력으로 전달될 텍스트를 간단하게 요약하라는 SemanticFunction을 자연어 기반으로 하나 만들고,

var prompt = @"{{$input}}

One line TLDR with the fewest words.";

var summarize = kernel.CreateSemanticFunction(prompt);

열역학 법칙과 뉴턴의 운동 법칙을 각각 요약하라고 해,

Console.WriteLine(await summarize.InvokeAsync(text1));
// 출력 결과: Energy conserved, entropy increases, zero entropy at 0K.

Console.WriteLine(await summarize.InvokeAsync(text2));
// 출력 결과: Objects move in response to forces

OpenAI로부터 그 출력 결과를 얻을 수 있습니다. 대충 어떤 식인지 이해가 되시죠? ^^

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




참고로, 꼭 의도한 대로 동작하지는 않습니다. 위의 SemanticFunction은 요약을 하라고 했는데요, 아래와 같이 질문을 던져 보면,

string text3 = "windbg에 닷넷 응용 프로그램을 분석하는 기능이 있을까?";
Console.WriteLine(await summarize.InvokeAsync(text3));

// 출력 결과: No, WinDbg does not analyze .NET applications.

요약하라고 했는데, 오히려 질문에 대한 답변을 하고 있습니다. 게다가 동일한 질문을 Bing Chat에 했을 때와는 다른 대답을 내놓습니다. ^^;

bing_chat_qa_1.png

(그 와중에, 대답의 근거가 되는 3개의 참조가 전부 제가 쓴 글입니다. ^^;)

어떠세요? 멀고도 험한 자연어 처리가 Semantic Kernel 라이브러리를 이용하면 이렇게 쉬워지니 여러분은 그저 어떤 응용 프로그램을 만들고 싶은지 상상만 하시면 되겠습니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 6/1/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2023-05-12 03시24분
콘솔에서 Azure OpenAI 및 C#으로 챗봇 만들기 | Niels Swimberghe
; https://dimohy.slogger.today/create-a-chatbot-in-the-console-with-azure-openai-and-csharp

정세일 님이 한글로 잘 정리해주셨습니다. ^^ 위의 글은 OpenAI를 Azure.AI.OpenAI 패키지를 이용해 접근하는 방법을 보여줍니다. 사실, Semantic Kernel은 내부적으로 Azure OpenAI 서비스를 접근할 때 "Azure.AI.OpenAI" 패키지를 이용하는데요, 따라서 Semantic Kernel이 한 단계 더 높은 추상화라고 보시면 되겠습니다.

관련해서 아래와 같은 예제도 참고하시고.

Azure-Samples/openai-dotnet-samples
; https://github.com/Azure-Samples/openai-dotnet-samples

betalgo/openai
; https://github.com/betalgo/openai
정성태

1  2  3  4  5  6  7  8  9  10  [11]  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13226정성태1/23/20232824.NET Framework: 2088. .NET 5부터 지원하는 GetRawSocketOption 사용 시 주의할 점
13225정성태1/21/20232272개발 환경 구성: 658. Windows에서 실행 중인 소켓 서버를 다른 PC 또는 WSL에서 접속할 수 없는 경우
13224정성태1/21/20232552Windows: 221. Windows - Private/Public/Domain이 아닌 네트워크 어댑터 단위로 방화벽을 on/off하는 방법
13223정성태1/20/20232560오류 유형: 838. RDP 연결 오류 - The two computers couldn't connect in the amount of time allotted
13222정성태1/20/20232491개발 환경 구성: 657. WSL - DockerDesktop.vhdx 파일 위치를 옮기는 방법
13221정성태1/19/20232671Linux: 57. C# - 리눅스 프로세스 메모리 정보파일 다운로드1
13220정성태1/19/20232760오류 유형: 837. NETSDK1045 The current .NET SDK does not support targeting .NET ...
13219정성태1/18/20232322Windows: 220. 네트워크의 인터넷 접속 가능 여부에 대한 판단 기준
13218정성태1/17/20232306VS.NET IDE: 178. Visual Studio 17.5 (Preview 2) - 포트 터널링을 이용한 웹 응용 프로그램의 외부 접근 허용
13217정성태1/13/20232802디버깅 기술: 185. windbg - 64비트 운영체제에서 작업 관리자로 뜬 32비트 프로세스의 덤프를 sos로 디버깅하는 방법
13216정성태1/12/20232984디버깅 기술: 184. windbg - 32비트 프로세스의 메모리 덤프인 경우 !peb 명령어로 나타나지 않는 환경 변수
13215정성태1/11/20233912Linux: 56. 리눅스 - /proc/pid/stat 정보를 이용해 프로세스의 CPU 사용량 구하는 방법 [1]
13214정성태1/10/20234120.NET Framework: 2087. .NET 6부터 SourceGenerator와 통합된 System.Text.Json [1]파일 다운로드1
13213정성태1/9/20233459오류 유형: 836. docker 이미지 빌드 시 "RUN apt install ..." 명령어가 실패하는 이유
13212정성태1/8/20233417기타: 85. 단정도/배정도 부동 소수점의 정밀도(Precision)에 따른 형변환 손실
13211정성태1/6/20233438웹: 42. (https가 아닌) http 다운로드를 막는 웹 브라우저
13210정성태1/5/20232721Windows: 219. 윈도우 x64의 경우 0x00000000`7ffe0000 아래의 주소는 왜 사용하지 않을까요?
13209정성태1/4/20232452Windows: 218. 왜 윈도우에서 가상 메모리 공간은 64KB 정렬이 된 걸까요?
13208정성태1/3/20232451.NET Framework: 2086. C# - Windows 운영체제의 2MB Large 페이지 크기 할당 방법파일 다운로드1
13207정성태12/26/20222766.NET Framework: 2085. C# - gpedit.msc의 "User Rights Assignment" 특권을 코드로 설정/해제하는 방법파일 다운로드1
13206정성태12/24/20222876.NET Framework: 2084. C# - GetTokenInformation으로 사용자 SID(Security identifiers) 구하는 방법 [2]파일 다운로드1
13205정성태12/24/20223371.NET Framework: 2083. C# - C++과의 연동을 위한 구조체의 fixed 배열 필드 사용 (2)파일 다운로드1
13204정성태12/22/20222770.NET Framework: 2082. C# - (LSA_UNICODE_STRING 예제로) CustomMarshaler 사용법파일 다운로드1
13203정성태12/22/20222792.NET Framework: 2081. C# Interop 예제 - (LSA_UNICODE_STRING 예제로) 구조체를 C++에 전달하는 방법파일 다운로드1
13202정성태12/21/20223054기타: 84. 직렬화로 설명하는 Little/Big Endian파일 다운로드1
13201정성태12/20/20223571오류 유형: 835. PyCharm 사용 시 C 드라이브 용량 부족
1  2  3  4  5  6  7  8  9  10  [11]  12  13  14  15  ...