Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 

(시리즈 글이 2개 있습니다.)
Windows: 192. Power Automate Desktop (Preview) 소개 - Bitvise SSH Client 제어
; https://www.sysnet.pe.kr/2/0/12558

개발 환경 구성: 743. LLM과 윈도우의 만남 - Desktop AgentOS UFO² 기본 환경 구성
; https://www.sysnet.pe.kr/2/0/13926




LLM과 윈도우의 만남 - Desktop AgentOS UFO² 기본 환경 구성

뭐랄까, 마이크로소프트가 UI Automation에 RPA(Robotic Process Automation)를 입히더니,

Power Automate Desktop (Preview) 소개 - Bitvise SSH Client 제어
; https://www.sysnet.pe.kr/2/0/12558

이제는 LLM 모델과 결합시켜 UFO²라는 이름으로 오픈소스 프로젝트를 내놓았습니다.

Welcome to UFO²'s Document!
; https://microsoft.github.io/UFO/

microsoft/UFO
; https://github.com/microsoft/UFO

기본적인 사용법은 Quck Start 문서에 자세하게 나오긴 하는데요,

Quick Start
; https://microsoft.github.io/UFO/getting_started/quick_start/

개인적으로 ^^; 좀 부족한 느낌이 들어 다시 정리합니다.




우선, UFO²는 파이썬 3.10 이상 + Windows 10 이상에서만 동작합니다. 따라서 명령행에서 python을 실행했을 때 3.10 이상의 버전이 나오는 구성은 기본적으로 마쳐야 합니다.

D:\temp> python --version
Python 3.10.10

// 환경 구성은 설치 파일 버전의 파이썬이 쉽지만, "Windows embeddable package"을 사용하고 싶다면 아래의 글을 참고하세요.
// 파이썬 - Windows embeddable package 환경에서 외부 패키지 사용하는 방법(ex: UFO² 환경 구성)
// https://www.sysnet.pe.kr/2/0/13930

그다음 git으로부터 파이썬 프로젝트를 내려받고,

d:\temp> git clone https://github.com/microsoft/UFO.git

패키지 구성을 완료합니다.

d:\temp> cd UFO
d:\temp\UFO> python.exe -m pip install -r requirements.txt

그다음 UFO²에서 사용할 LLM 서비스에 대한 API Key를 yaml 파일에 설정해 둬야 하는데요, 해당 파일의 template을 복사한 다음,

D:\temp\UFO> copy ufo\config\config.yaml.template ufo\config\config.yaml
D:\temp\UFO> notepad ufo\config\config.yaml

필요한 부분만 수정하는 식으로 구성하면 됩니다. 가령 OpenAI API를 사용할 경우에는 대표적으로 "API_KEY"를 입력해야 하는데, (Azure OpenAI 또는 Gemini, Claude, QWEN, Ollama뿐만 아니라 사용자 정의한 LLM 모델도 사용 가능합니다.)

VISUAL_MODE: True, # Whether to use the visual mode
API_TYPE: "openai" , # The API type, "openai" for the OpenAI API.  

API_BASE: "https://api.openai.com/v1/chat/completions", # The the OpenAI API endpoint.
API_KEY: "sk-",  # The OpenAI API key, begin with sk-
API_VERSION: "2024-02-15-preview", # "2024-02-15-preview" by default
API_MODEL: "gpt-4-vision-preview",  # The OpenAI model

이때 유의할 것은, "API_KEY" 입력란이 한 개만 있는 것이 아니라는 점입니다. yaml 내에 보면 각각 HOST_AGENT, APP_AGENT, EVALUATION_AGENT 영역의 API_KEY 값을 모두 설정해야 합니다. 또한, (문서에는 나오지 않지만) OpenAI의 경우 API_BASE도 바꿔줘야 하는데요,

API_BASE: "https://api.openai.com/v1/chat/completions", # The the OpenAI API endpoint, "https://api.openai.com/v1/chat/completions" for the OpenAI API.

위의 값에서 "/chat/completions"을 삭제해 "https://api.openai.com/v1"로 설정해야 합니다.

API_BASE: "https://api.openai.com/v1",

끝입니다. ^^




참고로, config.yaml 파일의 다른 설정을 보면 RAG(retrieval augmented generation)을 위한 외부 데이터를 끌어오는 것도 있으니 시간 될 때 한 번씩 테스트하는 것도 좋을 듯합니다. ^^

### For RAG

## RAG Configuration for the offline docs
RAG_OFFLINE_DOCS: False  # Whether to use the offline RAG.
RAG_OFFLINE_DOCS_RETRIEVED_TOPK: 1  # The topk for the offline retrieved documents

## RAG Configuration for the Bing search
BING_API_KEY: "YOUR_BING_SEARCH_API_KEY"  # The Bing search API key
RAG_ONLINE_SEARCH: False  # Whether to use the online search for the RAG.
RAG_ONLINE_SEARCH_TOPK: 5  # The topk for the online search
RAG_ONLINE_RETRIEVED_TOPK: 1 # The topk for the online retrieved documents

## RAG Configuration for experience
RAG_EXPERIENCE: False  # Whether to use the RAG from its self-experience.
RAG_EXPERIENCE_RETRIEVED_TOPK: 5  # The topk for the offline retrieved documents

## RAG Configuration for demonstration
RAG_DEMONSTRATION: False  # Whether to use the RAG from its user demonstration.
RAG_DEMONSTRATION_RETRIEVED_TOPK: 5  # The topk for the offline retrieved documents
RAG_DEMONSTRATION_COMPLETION_N: 3  # The number of completion choices for the demonstration result

자, 그럼 여기까지 구성을 완료했으면, 대충 다음과 같은 명령으로 시작합니다.

D:\temp\UFO> python -m ufo --task my_test

Welcome to use UFO🛸, A UI-focused Agent for Windows OS Interaction.
 _   _  _____   ___
| | | ||  ___| / _ \
| | | || |_   | | | |
| |_| ||  _|  | |_| |
 \___/ |_|     \___/


Please enter your request to be completed🛸:

이제 원하는 문장을 넣고 엔터를 치면 되는데요, 가령 "run notepad"라고 입력해 실행하면, 해당 문장을 UFO²가 LLM의 도움을 받아 윈도우 운영체제에서 어떻게 메모장을 실행하는지까지 대신 알아내서 실행해 줍니다.

Please enter your request to be completed🛸:
run notepad
Round 1, Step 1, HostAgent: Analyzing the user intent and decomposing the request...
Observations👀: The screenshot shows a Command Prompt window running a Python script and a File Explorer window open to 'New Volume (D:)'.
Thoughts💡: The user request is to run Notepad. This can be done by executing a command to open Notepad.
Running Bash Command🔧: start notepad
Plans📚: (1)
Next Selected application📲: [The required application needs to be opened.]
Messages to AppAgent📩:
Status📊: CONTINUE
Comment💬: I will execute a command to open Notepad.
Round 1, Step 2, HostAgent: Analyzing the user intent and decomposing the request...
Observations👀: The screenshot shows Notepad is open with the title 'Untitled - Notepad'. The Command Prompt is also visible, running a Python script.
Thoughts💡: The user request to run Notepad has been completed as Notepad is already open.
Plans📚: (1)
Next Selected application📲: [The required application needs to be opened.]
Messages to AppAgent📩:
Status📊: FINISH
Comment💬: The Notepad application is successfully opened as per the user request.
Evaluating the session...
Evaluation result🧐:
[Sub-scores📊:]
notepad_opened: unsure
[Task is complete💯:] unsure
[Reason🤔:] The final screenshot is completely green, which does not provide any information about whether Notepad was successfully opened. Without visual confirmation or additional context, it's impossible to determine if the task was completed.
Markdown file saved to logs/my_test//output.md.
Total request cost of the session: $0.08$

위의 출력을 살펴보면, "Host Agent"가 사용자 의도를 분석한 다음 "App Agent"에게 내용을 전달해 실제 실행을 담당하고 있습니다. 그리고 그런 작업을 모두 마치는 데까지 LLM 서비스 사용료로 $0.08가 발생했다고 하는군요. ^^

참고로, task 이름 정하는 것과 함께 원하는 명령어를 한 줄에 입력해 바로 실행하는 것도 가능합니다.

D:\temp\UFO> python -m ufo --task my_test -r "run notepad"




어쨌든, 이 정도면 대충 UFO²의 기본 의도가 무엇인지 짐작이 가시죠? 소개 영상을 보면, PPT 문서의 매 슬라이드에 있는 주석을 모두 제거하는 방법에 대한 것도 나오는데요, 기존에는 사용자가 일일이 슬라이드를 차례로 열어가며 주석을 지워야 했지만 UFO²를 사용하면 그에 대해 자연어로 명령하면 자동으로 알아서 모든 주석을 지우는 작업을 대신해주게 됩니다.

향후 윈도우 운영체제가 얼마나 더 LLM과의 통합을 잘 해 나갈지는 모르겠지만, 어쨌든 재미있는 시도인 것 같습니다. ^^




(2025-05-17 업데이트) 다중 모니터 환경에서 현재의 UFO²는 기본적으로 1번 모니터를 대상으로 작동합니다. 가령 본문에서 테스트한 "run notepad" 실습을 다중 모니터에서 했더니 무한 반복하면서 메모장을 계속 실행했습니다. 이유는, 메모장이 2번 모니터에서 뜨고 있었는데 그것을 실행했다고 판정하지 못하고 명령어 수행을 반복했기 때문입니다.

이때의 콘솔 출력을 보면, UFO²의 상태 체크를 확인할 수 있습니다.

Please enter your request to be completed🛸:
run notepad
Round 1, Step 1, HostAgent: Analyzing the user intent and decomposing the request...
Observations👀: The current screenshot shows multiple applications open, but Notepad is not visible or listed among the available applications.
Thoughts💡: To fulfill the user request, I need to open Notepad using a bash command since it is not currently open or available.
Running Bash Command🔧: start notepad
Plans📚: (1)
Next Selected application📲: [The required application needs to be opened.]
Messages to AppAgent📩:
Status📊: CONTINUE
Comment💬: I will open Notepad using a bash command since it is not currently open.
Round 1, Step 2, HostAgent: Analyzing the user intent and decomposing the request...
Observations👀: The screenshot shows multiple applications open, including a Developer Command Prompt and Visual Studio. Notepad is not visible in the screenshot.
Thoughts💡: The previous step indicates that a command was executed to start Notepad, but it is not visible in the screenshot. I need to ensure Notepad is opened.
Running Bash Command🔧: start notepad
...[생략]...

보는 바와 같이, "run notepad" 명령어를 받고는 우선 1) 윈도우 화면을 캡처해 메모장이 실행 중인지를 판단합니다. 2) 그런데 1번 모니터에 메모장이 실행되고 있지 않으므로 "start notepad" 단계를 거치는데요, 이후 3) 다시 윈도우 화면을 캡처해 메모장이 있는지 확인합니다. 4) 결국 1번 모니터에 여전히 메모장이 없어 또다시 "start notepad"를 반복합니다.

그런데, 이게 좀 의아한 면이 있는데요, 위의 과정으로 인해 캡처된 이미지를 "./logs/[work_name]" 디렉터리에 저장하하고 있어 확인해 보면 다중 모니터의 전체 이미지가 나옵니다. 즉, 이미지 캡처된 것으로는 분명히 메모장 실행이 나올 텐데도 1번 모니터가 아니면 확인을 못하고 있는 것입니다. (아마도, 향후 버전에서는 개선되겠지요. ^^)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 5/17/2025]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 91  [92]  93  94  95  96  97  98  99  100  101  102  103  104  105  ...
NoWriterDateCnt.TitleFile(s)
11672정성태8/28/201818606오류 유형: 479. 윈도우 - 시스템 설정에서 도메인 참가를 위한 "Change" 버튼이 비활성화된 경우
11671정성태8/28/201825214사물인터넷: 39. 아두이노에서 적외선 송신기 기본 사용법파일 다운로드1
11670정성태8/28/201824231사물인터넷: 38. 아두이노에서 적외선 수신기 기본 사용법 [1]파일 다운로드1
11669정성태8/24/201822891개발 환경 구성: 394. 윈도우 환경에서 elasticsearch의 한글 블로그 검색 인덱스 구성
11668정성태8/24/201834050오류 유형: 478. 윈도우 업데이트(KB4458842) 이후 SQL Server 서비스 시작 오류
11667정성태8/24/201819574오류 유형: 477. "Use Unicode UTF-8 for worldwide language support" 옵션 설정 시 SQL Server 2016 설치 오류 [1]
11666정성태8/22/201819567사물인터넷: 37. 아두이노 - 코딩으로 대신하는 오실레이터 회로의 소리 출력파일 다운로드1
11665정성태8/22/201823424사물인터넷: 36. 오실레이터 회로 동작을 아두이노의 코딩으로 구현하는 방법파일 다운로드1
11664정성태8/22/201822686개발 환경 구성: 393. 윈도우 환경에서 elasticsearch의 한글 형태소 분석기 설치 [1]
11663정성태8/22/201825621개발 환경 구성: 392. 윈도우 환경에서 curl.exe를 이용한 elasticsearch 6.x 기본 사용법
11662정성태8/21/201818169사물인터넷: 35. 병렬 회로에서의 커패시터파일 다운로드1
11661정성태8/21/201821079사물인터넷: 34. 트랜지스터 동작 - 컬렉터-이미터 간의 저항 측정파일 다운로드1
11660정성태8/19/201820614사물인터넷: 33. 세라믹 커패시터의 동작 방식파일 다운로드1
11659정성태8/19/201820459사물인터넷: 32. 9V 전압에서 테스트하는 PN2222A 트랜지스터파일 다운로드1
11658정성태8/18/201823904사물인터넷: 31. 커패시터와 RC 회로파일 다운로드3
11657정성태8/18/201822048사물인터넷: 30. 릴레이(Relay) 제어파일 다운로드3
11656정성태8/16/201816916사물인터넷: 29. 트랜지스터와 병렬로 연결한 LED파일 다운로드1
11655정성태8/16/201819672사물인터넷: 28. 저항과 병렬로 연결한 LED파일 다운로드1
11654정성태8/15/201820932사물인터넷: 27. 병렬 회로의 저항, 전압 및 전류파일 다운로드1
11653정성태8/14/201821393사물인터넷: 26. 입력 전압에 따른 LED의 전압/저항 변화 [1]파일 다운로드1
11652정성태8/14/201818805사물인터넷: 25. 컬렉터 9V, 베이스에 5V와 3.3V 전압으로 테스트하는 C1815 트랜지스터파일 다운로드1
11651정성태8/14/201824682사물인터넷: 24. 9V 전압에서 테스트하는 C1815 트랜지스터 [1]파일 다운로드3
11650정성태8/14/201818735사물인터넷: 23. 가변저항으로 분압파일 다운로드1
11649정성태8/12/201820537사물인터넷: 22. 저항에 따른 전류 테스트파일 다운로드1
11648정성태8/12/201821842사물인터넷: 21. 퓨즈를 이용한 회로 보호파일 다운로드3
11647정성태8/8/201823040오류 유형: 476. 음수의 음수는 여전히 음수가 되는 수(절대값이 음수인 수)
... 91  [92]  93  94  95  96  97  98  99  100  101  102  103  104  105  ...