微软重磅发布Magentic UI，交互式AI Agent助手实测！

微软重磅发布Magentic UI，交互式AI Agent助手实测！

何为Magentic UI？

Magentic UI 是微软于5.19重磅发布的开源Agent助手，并于24日刚更新了第二个版本0.04版

从官方的介绍来看，目标是打造一款 以人为中心 的智能助手，其底层由多个不同的智能体系统驱动，能够实现网页浏览与操作、代码生成与执行、文件生成与分析等功能。

它区别于其他一些AI浏览器工具的主要区别在于其 透明可控的交互界面，支持高效的人机协同参与。该系统基于微软的Agent构建框架 AutoGen 构建，目前还处在原型研究阶段。

核心功能包括：

🧑‍🤝‍🧑 协同规划：用户和AI通过聊天和计划编辑器协作创建并修订分步执行计划。
🤝 协同任务：用户可直接通过网页浏览器或聊天界面实时介入并指导任务执行。Magentic-UI 能在需要时主动确认或要求协助。
🛡️ 操作防护：敏感操作需经用户明确批准后方可执行。
🧠 计划学习与检索：从过往任务中学习经验以优化未来自动化流程，并将优秀方案保存至计划库。在后续任务中可自动或手动调用已存储的计划。
🔀 并行任务执行：支持多任务并行运行，会话状态指示器会实时提示 Magentic-UI 何时需要您的输入或任务已完成。

设计架构

Magentic-UI 的底层系统是由一组从 AutoGen 的 Magentic-One 系统（如上图所示）改造而来的专业化 Agent 组构成，各Agent通过模块化协作实现不同功能：

Agent功能说明

总控代理（Orchestrator）

• 功能定位：基于大语言模型（LLM）的主控智能体，负责与用户协同制定计划、决策何时请求用户反馈，并向其他智能体分配子任务。
• 协作流程：
  1. 与用户共同制定分步执行计划；
  2. 动态判断需用户介入的节点；
  3. 将子任务分派至其他智能体执行。

网页浏览代理（WebSurfer）

• 功能定位：配备网页浏览器的 LLM 智能体，支持多轮次网页交互操作。
• 核心能力：
  • 根据总控代理的指令，执行点击、输入、滚动、页面跳转等操作；
  • 超越 AutoGen 多模态网页浏览器：新增标签管理、选项选择、文件上传及多模态查询支持。

代码执行代理（Coder）

• 功能定位：配备 Docker 代码执行容器的 LLM 智能体。
• 核心能力：
  • 编写并执行 Python 和 Shell 命令；
  • 将执行结果反馈至总控代理。

文件处理代理（FileSurfer）

• 功能定位：集成 Docker 容器与 MarkItDown 包文件转换工具的 LLM 智能体。
• 核心能力：
  • 定位 Magentic-UI 控制目录下的文件；
  • 将文件转换为 Markdown 格式并支持内容问答。

用户代理（UserProxy）

• 功能定位：代表用户与系统交互的代理角色。
• 协作模式：总控代理可将任务直接委派给用户（而非其他智能体）完成。

用户交互流程

用户利用 Magentic UI 的交互流程可以用下图表示：

#mermaid-svg-LIi2xZmWFqiKsASB {font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-LIi2xZmWFqiKsASB .error-icon{fill:#552222;}#mermaid-svg-LIi2xZmWFqiKsASB .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-LIi2xZmWFqiKsASB .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-LIi2xZmWFqiKsASB .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-LIi2xZmWFqiKsASB .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-LIi2xZmWFqiKsASB .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-LIi2xZmWFqiKsASB .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-LIi2xZmWFqiKsASB .marker{fill:#333333;stroke:#333333;}#mermaid-svg-LIi2xZmWFqiKsASB .marker.cross{stroke:#333333;}#mermaid-svg-LIi2xZmWFqiKsASB svg{font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-LIi2xZmWFqiKsASB .label{font-family:\"trebuchet ms\",verdana,arial,sans-serif;color:#333;}#mermaid-svg-LIi2xZmWFqiKsASB .cluster-label text{fill:#333;}#mermaid-svg-LIi2xZmWFqiKsASB .cluster-label span{color:#333;}#mermaid-svg-LIi2xZmWFqiKsASB .label text,#mermaid-svg-LIi2xZmWFqiKsASB span{fill:#333;color:#333;}#mermaid-svg-LIi2xZmWFqiKsASB .node rect,#mermaid-svg-LIi2xZmWFqiKsASB .node circle,#mermaid-svg-LIi2xZmWFqiKsASB .node ellipse,#mermaid-svg-LIi2xZmWFqiKsASB .node polygon,#mermaid-svg-LIi2xZmWFqiKsASB .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-LIi2xZmWFqiKsASB .node .label{text-align:center;}#mermaid-svg-LIi2xZmWFqiKsASB .node.clickable{cursor:pointer;}#mermaid-svg-LIi2xZmWFqiKsASB .arrowheadPath{fill:#333333;}#mermaid-svg-LIi2xZmWFqiKsASB .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-LIi2xZmWFqiKsASB .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-LIi2xZmWFqiKsASB .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-LIi2xZmWFqiKsASB .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-LIi2xZmWFqiKsASB .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-LIi2xZmWFqiKsASB .cluster text{fill:#333;}#mermaid-svg-LIi2xZmWFqiKsASB .cluster span{color:#333;}#mermaid-svg-LIi2xZmWFqiKsASB div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:\"trebuchet ms\",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-LIi2xZmWFqiKsASB :root{--mermaid-font-family:\"trebuchet ms\",verdana,arial,sans-serif;} 具体步骤执行