AI Agent如何操控你的电脑？Hermes三层工具链全解析

上期我们拆解了AI操作电脑的底层逻辑，从黑框命令到高屏封装，再到MCP统一规范。搞懂原理之后，一个更实际的问题浮现出来：平时用的Hermes，究竟是怎么一步步操作我们电脑的？B站UP主小悠在最新一期视频中，直接把Hermes的工具箱翻开，按能力层级做了完整拆解。这套分层逻辑不仅解释了Agent的运作方式，也回答了「为什么已经连上SSH却还是操作不了另一台电脑」这类常见困惑。

第一层：出厂自带的底座能力

装好Hermes之后，默认就自带一套基础工具，这是它能动手操作电脑的根基。小悠把这一层归纳为三件事：跑命令、查改文件、执行代码。

跑命令和管后台主要靠Terminal工具。简单命令直接回车执行；遇到打包、下载大文件这类耗时任务，Hermes会把任务扔到后台运行，需要时查看进度，发现卡住还能中途停掉，不必让长任务霸占当前交互。

文件操作由Search Files、Read File和Patch三个工具配合完成。Search Files用于在大量文件中快速定位；Read File负责读取内容；Patch则像做小手术，只替换指定的两三行，不需要把整篇文档重新生成一遍，又快又稳。

Execute Code是自带的代码运行环境。遇到步骤繁琐的复杂计算，Hermes会当场写一段Python小脚本跑完，直接把结果拿回来，省去了在聊天框里反复折腾的麻烦。有了这一层，即使不接入任何联网服务，Hermes已经能在电脑里看资料、改文件、管程序。

MCP（Model Context Protocol）是 Anthropic 于 2024 年底提出的开放协议，目标是给大模型与外部工具、数据源之间定义一套统一的通信规范。在此之前，每接入一个新服务都要单独适配，MCP 把这件事标准化：外部程序以「服务端」身份注册，向模型暴露一组带名称、描述和参数结构的工具指令，模型按协议发起调用即可。对 Agent 而言，它的意义在于工具箱可以按需插拔，第三层外部生态能像游戏卡带一样扩展能力，靠的正是这套协议。

第二层：按需开启的感官与增强工具

第二层的代码官方已经写好，但需要根据实际需求配置开启。小悠把它比作给Hermes装上眼睛、耳朵、嘴巴和联网雷达。启用这些能力通常涉及选服务、配API Key、依赖模型能力或安装运行环境，一项功能可能同时需要其中几步。

联网搜索与网页抓取

WebSearch和WebExtract是这一类的代表。没有第三方接口时，大模型也能通过终端或脚本自己上网查，但容易碰上反爬、拿到夹带广告的网页代码，还得花不少步骤清洗内容。搜索和抓取API把这部分工作接了过去：搜索接口返回相关网页结果，抓取接口提取干净的正文并提供摘要。

Hermes内置了轮询的免费公共通道，不注册任何账号也能用，但用的人多、有频率限制，高峰期容易超时。想要稳定，最好注册专属Key。小悠提到了几家主流选择：BraveSearch每月给开发者提供免费查询额度，个人轻度使用完全够用；Tavoli专做AI结构化检索，适合自动化调研；Firecrawl是Hermes官方早期默认偏好的抓取工具；DeepSeek^广告近期也开放了Search和Fetch接口，价格很低，现有账号Key即可通用。

视觉与视频理解

Vision Analyze这个看图工具解决了一个容易被忽略的问题：直接把几千像素的高清大图丢给大模型，模型内部会自动压缩模糊，角落的小字、复杂表格线根本看不清，而模型自己没法把图片局部放大。Vision Analyze的核心能力是选区裁剪与无损放大——当模型发现某块区域看不清时，可以主动调用工具在原图上画坐标框，把该区域以最高清晰度裁出来重看，直到每一行小字都确认清楚。

配置上Hermes做了灵活设计：主模型本身支持多模态（如GPT、Gemini等视觉模型），就直接用主模型的眼睛看，无需额外配置；若平时用纯文本模型聊天写代码，可以单独配一个便宜的Auxiliary Vision辅助视觉模型，遇到图片时自动唤醒它，不影响主模型保持轻量。类似地，Video Analyze在配置支持视频输入的模型后，可以帮用户分析视频画面。

多模态模型指能同时处理文本、图像（乃至音频、视频）输入的模型，如 GPT、Gemini 的视觉版本。它让模型「看得见」图片，但视觉描述通常受输入分辨率和上下文限制，高分辨率图像会被压缩，细节丢失。辅助视觉模型（Auxiliary Vision）则是在主模型之外单独挂一个便宜的小视觉模型，只在遇到图片时唤醒它做局部识别，主模型保持轻量、专注文本推理。两者配合，相当于给 Agent 配了一主一副两双眼睛。

语音交互：听与说

听的方向是STT语音识别，把声音转成文字再理解需求、调用工具，可选本地或云端方案。说的方向是TTS语音合成，对应工具Text-to-Speech，把回复文字合成为声音。

小悠最推荐的是Hermes默认支持的Edge语音：自带多种免费音色、合成速度快、完全免费，且合成在云端完成，不需要本地跑语音大模型，唯一要注意的是记得选中文音色。对音质有更高要求的话，可以在本地部署开源语音模型，或接入火山豆包、MiniMax等第三方API，后者还支持声音克隆和音色设计。如果在微信、飞书或Discord里和Hermes对话，还能设置每次文字回复后自动附带一条语音条，通勤或手头忙时随手点开就能听。

浏览器自动化与桌面控制

Browser Exec负责打开网页、点击按钮、填写表单，Computer Use则能看屏幕、移动鼠标、操作软件。浏览器既可连接本地浏览器，也可使用云端浏览器；桌面控屏则需要电脑上安装相应的控制组件。如果这两个工具还不可用，可以直接让Hermes检查工具是否启用、运行环境和权限是否配好。

配齐第二层之后，Hermes就从后台默默改文件、跑命令的基础工具，变成了能看、能听、能说、还能替你动鼠标点屏幕的全能助理。

第三层：自由连接的外部扩展生态

第三层的工具在刚装好时Hermes完全不知道它们的存在。借助上期讲过的CLI和MCP，Hermes可以像插游戏卡带一样，把各类专业软件和私有系统接入自己的工具箱。

接入方式有两种。轻量直接借力是指调用电脑里已装软件的命令行，比如用FFmpeg剪辑转码、用Git存档、用压缩工具打包，不需要任何插件适配。另一种是通过MCP接入标准化工具，Hermes桌面版提供了MCP服务管理列表，连好服务后能一眼看到哪些在线，点进去还能看到它新增了哪些专属工具指令。

以Blender为例：原本在复杂图形界面里翻菜单、调参数、点几十步才能完成的操作，接上Blender MCP后，只需把需求交代给Hermes，大模型把需求拆成具体工具调用交给后台MCP服务，服务程序像翻译官一样把调用对接到Blender能执行的操作，直接在视口里生成模型、修改材质。

开源社区已有Awesome MCP、Awesome CLI这类聚合项目收录各类服务，但小悠的建议是实用主义：真正遇到具体问题时再去装对应工具，绝不为了装而装。遇到新需求，直接让Hermes去开源社区搜现成成熟的工具装上即可。她本人安装的工具包括：把主流网站封装成命令行的OpenCLI（查B站数据、知乎热榜、微博热搜、豆瓣评分等，可复用浏览器登录状态，配合Bitwarden安全填密码）、收发邮件的Himalaya、处理Excel报表的OfficeKey，以及操作虚幻引擎的UE-MCP、内部任务管理MCP、批次审批MCP和智能家居平台Home Assistant。

多设备场景：SSH连上了为什么还是操作不了

小悠特别提醒了一个常见误区。Hermes装在一台主机上，通过SSH向另一台电脑发命令，可能出现「明明连上了、也能读文件跑命令，但让它操作那台电脑上的某个软件却做不了」的情况。

关键在于分清SSH解决的是什么：它把命令送到另一台电脑执行，并不会自动把主机上已有的工具和操作能力一起带过去。如果这件事本来能通过CLI完成，比如让另一台电脑用FFmpeg处理视频，就先让Hermes检查那台电脑有没有装FFmpeg、SSH运行命令时能否找到它、相关文件能否访问。工具在主机上装过，不代表另一台电脑也有；装了但调用路径不对，一样用不了。

要通过MCP操作另一台电脑上的软件，就要把对应MCP服务和软件连接配好。比如Blender在另一台电脑上运行，MCP服务就得能访问那个Blender，而不是只连着主机上的软件。浏览器和桌面操作同理：需要在目标电脑上准备好可被控制的浏览器或桌面控制组件及权限。尤其在Windows上，通过SSH启动的程序不一定出现在你正看着的桌面里，桌面控制组件需要运行在正确的登录会话中。

下次再遇到「已经连上怎么还是操作不了」，不必盯着SSH反复重连——先判断这一步需要的是CLI、MCP、浏览器还是桌面控制，对应工具在哪里运行、连接的是哪台电脑，补上缺少的部分，再让它做一个小操作验证。

SSH（Secure Shell）是一种加密的远程登录协议，作用是把本地终端的命令安全地发送到远程主机上执行，并把输出回传。它本质上只解决「命令传输与身份认证」这一件事，不负责同步环境、安装软件或搬运工具能力。因此远程主机上没装 FFmpeg、PATH 里找不到对应程序、或程序需要图形会话才能运行时，SSH 连接再稳定也无济于事。理解这一点，就能明白「连上了却操作不了」多数是环境与运行位置问题，而非连接问题。

分层思维比堆砌工具更重要

把三层串起来看：第一层是出厂自带的底座硬实力，Terminal与精准文件修改奠定基本功；第二层是官方原生支持的感官增强，搜索、视觉、语音以及Browser Exec和Computer Use让Agent具备视听感知与行动能力；第三层是无限生长的外部生态，通过CLI借力和MCP接入不断扩展能力边界。

在AI工具和新名词层出不穷的当下，很容易产生「是不是又落后了」的焦虑。但看透分层逻辑后会发现，不需要盲目堆砌工具，真正关键的只有两条：实用主义，遇到真实问题再找解法；让AI代劳，把繁琐的配置、搜寻与调试交给Hermes自己完成。理解了每一项能力来自哪里、该怎么用，Agent操控电脑就不再是黑箱，而是可以自主管理的得力助手。