给Agent装上屏幕：DeepSeek可视化工作台开源实录

当Agent长出手脚，却还在靠聊天控制

今年是Agent爆发的一年，AI已经能替我们真正干活。Agent（智能体）是2024-2025年AI领域最核心的概念演进——与传统的聊天机器人不同，Agent具备感知环境、制定计划、调用工具并自主执行任务的能力，它不仅能回答问题，还能操作浏览器、编写代码、调用API完成实际工作。OpenAI、Anthropic、Google等公司都在Agent方向上重兵投入。但一个尴尬的现实是：我们与Agent交互的主要方式，仍然停留在自然语言对话上。

一位B站UP主用一个很形象的比喻概括了这个矛盾——「这就好像我们从非智能手机换成了智能手机，却仍然只用Siri语音来控制它」。在批量重复或复杂任务中，语音（对话）确实高效；但如果连一些简单操作都要靠打字描述给AI，那种体验的别扭感相信不少人深有体会。当前主流Agent产品的交互入口几乎清一色是对话框，用户必须用自然语言精确描述每一步意图，这在复杂工作流中会产生大量认知负担和沟通损耗。

基于这个思考，他花了大约一周时间「爆改」了一个基于 DeepSeek Harness 的可视化工作台插件，并已完全开源。DeepSeek 是中国AI公司深度求索推出的大语言模型系列，其开源策略和极具竞争力的性价比使其在开发者社区中获得了广泛关注。DeepSeek Harness 是基于 DeepSeek 大语言模型构建的开发框架，采用插座协议（Plugin Protocol）设计，允许开发者在不修改核心代码的前提下注入自定义功能模块——类似于 VS Code 的扩展系统或 Chrome 的插件生态，宿主程序提供标准化接口，插件通过约定的协议与宿主通信。这种架构的核心优势在于可组合性：不同开发者可以独立开发功能模块，像拼装积木一样组合出完全不同的应用形态，宿主程序定义好扩展点和通信接口，插件按照协议注册自己的能力，运行时由宿主调度执行。用他自己的话说，这个工作台就是要「给智能手机装上一块可以操纵的屏幕」——你依然可以用右侧的对话框（Siri）去指挥，但一些日常操作可以直接在可视化面板上完成。

工作台能做什么：六个真实项目案例

这个可视化工作台最有说服力的地方，在于它不是概念演示，而是跑起来的一批实际项目。UP主在视频中逐一展示了自己搭建的六个应用，覆盖了完全不同的行业与需求。

旅行足迹地图

这是最完整的一个项目。左侧是去过的国家列表，可增删拖动；右侧是详情面板与相册。点击相册能浏览原图，甚至支持无人机360度全景图预览。

值得一提的几个细节：照片的经纬度和高度坐标信息被准确抓取并用于地图定位——这些信息来源于照片文件中的EXIF元数据，现代智能手机和无人机在拍照时会自动将GPS坐标、海拔高度、拍摄时间等信息写入图片文件头部；地球的光影关系与现实时间同步（现实是夜晚，对应区域也呈现黑夜状态）；瓦片地图可以无级缩放且保持清晰。所谓瓦片地图（Tile Map），是现代Web地图的核心技术，其原理是将世界地图在不同缩放级别上预先切割成统一大小的图片方块（即「瓦片」），用户浏览时前端只加载当前视口范围内所需的瓦片。随着缩放或拖动，新的瓦片被按需加载，这种「金字塔」式的多级别切片策略使得地图可以在任意缩放级别保持清晰，同时大幅降低网络传输量。Google Maps、高德地图、OpenStreetMap等主流地图服务都基于这一技术，开发者通常使用Leaflet或MapboxGL等开源库来实现瓦片地图的前端渲染。这种「存档点」式的记录方式，让旅行回忆多了一层可交互的意义。

建筑审图软件

这是最能体现「行业深度」的项目。UP主本身从事建筑行业，深知AI在这一垂直领域的尴尬：前沿公司不会把建筑作为后训练重点，导致AI只能介入前期想法或后期效果展示。

建筑审图是建筑工程流程中的关键环节。在中国，施工图审查是法定的强制性程序，所有建筑项目在开工前必须通过持有专业资质的审图机构审查。审图员需要将图纸中的每一个设计细节与数百条国家规范、地方标准逐一比对——从防火间距到无障碍通道宽度，从日照时长到疏散距离。一套大型住宅项目的施工图审查通常需要数周时间。

他的做法是：向工作台注入国家规范与地方规范，在 Skill 层面做「强化学习」式的优化（并非真的改模型，而是通过结构化的提示词和工作流编排，让AI在特定任务上表现出接近专项训练的效果）。软件读取 DXF 文件，通过坐标识别每一根线，再结合天正默认的图层命名规则理解线的意图与空间位置。DXF（Drawing Exchange Format）是Autodesk公司开发的一种开放的CAD数据交换格式，几乎所有建筑设计软件都支持，它以纯文本形式存储点、线、弧、文字等几何实体及其属性信息。在中国建筑行业，AutoCAD配合天正建筑插件是最主流的施工图绘制工具链，天正有一套约定俗成的图层命名规则——例如「WALL」表示墙体、「WINDOW」表示窗户、「DOTE」表示标注等，这使得程序可以通过图层名称推断每根线条的语义含义。AI介入审图的核心挑战在于：建筑图纸不是简单的图像，而是包含精确坐标、图层语义和标注信息的结构化数据，需要同时具备几何计算能力和规范条文的语义理解能力。

审查时先给项目定位、筛选适用规范，再逐条过滤。演示中，它成功识别出了消防车道、住宅轮廓、消防登高面、回车场、建筑防火间距等要素，并对确定项标记通过、对不确定项打问号。规范条文可以拖入窗口进行逐条对照验证。

AI学习网站

为了搞懂 Transformer 架构、Embedding 向量、卷积核这些抽象概念，UP主让AI抓取了 GitHub 上高 Star 的教程（如 LearnCode、Awesome Agentic AI、Karpathy 的神经网络教程），按章节归类、按学习顺序排序，形成了一张知识网络地图。

这里涉及的几个核心概念构成了理解现代AI系统的知识图谱核心节点。Transformer 是2017年Google在论文《Attention Is All You Need》中提出的神经网络架构，其核心创新——自注意力机制（Self-Attention）——使模型能够在处理序列中的每个元素时「关注」到序列中所有其他元素的信息，从根本上解决了长距离依赖问题，成为当今GPT、Claude、DeepSeek等几乎所有大语言模型的基础架构。Embedding（嵌入向量）是将离散符号映射到连续向量空间的技术，语义相近的词在向量空间中距离更近——经典的「国王-男人+女人≈女王」例子展示了词向量空间中语义关系的算术化，这也是语义搜索和RAG（检索增强生成）的数学基础。卷积核（Convolutional Kernel）则主要用于计算机视觉领域，是一个通过在图像上滑动并执行元素乘法来提取局部特征的小型矩阵，不同的卷积核可以检测边缘、纹理、形状等不同层次的视觉特征。Karpathy 的教程是指前OpenAI研究员、前Tesla AI总监 Andrej Karpathy 制作的系列课程（如《Neural Networks: Zero to Hero》），因从零手写构建神经网络的教学方式而广受好评，被认为是深度学习领域最好的入门资源之一。

更关键的是配套的互动工具——比如卷积核的实图机制动画、Token 分词器、Embedding 语义地图等。这些可视化工具的教学价值不可低估：纯数学公式往往让初学者望而却步，而动态可交互的演示能让抽象概念变得直觉可感。他的观点很有启发性：在Agent时代，视听维度更高的信息更容易被人接受，图片优于文字，视频又优于图片。

自媒体视频动画工作台

这是一个文案到动画的生成流程：左侧输入文案，AI进行语义切分——即根据文案内容的逻辑段落和叙事节奏，将长文本拆分为适合逐帧呈现的短片段；第二步在切分内容上添加特效；第三步像PPT一样编辑画面、添加文字框，实时预览。底部还有一条按时长定义宽度的整体快照时间轴，能显著节省做解释视频的时间。这种工作流将传统视频制作中需要在多个软件间反复切换的流程（文案写作→分镜设计→动画制作→合成剪辑）整合到了一个统一的可视化界面中。

助理机器人

这是一个信息筛选与推广工具。上半部分通过 Twitter/X CLI 抓取信息，可设置抓取数量与保留数量，AI会做关联性打分——这里的CLI（Command Line Interface，命令行接口）是指通过编程方式调用Twitter/X平台的数据接口获取推文内容，而非人工浏览。AI的关联性打分则是利用大语言模型的语义理解能力，对每条推文与用户关注主题的相关程度进行0-100分的评估，这比传统的关键词匹配更能捕捉语义层面的关联。相比传统搜索，噪音更小、自由度更高、没有广告。抓取本身是毫秒级，但为减少对平台压力，加入了几秒的搜索抖动——这是一种常见的反爬虫礼仪，通过在请求间随机插入延迟来模拟人类行为，避免触发平台的速率限制。

下半部分是自我推广小程序：先礼貌回复对方消息，再克制地推广自己的内容，生成的回复列表可逐条批准、拒绝或复制手动发送。这种「人在回路」（Human-in-the-Loop）的设计确保了AI生成的内容在发出前经过人工审核，避免了全自动化可能带来的社交风险。

健身训练地图

最简单的一个：点击身体某部位（如肩、上胸）即可查看训练方法与动作，并支持记录训练数据。功能简单，但体现了「任何想法都能快速落地」的理念。

从想法到落地：完整项目创建流程

为了展示完整流程，UP主现场创建了一个「艾尔登法环互动地图」项目。

步骤大致是：点击添加项目 → 选择布局（不满意可自定义，AI会注入提示词生成布局）→ 命名并选择项目文件夹 → 进入工作区。每个项目必须绑定一个对话，左侧工作台的小圆点既是对话入口，也是状态指示器——工作中会变成动态图标，完成后变为绿点。这种设计将Agent的运行状态可视化，让用户不必猜测AI是否还在处理任务。

他刻意用了「最简单的一句话」提示词来测试恶劣工作环境下的表现。最终DeepSeek自己生成了瓦片地图，可缩放、可标记、可搜索定位。不过他也坦率吐槽：「永远不要让DeepSeek自己去画内容，它画的东西很丑，它是一个纯理科生」，建议让它去网上找现成素材，并通过多轮沟通逐步修改。这一观察也印证了当前大语言模型的特点：它们擅长逻辑推理、代码生成和结构化组织，但在视觉审美和艺术设计方面仍有明显短板，将创意表达和素材选择交给专业的图像生成模型或人类设计师往往是更明智的策略。

这次一周的高强度使用消耗了接近30M token。Token是大语言模型处理文本的基本单位——模型并不直接理解文字，而是将文本切分成一系列子词单元（Token）后进行处理，中文大约2-3个字符对应一个Token，英文中一个常见单词通常是1-2个Token。30M（3000万）Token的消耗量相当于阅读或生成了约100本普通中文书籍的文本量。在Agent场景中，Token消耗量会远超单次问答——每一次工具调用都需要将工具描述、调用结果注入上下文，上下文窗口随对话深入不断膨胀，一次复杂的审图任务可能就需要消耗数十万Token。Token效率优化也因此成为Agent工程化的关键课题，常见策略包括上下文压缩、对话摘要缓存、分层模型调用（简单任务用小模型、复杂任务用大模型）等。DeepSeek此前以极低的API价格（一度低至每百万Token不到1元人民币）吸引了大量开发者，但近期的价格调整让高频使用者明显感受到了成本压力。他也直言在涨价之后成本「确实变肉疼了」。

Agent时代的交互革命：三点核心思考

UP主在最后给出的三点思考，比工具本身更值得玩味。

一、交互方式的升维

他认为AI大模型没变，「智能手机」还是那个智能手机，但交互方式变了。工作台就像给手机装上可操作的屏幕，右侧对话框是Siri，简单操作走屏幕，复杂任务交给对话。这是一次从「纯语音控制」到「图形+语音」的交互升维。

这一思考背后有着深厚的人机交互（HCI）理论支撑。从命令行到图形界面（GUI），从鼠标键盘到触摸屏，每一次交互范式的变革都带来了计算设备用户规模的数量级增长——命令行时代的计算机用户以百万计，GUI时代增长到数亿，触摸屏时代则达到数十亿。当前Agent的纯对话交互，本质上是一种退回到「命令行时代」的体验——用户需要用精确的语言描述意图，这对表达能力和耐心都提出了很高要求。认知科学研究表明，人类处理视觉信息的带宽远高于语言信息：我们一眼扫过一个仪表盘获取的信息量，可能需要数百字的文字描述才能等价传达。可视化工作台的价值在于将「直接操作」（Direct Manipulation）这一GUI的核心原则——由计算机科学家Ben Shneiderman在1983年提出——重新引入Agent交互，让用户可以看到、点击、拖拽，而不仅仅是描述。

二、满足「因为你是你」的独特需求

他强调，这个世界上一定存在只有你才想得到的需求。自媒体人可以用它管理稿件、在文字与视频媒体间转换；游戏玩家可以搭建辅助网页。工作台提供了一个「像乐高一样的底座」，以散装形式进入每个人的工作环境，让每个人都能拥有一块属于自己赛道的屏幕。

这一观点与软件行业的「低代码/无代码」运动形成了有趣的对照。过去十年，Notion、Airtable等低代码平台试图让非程序员也能构建应用，但实践中往往陷入「简单需求不需要它，复杂需求它做不到」的尴尬境地。而Agent+可视化工作台的组合提供了一种新的可能：AI承担代码生成的重活，可视化界面降低配置和调试门槛，从业者只需要贡献自己最擅长的领域知识。这本质上是一种「知识民主化」——把软件开发的门槛从「会写代码」降低到「懂业务逻辑」，让每一位从业者都有可能成为自己领域的工具创造者。

三、深入行业的「神经末梢」

这是最深刻的一点。UP主指出：厂商做的Agent一定是一个「中位数取值」，开发者能搭建通用基础设施，却很难进入各行各业去理解真实意图。这一洞察触及了AI产品化的核心矛盾——大厂在训练和部署Agent时必须面向最大公约数用户群体优化，通用能力强但垂直深度不足。这与经济学中的「长尾理论」形成呼应：头部通用需求（写邮件、总结文档、翻译）被大厂的产品覆盖，但数量庞大的尾部细分需求（建筑审图、特定行业合规检查、垂直领域的工作流自动化）却无人问津。这些长尾需求单个市场规模不足以支撑大厂的商业化投入，但加总起来却代表了巨大的价值空间。

而「一切皆插件」的开源机制，让Agent能走到那些尚未被AI彻底渗透的行业——比如他自己做的建筑审图。这种架构本质上是一种分布式创新机制，将AI能力的「最后一公里」交给最了解业务的从业者自己完成，让行业知识的编码工作从中心化的模型训练转移到去中心化的插件开发。这与开源软件运动的精神一脉相承——Linux内核由全球开发者协作维护，WordPress通过插件生态支撑了全球43%的网站，成功的平台不是自己做所有事，而是赋能生态中的每一个参与者。

「每个行业的需求，只有从业者才知道。这是你所在的位置才能做成的产品。」

零入侵设计：一个负责任的技术原则

最后一个细节体现了成熟的工程思维：保证对宿主的干净，不改动、不替换。

他解释道，当前 Harness 还是 0.1 版本（视频中当天刚更新视觉模型预览版），后续必然频繁改动。因此他的插件完全通过插座协议实现，是一个「零入侵的原生增量插件」，即便官方频繁更新，自己的项目也不会因此丢失。这种「零入侵」原则在软件工程中有着广泛的实践——从Linux内核模块到浏览器扩展，成熟的插件系统都强调与宿主的松耦合。在软件架构中，这被称为「开闭原则」（Open-Closed Principle）：软件实体应该对扩展开放、对修改关闭。特别是在宿主处于早期版本快速迭代阶段时，紧耦合的修改（如直接修改源码、替换核心文件）会在每次更新时引发大量兼容性问题——开发者可能不得不在每次宿主升级后重新适配自己的改动，这种维护成本会随版本迭代指数级增长。而通过标准化接口通信的插件则可以最大限度地隔离变化，只要接口约定不变，宿主的内部重构就不会影响插件的正常运行。

后续他还计划真正编写面板的 JSON 配置，把界面做得更像真正的仪表盘。对于想拥有专属AI工作台的开发者和从业者来说，这个已开源的项目无疑提供了一个值得研究的起点。

核心要点