[控场AI]
· 5 分钟阅读· 2,974 字

零代码打造个人实时AI语音助手:打通日历、表格与Notion

零代码打造个人实时AI语音助手:打通日历、表格与Notion

Neural Nine 展示个性化实时语音助手,可跨日历、表格、Notion 和邮箱读写操作。

Neural Nine 频道演示了一个完全个性化的实时语音助手 Mike,它通过语音完成日历读取与写入、Google Sheet 时间记录、Notion 待办勾选与新增,以及邮箱摘要读取。与 Siri、Alexa 等消费级助手不同,它能真实写入外部应用,并接受用户对数据字段格式的反馈。文章将其技术路径拆解为三层:实时语音管线(低延迟 STT/TTS)、意图理解与工具路由(大模型函数调用)、外部 API 集成(OAuth 与接口封装)。作者指出,个人化助手的构建门槛已大幅降低,核心工作量从 API 对接转向提示词设计与工具描述,而 Notion 播报中的重复语句则提示实时语音场景需要流式输出的兜底逻辑。

从演示看能力:一个真正"动手"的语音助手

在多数语音助手还停留在"查天气、放音乐"的阶段时,Neural Nine 频道展示了一个完全个性化的实时语音助手:它不仅能回答日历安排,还能直接写入新事件、修改 Google Sheet 时间记录、勾选 Notion 待办事项,甚至读取邮箱摘要。整个交互是实时语音完成的,没有手动点按,也没有切换应用。

从演示脚本来看,用户先询问"今天有什么日程",助手准确报出两个会议时间;随后用户要求"19:30 加一个和 Alex 的通话",助手确认已添加。接着用户让它在 Google Sheet 中记录工作时段,助手不仅写入了数据,还回应了用户对格式的追问——用户提出"也许我们只想要时间,不要日期,或者加一个日期字段",说明助手能理解并处理字段格式的细微调整。

日历新增事件后助手确认

这种"读写一体"的能力,是它与 Siri、Alexa 等消费级助手的核心差异。后者大多只读不写,或者写入能力局限于自家生态。而这个助手是把日历、表格、Notion 当作可操作的外部工具来调用。

跨应用编排:三个场景揭示的技术路径

场景一:日历的读取与写入

助手先读取当日事件,再根据语音指令新增事件。这背后需要两个能力:自然语言理解(解析"19:30""和 Alex""通话"等要素)以及日历 API 的写入权限。用户确认"日历里能看到新事件",说明写入是真实生效的,而非模拟。

你可能没注意到,助手在添加事件后没有多余追问,直接给出确认语句,交互节奏接近人类助理。

场景二:Google Sheet 的格式适配

时间追踪场景暴露了一个真实痛点:语音输入天然缺少结构化字段。用户先要求"看看格式,正确录入",助手完成了 15:30 到 16:30 的记录。随后用户提出优化建议——只保留时间、或额外增加日期字段。

调整时间字段格式的讨论

这段对话说明助手并非硬编码单一模板,而是能接受用户对数据结构的反馈。对开发者而言,这意味着工具调用层需要保留参数可配置性,而不是把字段写死。

场景三:Notion 待办与邮箱读取

Notion 部分出现了演示中的小插曲:助手在播报待办时重复了多次"you have two to-do's",随后才列出"done"和"writing a book"两项。用户要求"勾选两项,并新增'录视频'待办",助手确认两项已勾选、新待办已添加。

Notion 待办勾选与新增

邮箱读取则相对简单:助手报出"一封来自 Florian Deedov(Neural Nine)的邮件,主题是 hello"。这属于只读操作,技术门槛低于写入类任务。

技术拆解:实时语音助手的三层架构

虽然视频未展示代码细节,但从功能表现可以反推一个典型架构:

第一层是实时语音管线。 "实时"意味着语音识别(STT)与语音合成(TTS)必须低延迟衔接,否则对话会断裂。演示中用户与助手来回多轮,没有明显等待感,说明管线经过优化。

第二层是意图理解与工具路由。 用户说"在 Google Sheet 里记录",助手需要判断这是表格写入而非日历操作;说"勾选待办",则路由到 Notion。这通常由大语言模型完成意图分类与参数抽取,再把结构化指令交给对应的工具函数。

第三层是外部 API 集成。 日历、Google Sheet、Notion、邮箱各自需要认证与接口封装。演示中所有操作都真实反映在用户界面上,说明集成是端到端打通的。

一个容易被忽略的细节是错误处理:Notion 播报时的重复语句,可能是模型在流式输出中自我修正的痕迹。这类瑕疵在实时语音场景中比文本场景更明显,也是个人开发者需要预留兜底逻辑的地方。

函数调用(Function Calling) 是大语言模型将自然语言指令转化为结构化工具调用的关键机制。模型在生成回复时,可以输出一个符合预定义 JSON Schema 的调用请求,其中包含工具名称和参数。例如用户说“19:30 加一个和 Alex 的通话”,模型会生成 {"tool": "calendar.create_event", "time": "19:30", "title": "和 Alex 的通话"} 这样的结构化数据,再由外部代码执行真正的 API 调用。这一机制让开发者无需训练专用意图分类器,只需用自然语言描述工具用途和参数格式,模型即可在对话中自主路由。演示中助手能区分日历写入与表格记录,正是依赖函数调用对工具描述的语义理解。

流式输出(Streaming) 指模型边生成边返回 token,而非等待完整回复生成完毕再一次性输出。在实时语音场景中,流式输出让 TTS 可以尽早开始朗读,显著降低首字延迟,使对话节奏更接近人类。但流式输出也带来一个副作用:模型可能在生成过程中“自我修正”,导致已输出的内容出现重复或矛盾。演示中 Notion 播报重复“you have two to-do's”即可能是流式生成时模型对前文措辞的再确认。开发者通常需要在 TTS 前加入缓冲或后处理逻辑,过滤明显的重复片段。

对个人开发者的启示

这个项目的价值不在于用了多前沿的模型,而在于证明了"个人化助手"的可行性门槛已经大幅降低。过去要做一个跨日历、表格、笔记、邮箱的助手,需要处理四套 OAuth 流程和四套 API 文档;现在借助大模型的函数调用能力,核心工作量转移到提示词设计与工具描述上。

另一个启示是"个性化"的含义。视频里的助手名为 Mike,专注于 Neural Nine 这一频道场景,语气和职责都是定制的。消费级助手追求通用,而个人助手可以只服务一个人的工作流——这反而让它在特定任务上更顺手。

从演示的完成度看,这套方案已经能覆盖日常的日程管理、工时记录和任务清单维护。如果继续迭代,格式追问那段对话提示了一个方向:让助手主动询问字段偏好,而不是等用户纠正。

完整演示可在 Neural Nine 的 YouTube 频道观看,视频结尾作者总结:"我们构建了自己的个人实时语音助手,完全个性化。"

OAuth 2.0 是 Google、Notion 等平台授权第三方应用访问用户数据的标准协议。以 Google Calendar 为例,开发者需在 Google Cloud Console 注册应用、获取客户端 ID 与密钥,再引导用户跳转授权页同意特定 scope(如日历读写权限),最后用授权码换取访问令牌。每个平台都有独立的授权流程和令牌刷新机制,过去集成四个应用意味着维护四套 OAuth 逻辑。如今借助大模型的函数调用,开发者仍需要完成 OAuth 对接,但可以将更多精力放在工具描述与提示词设计上,因为模型能根据自然语言描述自动选择工具并填充参数,降低了意图解析层的开发成本。

#实时语音助手#AI语音助手#个人AI助手#Notion自动化#Google Sheet自动化#语音助手开发#大模型工具调用
分享:

相关推荐