端侧智能体
时间轴 (近 90 天)
选择本地推理方案时,除参数量和 benchmark 外,还需关注激活参数、内存占用、以及是否针对工具调用做了格式与延迟上的优化。
端侧智能体指在手机、笔记本或边缘设备上本地运行、能够自主规划并调用工具完成多步任务的 AI 系统,而非仅做单轮问答。
端侧智能体对模型的要求与云端智能体有明显差异,低延迟和稳定的结构化输出往往比绝对智能水平更关键。
针对智能体身份验证与人类授权的问题,目前业界尚未形成被广泛采纳的开放标准
现代手机已能在本地运行大型MoE(混合专家)模型并维护个人知识图谱
文章建议对高风险动作保留独立于模型推理链路的人类确认环节,避免将授权判断完全交给可能被投毒的推理链路
文章建议不要让智能体裸用用户会话令牌,应为其分配范围受限的独立凭证
在大多数现有实现中,端侧智能体直接借用用户的会话令牌(session token),使得智能体请求与用户本人请求在服务端视角下无法区分
为智能体分配独立密钥可使服务端区分「用户直接操作」和「智能体代理操作」并施加不同权限边界
全部知识事实 (9)
选择本地推理方案时,除参数量和 benchmark 外,还需关注激活参数、内存占用、以及是否针对工具调用做了格式与延迟上的优化。
50%待验证端侧智能体指在手机、笔记本或边缘设备上本地运行、能够自主规划并调用工具完成多步任务的 AI 系统,而非仅做单轮问答。
50%待验证端侧智能体对模型的要求与云端智能体有明显差异,低延迟和稳定的结构化输出往往比绝对智能水平更关键。
50%待验证针对智能体身份验证与人类授权的问题,目前业界尚未形成被广泛采纳的开放标准
50%待验证现代手机已能在本地运行大型MoE(混合专家)模型并维护个人知识图谱
50%待验证文章建议对高风险动作保留独立于模型推理链路的人类确认环节,避免将授权判断完全交给可能被投毒的推理链路
50%待验证文章建议不要让智能体裸用用户会话令牌,应为其分配范围受限的独立凭证
50%待验证在大多数现有实现中,端侧智能体直接借用用户的会话令牌(session token),使得智能体请求与用户本人请求在服务端视角下无法区分
50%待验证为智能体分配独立密钥可使服务端区分「用户直接操作」和「智能体代理操作」并施加不同权限边界
50%