[控场AI]
· 6 分钟阅读· 3,349 字

Google无障碍功能大更新:手语转文字、Rambler语音转文本等

Google无障碍功能大更新:手语转文字、Rambler语音转文本等

Google发布多产品线无障碍更新,涵盖手语翻译、自然语音输入与AI视觉辅助。

Google公布了一系列跨Pixel、Android、Chrome、Gboard、Gemini、Workspace和Search的无障碍功能更新。核心亮点包括:Pixel 11上线的Rambler可将含自我纠正和语气词的口语转为可用文本并支持语音编辑;Sign-to-Text基于SL2T模型将美国手语实时翻译为书面英语;Guided Frame集成Gemini,让盲人用户用语音指令拍摄特定主体,Guided Vision则提供交互式音频指导。此外还有缓解晕动症的Motion Assist、Voice Access与Gboard的细节优化、Chrome沉浸式阅读模式、Workspace与Gemini的执行功能指南,以及Search AI模式的键盘导航改进和全新无障碍帮助社区。多数新功能首发于Pixel 11,后续将扩展至更多设备与语言。

Google近日发布了其无障碍功能的最新进展,涵盖Pixel、Android、Chrome、Gboard、Gemini、Workspace和Search等多条产品线。从手语实时翻译到语音转文本新工具,这些更新旨在让技术更普惠。以下是本次发布的核心内容。

Rambler:更自然的语音转文本

Google在Pixel 11设备上推出了名为Rambler的新功能,它可以将口语智能地转换为书面文本。与现有Gboard的语音输入不同,Rambler允许用户自然说话,即使有自我纠正、重复或“嗯”“啊”等语气词,也能捕捉关键内容并生成可用的文本。之后,用户还能通过语音轻松编辑文本。对于TalkBack用户,可以通过双指双击手势快速启动和停止该功能。

Rambler实时英文转换

Rambler目前仅支持Pixel 11,未来将扩展到更多设备。这标志着语音输入从“准确转录”向“理解意图”迈进了一步。

语音转文本中的“意图理解”与“准确转录”有何区别?

传统语音转文本(ASR)系统的目标是将音频逐字转写为文字,衡量指标通常是词错误率(WER)。这类系统对停顿、重复、自我纠正和填充词(如“嗯”“啊”)缺乏处理能力,用户必须刻意说得清晰流畅。而“理解意图”的语音输入则引入语义层:模型在转写的同时判断用户最终想表达什么,主动删除冗余、合并自我纠正后的最终表述,并保留可编辑的结构。这通常依赖端到端的语音大模型或ASR后接大语言模型进行改写。Rambler所代表的正是这一方向,它把语音输入从“听写工具”升级为“表达助手”,但也带来新的挑战,例如如何在不丢失用户原意的前提下做删除决策,以及如何让语音编辑指令与正文内容可靠区分。

Sign-to-Text:手语实时转写

最引人注目的是Sign-to-Text功能,它可以将美国手语(ASL)实时翻译成书面英语。该功能与聋人和听障社区合作开发,基于多语言手语到文本翻译模型SL2T,能够分析手形、面部表情等特征,支持单手和双手手语。

用户可以在Gboard中任何需要输入的地方使用手语,例如搜索网页、提示Gemini、起草消息或文档,甚至通过Live Transcribe与他人对话。Sign-to-Text目前也仅限于Pixel 11,未来将支持更多设备和手语。

手语翻译为何比语音转文本更难?

手语并非有声语言的逐词手势化,而是拥有独立语法、空间句法和非手动标记(面部表情、口型、眉毛动作、身体倾斜)的完整语言。美国手语(ASL)中,同一个手势配合不同面部表情可表达疑问、否定或程度差异,因此仅识别手形远远不够。SL2T这类“手语到文本”模型需要同时处理视频中的手部关键点、姿态和面部特征,并将其映射到目标语言的词序,这本质上是跨模态、跨语序的机器翻译问题。此外,手语的地区变体和个体风格差异大,标注数据稀缺,模型泛化困难。实时性要求还意味着推理必须在设备端低延迟完成,这也是该功能初期仅限Pixel 11的原因之一。

Guided Frame与Guided Vision:AI助力视觉障碍用户

Pixel相机应用中的Guided Frame功能现已集成Gemini。盲人或低视力用户可以通过语音提示拍摄特定主体,例如在早餐桌上说“聚焦右上角的煎蛋卷”,Guided Frame便能帮助捕捉该画面。该更新目前适用于Pixel 11系列,并将很快支持Pixel 6a及更新设备。

Guided Vision提供音频指导

此外,Guided Vision with Gemini让用户不仅能描述眼前景象,还能与之交互。启用后,用户可以在Gemini Live中分享摄像头画面,获取周围环境的音频指导,比如逐字阅读食品标签上的小字、识别颜色差异、在昏暗餐厅点餐或寻找家居物品。Gemini还能通过提示调整摄像头取景来提供更准确的指导。

Motion Assist:缓解乘车时的晕动症

针对在移动车辆中使用Android设备时感到晕动症的用户,Google推出了Motion Assist。该功能在屏幕上添加微妙的气泡覆盖层,气泡随车辆移动,从而弥合视觉与身体感受之间的差距,让旅途中的手机使用更舒适。Motion Assist适用于Android 17及更高版本。

晕动症的感官冲突理论

晕动症的主流解释是“感官冲突”假说:当视觉系统感知到静止的车内环境,而前庭系统感受到车辆加减速与转弯时,大脑接收到互相矛盾的运动信号,从而引发恶心、头晕等反应。乘车时看手机加剧了这一冲突,因为视线被固定在随车移动的屏幕上,视觉几乎完全失去对车辆运动的参照。Motion Assist的思路是在屏幕上叠加随车辆运动方向轻微移动的气泡,为视觉系统提供与身体感受一致的运动线索,从而缩小两者差距。类似思路也出现在自动驾驶与VR领域,例如在视野边缘显示与加速度同步的移动点阵。其效果因人而异,通常作为行为干预(如抬头看远处)之外的辅助手段。

Voice Access与Gboard的细节改进

Android的Voice Access获得了新功能,使免手操作更流畅。重新设计的反馈栏会根据语音内容自动调整大小,悬浮在屏幕顶部下方,保持时钟、电池和通知可见。说话时会有蓝色光晕,响应文本的轮廓可根据用户偏好的字体大小调整。此外,Voice Access现在可以通过联系人名字的发音而非精确拼写来识别联系人,对于相似名字会弹出快速菜单供用户选择。

Voice Access通过发音选择联系人

Gboard中,表情符号的大小现在会自动与设备系统字体大小对齐,方便低视力用户或依赖大号显示文本的用户。默认缩放比例还可以覆盖,表情符号尺寸可自定义。

Chrome与Workspace的无障碍增强

Chrome浏览器的阅读模式(Reading Mode)现在提供全页面、完全沉浸式的体验,旨在减少繁忙网页上的视觉干扰。

Workspace与Gemini合作,针对执行功能挑战提供了新指南。Google与Understud.org合作,为有学习和思考差异的人群创建了有效工作指南,包括使用Gemini创建文档初稿、在Google日历中安排专注时间并静音通知、在演示时做笔记或总结长邮件线程等策略。

Workspace with Gemini协助执行功能

执行功能与无障碍的关系

执行功能指大脑管理计划、启动任务、维持注意力、抑制冲动和切换任务的一组认知能力,注意力缺陷多动障碍(ADHD)、自闭症谱系、学习障碍和脑损伤人群常在其中遇到困难。它虽不属于传统感官无障碍范畴,却直接影响数字产品的可用性:长邮件线程、多步骤文档创建和频繁通知都会造成认知过载。Google与Understood.org合作提供的指南,本质上是把“认知无障碍”纳入产品支持范围,通过让Gemini承担起草、总结和笔记等认知负荷较高的环节,并用日历专注时段与通知静音减少干扰,来降低使用门槛。这反映了无障碍设计正从视觉、听觉、运动扩展到认知维度。

Search与全新帮助社区

Search的AI模式推出了两项键盘导航更新:桌面端快捷键允许用户在输入框、提示和对话历史中的回复之间快速导航;新的跳转链接帮助用户轻松返回对话中的早期点。

最后,Google推出了官方的Google Accessibility Help Community,这是一个专为依赖辅助技术或无障碍功能的用户打造的枢纽。用户可以在此解决问题、与全球用户和无障碍倡导者联系,并交流实用技巧。访问 support.google.com 的无障碍社区加入讨论。

更多信息请访问新网站 accessibility.google。

#Google无障碍#手语转文字#Rambler#Sign-to-Text#Guided Frame#Voice Access#Gemini#Pixel
分享:

相关推荐