概念
视觉Token
视觉语言模型处理图像的基本单位，图像被分割成图块后经视觉编码器映射为特征向量，与文本Token共同参与自注意力计算。
时间轴 (近 90 天)
11月5日
CUAs中每张截图被表示为数千个视觉Token，随交互历史累积形成超长上下文，且大部分视觉Token要么与下一步动作语义无关，要么在连续截图间时间冗余。
待验证50%
11月5日
在语言模型中，视觉Token与文本Token拼接后共同参与自注意力计算，其计算开销随Token数呈平方级增长。
待验证50%
9月1日
图像被分割为固定大小的Patch，经视觉编码器转换为视觉Token，再通过投影层映射到与文本Token相同的嵌入空间，与文本Token一起送入语言模型联合推理
待验证50%