Google Brain
谷歌旗下AI研究团队,已并入Google DeepMind,2022-2023年与DeepMind团队几乎同步提出投机解码技术
核心事实
时间轴 (近 90 天)
吴恩达在Google Brain、百度和Landing AI的实践经验基础上总结了AI Transformation Playbook企业AI转型方法论。
Mintive由两位在Google Brain和Coursera有数十年AI经验的工程师创立。
Gemini 这个名字由 Jeff Dean 解释为指代合并的两个团队(Google Brain 和 DeepMind),并叠加了 NASA Gemini 计划和双子座神话。
TypeSafe的管理团队为:首席执行官Diogo Almeida、首席技术官Erik Gafni、首席运营官Sasha Sheng,三人此前分别就职于OpenAI、Google Brain和Meta的FAIR研究组。
TypeSafe AI的CEO Diogo Almeida曾任职于Google Brain和OpenAI,是InstructGPT论文的核心作者之一,并参与过RLHF、ChatGPT和GPT-4的相关工作
Diogo曾与Jeremy Howard共事、在Google Brain工作,之后加入OpenAI
Google Brain的NASNet需要在数百块GPU上运行数千小时才能找到在特定任务上表现优异的架构
吴恩达是深度学习领域的先驱之一、Coursera联合创始人以及Google Brain项目的早期核心人物
Character.AI由前Google Brain研究员Noam Shazeer和Daniel De Freitas于2021年创立
Jeff Dean主导创立了Google Brain团队,推动了TensorFlow等深度学习框架的诞生
还有 15 条时间轴事件
全部知识事实 (20)
BF16最初由Google Brain团队为TPU设计,保留与FP32相同的8位指数位,尾数从23位缩减到7位
90%已验证2022年Google Brain的Jason Wei等人发表的思维链(Chain-of-Thought)提示论文首次系统证明加入逐步推理示例能使PaLM等大模型在数学推理任务上准确率大幅提升
90%已验证ReAct框架由普林斯顿大学和Google Brain团队在2022年的论文中提出
90%已验证Google DeepMind由2014年收购的DeepMind与谷歌内部的Google Brain团队于2023年合并而成
90%已验证思维链推理(Chain-of-Thought, CoT)由Google Brain团队在2022年提出,通过引导模型展开逐步推理来提升复杂任务的准确率
90%已验证BF16(Brain Floating Point 16)是Google提出的浮点数变体,保留了FP32的8位指数范围但将尾数缩减至7位
90%已验证Chain-of-Thought提示技术由Google Brain团队在2022年的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中正式提出
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Vision Transformer(ViT)由Google Brain团队于2020年提出,将Transformer架构引入计算机视觉领域
90%已验证推测解码(Speculative Decoding)范式由Google Brain和DeepMind团队于2023年几乎同期提出
90%已验证Chain-of-Thought技术最初由Google Brain团队的Jason Wei等人在2022年的论文中系统化提出
80%已验证吴恩达曾担任Google Brain项目的创始负责人和百度首席科学家
80%已验证TensorFlow由Google Brain团队于2015年开源发布
80%已验证2022年谷歌Brain团队在论文《Emergent Abilities of Large Language Models》中首次系统记录了大语言模型的'涌现能力'现象
80%已验证涌现能力概念由Google Research团队(Wei et al.)在2022年论文《Emergent Abilities of Large Language Models》中系统阐述,该论文考察了超过200个任务
75%已验证Andrew Ng 是斯坦福大学教授、Coursera 联合创始人,其机器学习课程自2011年上线以来已有超过500万人注册
75%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出,其核心自注意力机制能捕捉序列中任意位置之间的依赖关系
70%已验证MoE在大语言模型时代被Google的Switch Transformer(2021年)和GLaM重新激活
70%已验证BF16相比FP16拥有与FP32相同的8位指数位宽,因此动态范围更大,已成为当前主流大模型训练精度选择
70%已验证EfficientNet是Google Brain团队于2019年提出的高效网络,通过复合缩放策略同时优化网络深度、宽度和分辨率
65%