Geoffrey Hinton
杰弗里·辛顿(Geoffrey Hinton)是英裔加拿大计算机科学家与认知心理学家,被誉为'深度学习之父'之一。他长期任职于多伦多大学,并曾在谷歌担任研究职务。其主要学术贡献涵盖反向传播算法的推广、玻尔兹曼机、深度神经网络训练方法及知识蒸馏技术等,对现代人工智能和机器学习领域产生了深远影响。2018年与Yann LeCun、Yoshua Bengio共同荣获图灵奖。
核心事实
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
模型蒸馏(Knowledge Distillation)最初由 Hinton 等人于2015年提出,核心思想是让小模型学习大模型的软标签而非硬标签
Yann LeCun、Geoffrey Hinton和Yoshua Bengio因在深度学习领域的奠基性贡献共同获得2018年图灵奖
时间轴 (近 90 天)
2016年,Geoffrey Hinton公开表示人们应该停止培训放射科医生,并预言五年内深度学习在阅片上的表现会超过人类。
Hinton在近期一档播客中承认自己当年关于放射科医生的判断有误,并认同弹性需求的论点。
签名者名单中包含Geoffrey Hinton、Yoshua Bengio、Stuart Russell、Yejin Choi、Ron Rivest等学者
Hinton 的「异类」框架指出:安全问题的本质是在人类不再是唯一智能主体的世界里,让人类文明继续存续并保有尊严,这一问题没有纯技术解。
Hinton 表示他愿意「自私地」选择站在人类一边。
Geoffrey Hinton 用「异类存在」(alien beings)比喻人类正在创造的不是工具,而是某种异类智能。
HN上关于Hinton发言的讨论帖评论区只有3条,讨论热度不算高。
RLHF、宪法AI、可解释性研究三条路线共同的前提是「让系统可控」,而Hinton的「异类」框架质疑这一前提是否成立。
Geoffrey Hinton是诺贝尔奖得主,签署了2023年关于AI灭绝风险的公开声明,后来表示后悔自己的工作并呼吁各国政府在为时已晚之前约束AI公司。
1986年,Rumelhart、Hinton与Williams在《Nature》杂志发表了论文《Learning representations by back-propagating errors》
还有 29 条时间轴事件
全部知识事实 (20)
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
90%已验证模型蒸馏(Knowledge Distillation)最初由 Hinton 等人于2015年提出,核心思想是让小模型学习大模型的软标签而非硬标签
90%已验证Yann LeCun、Geoffrey Hinton和Yoshua Bengio因在深度学习领域的奠基性贡献共同获得2018年图灵奖
90%已验证2012年AlexNet在ImageNet大规模视觉识别挑战赛(ILSVRC)中以超出第二名近11个百分点的优势夺冠,将Top-5错误率从26%降至15.3%
90%已验证反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及,其数学核心是链式法则
80%已验证知识蒸馏(Knowledge Distillation)最初由Geoffrey Hinton等人在2015年提出
80%已验证模型蒸馏技术最早由Geoffrey Hinton等人在2015年提出
80%已验证模型蒸馏技术由Geoffrey Hinton团队于2015年提出,最初用于模型压缩,通过让学生模型拟合教师模型的软标签输出
70%已验证知识蒸馏由Hinton等人提出,让学生模型通过学习教师模型输出的软概率分布继承隐性知识
70%已验证图灵奖得主Geoffrey Hinton和Yoshua Bengio曾公开表达过对高级AI系统失控的担忧
65%已验证Geoffrey Hinton是2024年诺贝尔物理学奖得主
65%已验证Hinton在2022年提出了前向-前向算法(Forward-Forward Algorithm)作为反向传播的替代探索
65%待验证2006年Geoffrey Hinton提出深度信念网络的逐层预训练方法
90%待验证Hinton等人在深度学习取得突破之前已经在'神经网络寒冬'中坚持研究长达数十年
90%待验证辛顿指出AI已经展现出欺骗能力,会为了自我保存而制定计划欺骗人类以避免被关闭
85%待验证Geoffrey Hinton、Yann LeCun、Yoshua Bengio三人荣获2018年图灵奖
70%待验证辛顿称AI的任务处理能力大约每七个月翻一倍
60%待验证2016年,Geoffrey Hinton公开表示人们应该停止培训放射科医生,并预言五年内深度学习在阅片上的表现会超过人类。
50%待验证Hinton在近期一档播客中承认自己当年关于放射科医生的判断有误,并认同弹性需求的论点。
50%待验证Geoffrey Hinton 用「异类存在」(alien beings)比喻人类正在创造的不是工具,而是某种异类智能。
50%