上下文学习

Few-Shot提示的上下文学习（In-Context Learning）能力在GPT-3的论文中被首次系统性描述

单纯堆砌参数而训练数据不足会导致模型大而不强，参数跃升需配合同步扩大的训练语料与算力才能兑现能力增益

提示词工程的有效性根植于大语言模型的「上下文学习」（In-Context Learning）能力，无需修改模型权重即可实现任务切换

TabPFN（Tabular Prior-Data Fitted Network）由Hollmann等人于2023年提出，在大量合成表格数据集上预训练Transformer来学习表格预测元任务

上下文学习（In-Context Learning）指大语言模型无需更新权重，仅通过在输入提示中提供示例或指令即可执行新任务的能力，该能力在 GPT-3 论文中被首次系统性描述

少样本示例是提示词中嵌入的“用户提问—理想回答”配对，用于示范期望的回答风格、格式和推理模式，实现不微调的上下文学习

上下文学习在表格领域的机制通常依赖注意力机制，让预测样本与上下文中的训练样本直接交互，相当于推理时进行软检索加权。

转向前沿LLM后，团队获得了上下文学习和持续学习两个额外好处：机器人可通过少量示例快速理解新任务无需重新训练；遇到新情况时大模型介入调整整个流水线，使系统能随部署时间推移不断进化。

深度学习模型的训练并非完全可解释的过程，研究者经常在训练后评估中发现未被明确设计的能力，例如上下文学习、思维链推理、工具调用倾向等。

对话中用户的负面语气可能通过上下文学习机制触发模型更直接或生硬的回应风格，而非模型形成长期"性格"。

Eric Bigelow主张上下文学习的广义定义是：所有不在模型权重内部发生、运行时动态改变模型行为的过程

TabFM采用的推理范式是上下文学习（In-Context Learning，ICL），该概念最早在GPT-3中被系统性展示

该模型预训练阶段使用带标签的上下文及其真实阈值，推断阶段则仅从上下文中推断全新阈值

Frank Hutter认为表格数据的迁移应发生在模式（patterns）层面而非数据行层面，上下文学习是实现这种迁移的关键技术

TabPFN是以上下文学习为核心的新一代表格基础模型，在海量合成的多样化表格任务上预训练

TabICL（Tabular In-Context Learning）把表格预测问题转化为上下文学习任务，实际使用时只需一次推理，省去训练与超参数搜索环节

多智能体框架中拟人化风格的延续本质上是上下文学习（in-context learning）在风格层面的体现，而非智能体之间存在真正的意图传递或情感共鸣

归纳头是理解上下文学习（in-context learning）能力的重要线索

GPT-3之后研究者发现通过精心设计的提示，单一大模型即可零样本或少样本完成多类任务，这一范式被称为In-Context Learning

少样本示例（Few-shot Prompting）的工作原理基于Transformer注意力机制，无需更新模型权重，被称为上下文学习（In-context Learning）