GPT
GPT（Generative Pre-trained Transformer）是由OpenAI开发的大规模预训练语言模型系列，基于Transformer架构，通过在海量文本数据上进行无监督预训练后经微调使用。该模型系列具备自然语言理解与生成能力，可执行文本续写、问答、摘要、翻译、代码生成等多种任务，是自然语言处理领域的代表性基础模型之一。
核心事实
时间轴 (近 90 天)
参与测试的是Codex/GPT系列和Opus系列的代表性智能体系统
实现任务链通常依赖具备工具调用能力的大语言模型（如支持Function Calling的GPT或Claude系列）和多模态模型两类技术支撑
GPT系列和CLIP是基础模型的典型代表
openai-agents-python 在调用 GPT 系列模型时相比中间适配层延迟更低、行为更可预期
Khoj 兼容多种大模型，包括在线的 GPT、Claude、Gemini 及本地部署的 Llama、Qwen、Mistral
bert4keras 以极简代码实现了 BERT、RoBERTa、ALBERT、GPT 等系列模型
租用闭源前沿模型指通过API调用GPT、Claude、Gemini等由大厂托管的顶级模型
当前绝大多数企业接入AI能力的方式是调用第三方API，如GPT系列、Claude等前沿模型
UP主在2022年末、2023年初时认为GPT只是个玩具，直到4o模型出现才意识到判断失误
不同模型在代码风格、上下文理解、错误处理上存在明显差异
还有 40 条时间轴事件
全部知识事实 (20)
GPT和BERT等大语言模型基于自监督学习范式
90%已验证GPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%已验证GPT系列模型基于Transformer架构，通过海量文本预训练和人类反馈强化学习（RLHF）进行对齐优化
85%已验证Notable examples of Large Language Models include OpenAI's GPT series, Google's Gemini, Anthropic's Claude, and Meta's LLaMA.
80%已验证GPT系列使用tiktoken（基于BPE编码）进行Token化
80%已验证GPT系列采用Transformer的解码器（Decoder-only）变体，通过自回归方式逐Token预测下一个词
80%已验证VLM（视觉语言模型）通常由视觉编码器（如ViT）、语言模型和连接两者的投影层组成，代表性模型包括GPT-4V/4o、Claude 3.5、LLaVA系列和InternVL
80%已验证Function Calling（函数调用）机制最早由OpenAI在2023年引入GPT系列模型
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证GLM采用了独特的自回归填空预训练范式，与GPT的纯自回归和BERT的纯掩码语言模型都有所不同
80%已验证GPT系列模型使用字节对编码（Byte Pair Encoding，BPE）算法将文本切分为Token
80%已验证OpenAI的Codex配合GPT-5据称编程能力可与Claude Code媲美
80%已验证Few-Shot提示的上下文学习（In-Context Learning）能力在GPT-3的论文中被首次系统性描述
80%已验证GPT-4、Claude等大语言模型的代码生成能力源于训练数据中包含了GitHub上数以亿计的开源代码库
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证GLM采用自回归填空训练目标，通过对文本片段随机遮蔽并要求模型自回归还原
75%已验证现代LLM（如GPT系列、Claude、Llama）均基于Transformer架构，其解码过程本质上是一个马尔可夫链
75%已验证GPT系列由OpenAI以英文互联网语料为主体训练，采用自回归架构
75%已验证The core mechanism of Large Language Models like the GPT series is a deep neural network based on the Transformer architecture
70%已验证项目通过OpenRouter接入大语言模型，OpenRouter作为AI模型网关支持统一API调用多种大模型如GPT-4、Claude、Llama等
70%