T5

现代LLM（如GPT系列、Claude、Llama）均基于Transformer架构，其解码过程本质上是一个马尔可夫链

T5由Google于2019年提出，将所有NLP任务统一为文本到文本格式

BERT 采用编码器架构，GPT 系列采用解码器架构，T5 和 BART 采用编码器-解码器架构

BERT于2018年由Google提出，是双向编码器；GPT于2018年由OpenAI提出，是自回归解码器

Transformers框架支持的文本模型包括GPT、BERT、LLaMA、T5等，视觉模型包括ViT、CLIP、Stable Diffusion等，音频模型包括Whisper、Wav2Vec等，多模态模型包括LLaVA、Qwen-VL等

Encoder-only architectures are suited for understanding tasks, decoder-only for generation tasks, and encoder-decoder for sequence-to-sequence tasks like translation

Transformers come in three variants: encoder-only (like BERT), decoder-only (like GPT), and encoder-decoder (like T5)

2018年Transformer出现后，行业走出三条技术路线：只用编码器的BERT路线、只用解码器的GPT路线，以及编码解码一起用的T5路线。

该方案所需的文本编码器体积约14G，通常采用较大的T5系列编码器以支持更复杂的提示词理解。

T5 做摘要时通常采用抽象式生成，即重新组织语言而非抽取原句，因此需要与语音转录质量配合——转录中的错字和口语冗余会直接影响摘要的连贯性。

AccessLearnAI 的流水线由四个阶段组成：Whisper 负责语音转文字，T5 负责摘要压缩，edge-tts 将摘要转回语音，最后将文本转换为盲文。

T5 是 Google 提出的统一文本到文本框架，把摘要、翻译、分类等任务表述为'输入文本→输出文本'，原始最大版本约 110 亿参数，实际部署常用 T5-small、T5-base 或 Flan-T5 等较小变体。

FastModel 现可微调 T5、T5Gemma、BART、Marian 等文本编码器-解码器模型

Transformer架构是BERT、T5、LLaMA等现代大语言模型的基础

相比纯decoder架构(如GPT),GLM在中文NLU任务上平均提升8-15个百分点;相比encoder-decoder架构(如T5),推理效率提升约40%

CLIP或T5等文本编码器在处理数字概念时往往将其编码为模糊的量感而非精确的计数指令

后端部署到 Render 免费层后反复出现内存不足（OOM），原因是 Whisper 和 T5 同时加载进内存，两者之和超过免费层上限。