Llama-3.1-8B
Meta发布的Llama 3.1系列中的80亿参数指令微调大语言模型，广泛用于推理和评测
核心事实
时间轴 (近 90 天)
将CACPU集成到SGLang推理框架后，Llama-3.1-8B的首Token延迟（TTFT）最高降低1.74倍，同时保持模型精度不变。
在Qwen2.5-7B、Llama-3.1-8B和两个DeepSeek模型上测试发现，按相关性选择记忆会重新引入诱饵事实。
该框架应用于六个7-9B指令微调模型（三个通用：Mistral-7B、Phi-3.5-mini、Llama-3.1-8B；三个医学适配：BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B），在K-QA基准的200个真实患者问题上测试。
完整Llama-3.1-8B在batch 1下使用FuTransformer每步解码耗时2.8毫秒，而编译版transformers实现为8.1毫秒。
Hugging Face API 只能列出模型的直接子节点，每页 1,000 个；用这种方式找出 Llama-3.1-8B 的全部 21,639 个后代需 21,653 次调用，按每次 0.61 秒计算约需 3.7 小时，而 FalkorDB 返回同样结果只需 70 毫秒。
对于未声明基座模型的情况，FinePrint 引入受约束的 LLM 代理（deepseek-ai/DeepSeek-R1-Distill-Llama-8B 案例），代理读取模型卡、逐字引用如 'DeepSeek-R1-Distill-Llama-8B is derived from Llama3.1-8B-Base' 的语句，在图中找到 meta-llama/Llama-3.1-8B 并写入带来源和引用的类型化边，供规则引擎使用。
CARE 目前只在四个 LIBERO 套件和两个智能体（Qwen3.5-9B、Llama-3.1-8B）上得到验证。
以Llama-3.1-8B为例，每个token在每一层都有一个维度为4096的隐藏状态向量，编码该token在当前上下文中的语义、句法乃至语用信息。
在 Llama-3.1-8B、批大小 32、上下文 2048 的同一条件下，vLLM 约 450 tok/s，llama.cpp 约 280 tok/s，Ollama 约 120 tok/s。
通过层卸载（offload_layers）把冻结层保留在系统内存中，Llama-3.1-8B 的 4-bit 训练可以把显存上限压到 7 GiB
还有 1 条时间轴事件
全部知识事实 (9)
以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB
80%待验证将CACPU集成到SGLang推理框架后，Llama-3.1-8B的首Token延迟（TTFT）最高降低1.74倍，同时保持模型精度不变。
50%待验证在Qwen2.5-7B、Llama-3.1-8B和两个DeepSeek模型上测试发现，按相关性选择记忆会重新引入诱饵事实。
50%待验证该框架应用于六个7-9B指令微调模型（三个通用：Mistral-7B、Phi-3.5-mini、Llama-3.1-8B；三个医学适配：BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B），在K-QA基准的200个真实患者问题上测试。
50%待验证对于未声明基座模型的情况，FinePrint 引入受约束的 LLM 代理（deepseek-ai/DeepSeek-R1-Distill-Llama-8B 案例），代理读取模型卡、逐字引用如 'DeepSeek-R1-Distill-Llama-8B is derived from Llama3.1-8B-Base' 的语句，在图中找到 meta-llama/Llama-3.1-8B 并写入带来源和引用的类型化边，供规则引擎使用。
50%待验证CARE 目前只在四个 LIBERO 套件和两个智能体（Qwen3.5-9B、Llama-3.1-8B）上得到验证。
50%待验证以Llama-3.1-8B为例，每个token在每一层都有一个维度为4096的隐藏状态向量，编码该token在当前上下文中的语义、句法乃至语用信息。
50%待验证通过层卸载（offload_layers）把冻结层保留在系统内存中，Llama-3.1-8B 的 4-bit 训练可以把显存上限压到 7 GiB
50%待验证该旋转-衰减几何现象在Llama-3.1-8B、Qwen3-8B和Gemma-4-E4B三个模型上都得到复现
50%