TinyLlama-1.1B
一个基于LLaMA架构的小型语言模型，参数量为1.1B，常用于资源受限场景下的研究和应用
时间轴 (近 90 天)
Latent-Lens 在 TinyLlama-1.1B 和 InternVL2-1B 这对架构、词表和隐藏维度都不同的模型上依然可以工作。
一项研究基于包含13.1万句子的语料库，覆盖11种印度文字，对比了TinyLlama-1.1B、mBERT和MuRIL等模型的分词器表现。
TinyLlama-1.1B的分词器在处理拉丁文字时，每个单词平均产生1.34个子词token；处理卡纳达语时，每个单词平均产生22.60个token。
在2048个token的上下文窗口中，英语用户可获得1528个单词的可用上下文，而卡纳达语用户仅能获得91个单词，相差近17倍。
在11种印度文字中，有5种文字的fertility达到了UTF-8字节回退的上限，奥里亚语达到了上限的99.6%，其中93.6%的token是原始字节。
TinyLlama在所有测试文字上的UNK率均为0.0%，因为SentencePiece的字节回退机制从不产生UNK标记。
MuRIL是一个具有印度语言词汇的编码器，其参数量仅为TinyLlama的五分之一。
TinyLlama的词汇表中，奥里亚语的码点覆盖率为0%，泰卢固语为1%，卡纳达语为2%。
运行TinyLlama-1.1B的4-bit量化版本至少需要约600MB内存，超出大多数消费级路由器的硬件上限
全部知识事实 (9)
Latent-Lens 在 TinyLlama-1.1B 和 InternVL2-1B 这对架构、词表和隐藏维度都不同的模型上依然可以工作。
50%待验证一项研究基于包含13.1万句子的语料库，覆盖11种印度文字，对比了TinyLlama-1.1B、mBERT和MuRIL等模型的分词器表现。
50%待验证TinyLlama-1.1B的分词器在处理拉丁文字时，每个单词平均产生1.34个子词token；处理卡纳达语时，每个单词平均产生22.60个token。
50%待验证在2048个token的上下文窗口中，英语用户可获得1528个单词的可用上下文，而卡纳达语用户仅能获得91个单词，相差近17倍。
50%待验证在11种印度文字中，有5种文字的fertility达到了UTF-8字节回退的上限，奥里亚语达到了上限的99.6%，其中93.6%的token是原始字节。
50%待验证TinyLlama在所有测试文字上的UNK率均为0.0%，因为SentencePiece的字节回退机制从不产生UNK标记。
50%待验证MuRIL是一个具有印度语言词汇的编码器，其参数量仅为TinyLlama的五分之一。
50%待验证TinyLlama的词汇表中，奥里亚语的码点覆盖率为0%，泰卢固语为1%，卡纳达语为2%。
50%待验证运行TinyLlama-1.1B的4-bit量化版本至少需要约600MB内存，超出大多数消费级路由器的硬件上限
50%