chardet
开源的Python字符编码检测库，基于统计方法自动推断文本字节序列的字符集编码，常用于处理来源不明的文本数据
时间轴 (近 90 天)
该摄取引擎强制要求 chardet、pydantic v2 和 orjson 三个依赖齐备，缺一即通过 sys.exit(1) 显式退出。
chardet 这类统计式字符集检测库在生产 CSV 流中存在已知软肋：短记录、或 ASCII 标识符与区域字符集混排的载荷会得到低置信度评分，容易触发误判。
Shift_JIS 与 Windows-31J（CP932）在处理厂商自定义字形或遗留 NEC/IBM 扩展字符时容易出现边缘情况冲突，chardet 几乎无法可靠区分两者，常给出 Shift_JIS 判断。
工程上处理 CP932 与 Shift_JIS 冲突的做法是把 CP932 作为超集优先尝试：先按 CP932 严格解码，失败再回退，而不是依赖检测器在两者之间做选择。
生产级批量摄取系统应当在摄取边界处强制要求显式的编码元数据（HTTP Content-Type 头、S3 对象元数据标签或 schema 契约），把自动启发式检测只当作兜底层。
多数EPUB是UTF-8编码，但偶尔遇到Windows-1252等编码，ebooklib处理不佳，需引入chardet检测编码。
全部知识事实 (6)
该摄取引擎强制要求 chardet、pydantic v2 和 orjson 三个依赖齐备，缺一即通过 sys.exit(1) 显式退出。
50%待验证chardet 这类统计式字符集检测库在生产 CSV 流中存在已知软肋：短记录、或 ASCII 标识符与区域字符集混排的载荷会得到低置信度评分，容易触发误判。
50%待验证Shift_JIS 与 Windows-31J（CP932）在处理厂商自定义字形或遗留 NEC/IBM 扩展字符时容易出现边缘情况冲突，chardet 几乎无法可靠区分两者，常给出 Shift_JIS 判断。
50%待验证工程上处理 CP932 与 Shift_JIS 冲突的做法是把 CP932 作为超集优先尝试：先按 CP932 严格解码，失败再回退，而不是依赖检测器在两者之间做选择。
50%待验证生产级批量摄取系统应当在摄取边界处强制要求显式的编码元数据（HTTP Content-Type 头、S3 对象元数据标签或 schema 契约），把自动启发式检测只当作兜底层。
50%待验证多数EPUB是UTF-8编码，但偶尔遇到Windows-1252等编码，ebooklib处理不佳，需引入chardet检测编码。
50%