替换金融文档处理中昂贵的LLM调用：SIE实战指南

在金融文档处理流水线中，最常被忽视的成本黑洞往往不是分析师问答，也不是管理层讨论摘要，而是那些高频、低变异的"轻量"LLM调用——比如每页PDF都问一次"这是利润表吗？"这类页面分类请求。每个调用看似便宜，但数量庞大到足以吞噬预算。本文将拆解如何通过任务盘点、影子运行和置信度路由，将这些工作迁移到SIE（Superlinked Inference Engine）上的专用模型，把前沿模型的价格留给真正需要前沿能力的任务。

rss source: How to Replace Expensive LLM Calls in Financial Document Processing

昂贵文档流水线的典型形态

打开一个处理PDF年报和客户演示文稿的流水线用量明细，最刺眼的那一行通常不是聊天调用。它是一个页面分类器，对每个PDF的每一页都问一遍"这是不是利润表？"。每次调用都很便宜，且与上一次几乎完全相同，但这样的调用数量以百万计。回答这些调用的模型读过大部分公开互联网，却被付费去识别一个它闭着眼都能找到的表格标题。

对于美国EDGAR申报文件，这种调用根本不该存在。每份XBRL申报都附带FilingSummary.xml和一组渲染的R文件，逐一命名了每张报表，展示链接库则安排了各表内的行项目顺序。报表映射是免费的。分类器只在没有此类元数据的地方才有价值：以PDF形式发布的外国年报、投资者演示文稿、数据室上传文件和扫描附件。

这就是昂贵文档流水线的典型形态：通用模型做着高频、低变异的工作，只因为它是原型阶段最快接上的选择。解决方案是把这些工作逐个任务地迁移到SIE上的专用模型，并用证据证明替换在你的文档上站得住脚。

XBRL与EDGAR元数据：XBRL（eXtensible Business Reporting Language）是一种基于XML的财务报告标记标准，美国SEC要求所有EDGAR申报文件以XBRL格式提交。每份XBRL申报附带FilingSummary.xml，其中列出了所有渲染的R文件（如R2.htm、R4.htm），每个R文件对应一张具体报表——利润表、资产负债表、现金流量表等。展示链接库（Presentation Linkbase）进一步定义了报表内行项目的层次与顺序。这意味着对于EDGAR申报，页面分类信息已经由结构化元数据完整提供，无需再调用LLM对每页进行“这是利润表吗？”的判断。分类器的真正价值仅限于没有此类元数据的场景：外国发行人以PDF形式披露的年报、投资者演示文稿、数据室上传文件和扫描附件。理解这一区别是避免为免费信息支付LLM费用的第一步。

第0步：先拿走便宜的折扣

在迁移任何任务之前，先用当前供应商检查两件事。

提示词缓存。 分类和提取的提示词大部分是固定文本：指令、标签集、输出schema和几个示例，后面跟一小段页面内容。把固定部分放在前面，并保持字节级一致，主流托管供应商会对缓存前缀按折扣费率计费。在一个90%是样板文本的提示词上，记下这个折扣费率，然后再盘点剩下哪些部分仍应放在专用模型上。

批量定价。 这类工作大多不是交互式的。一个季度的PDF不需要在一秒内得到答案。OpenAI的Batch API及其他供应商的同类服务，以约一半的同步价格收费，代价是最长一天的完成窗口。

同时检查那些显而易见的问题：你是否在发送根本不需要模型的页面，比如R文件已命名的EDGAR报表，或者简单规则就能丢弃的封面页和空白分隔页。在这些改变之后衡量账单。下面的一切都只对剩下的部分才有价值。

第1步：按任务、调用量和变异度盘点调用

看不见调用就无从选择迁移对象。给每个LLM请求打上任务名称标签，拉出一个月的日志，构建一张表。以下数字是虚构的，仅用于展示形态而非任何真实流水线：

任务	月度调用量（示例）	输出形态	输入变异度
PDF页面分类（这是哪张报表？）	2,000,000	固定标签集中的一个标签	低
实体标注（公司、审计师、日期）	600,000	带标签的片段	低
表格字段提取（营收、净利润、EPS）	400,000	固定JSON schema	中
检索块的LLM相关性判断	300,000	一个分数或是/否	低
跨多份申报的分析师问答	20,000	自由文本	高
管理层讨论摘要	15,000	自由文本	高

即使数字不同，模式通常也成立：最高频的任务往往拥有最小的输出空间，而这正是SIE上专用模型所承担的工作。

诚实记录变异度。低变异任务看到的输入彼此相似，输出来自一个小而固定的空间。高变异任务面对新布局、开放式问题，或跨多张表和多份申报的推理。

第2步：挑选输出固定且可检验的候选任务

一个任务在满足以下全部三个条件时才是好的候选：

固定输出： 答案来自封闭标签集或固定schema
高频： 每月在相似输入上运行多次
可机械检验： 无需人工阅读散文即可对照标签给输出打分

PDF页面分类、实体标注、相关性判断和表格字段提取，都是可以迁移到SIE专用模型的任务。

将每个候选任务映射到合适的专用模型类型：页面类型用小生成模型或训练过的分类器，实体标注用GLiNER2或NuNER_Zero这类零样本实体模型，用交叉编码器重排序器取代被问"这个块相关吗？"的LLM，表格字段则用文档模型加结构化输出模型。重排序器替换通常是最容易的胜利。交叉编码器为每个查询-块对返回一个校准分数，这正是LLM判断器被提示去模仿的东西。

从调用量最高、输出最简单的任务开始。在PDF密集的流水线中，这通常是页面分类。

交叉编码器与重排序器：交叉编码器（Cross-Encoder）是一种将查询和文档块拼接后一同输入Transformer的模型架构，输出一个相关性分数。与双编码器（Bi-Encoder）分别编码查询和文档、仅靠向量点积打分不同，交叉编码器能让查询和文档的每个token在注意力层中直接交互，因此打分精度更高，但计算成本也更大——每对查询-文档都需完整前向传播。正因如此，交叉编码器通常被用作重排序器（Reranker），在检索阶段先用双编码器快速召回top-K候选，再用交叉编码器对K个结果精排。LLM判断器被提示去模仿的“这个块相关吗？”任务，本质上就是交叉编码器的评分函数。用专用重排序器替换LLM判断器，通常是最容易实现的迁移胜利，因为两者输出形态完全一致，且重排序器的分数经过校准，可直接用于置信度路由。

第3步：先构建评估集

没有金标集就不要迁移任务。对于字段提取，本系列配套指南《评估提取准确率》详细介绍了方法：在有XBRL事实的申报中以此为种子标签，补充手工标注的PDF页面，并分别对数值、比例、单位、符号、期间和实体打分。对于分类和标注，每类几百个标注页面或段落是合理的起点。对于相关性判断，取一个真实查询样本，让人工对检索块打分。

把当前会造成麻烦的页面纳入进来：跨两页拆分的报表、重述的比较数据、看起来像主表的附注分部。替换方案必须在这些页面上站得住脚，而不仅仅是在干净页面上。

第4步：影子运行专用模型

在SIE上运行专用模型，与当前模型并行，但不使用专用模型的输出。记录每个请求的两个答案。一两周后，你会得到三个比较：

两个模型各自对照金标集的表现
在无标签的实时流量上，专用模型与当前模型的对比
两者的延迟和失败率

实时流量上的分歧是影子运行最有价值的产出。对它们采样、标注，并加入金标集。它们告诉你该在哪里收紧schema，或在同一个SIE客户端上换模型ID。

第5步：按置信度路由

很少有切换需要全有或全无。大多数专用模型会给你置信度信号：分类器分数、重排序器分数、实体模型的片段置信度，或结构化输出模型对缺失字段返回null。利用它：

高置信度：采用专用模型的答案
低置信度或null：路由到人工审核
记录每次审核及其输入，使这些案例成为下一批金标集行

在金标集上调阈值以达到所需准确率，并观察多大比例的流量进入审核。如果这个比例很高，就收窄任务，或在同一个SIE客户端上尝试下一个目录模型。

校准分数与阈值选择：校准（Calibration）指模型输出的置信度分数能够真实反映其正确概率。例如，当重排序器给出0.9分时，若其校准良好，则意味着该判断约有90%的概率是正确的。专用模型（分类器、重排序器、实体模型）通常比LLM的自我报告置信度更易校准，因为它们的训练目标直接优化分数与正确性的对应关系，而LLM的“置信度”往往来自token概率或口头表达，受提示词影响大。校准分数使得置信度路由中的阈值选择有据可依：在金标集上绘制不同阈值下的准确率与回退率曲线，选择满足业务准确率要求的最低阈值，从而最小化进入人工审核的流量比例。若回退率仍然过高，说明任务定义或模型选择需要调整，而非简单收紧阈值。

第6步：切换并持续监控

当专用模型达到准确率阈值且回退率稳定时，将其设为默认路径。然后持续观察：

☐ 每周对生产流量的轮换样本进行准确率评估，由人工标注

☐ 每个任务的回退率，出现变动时告警

☐ 任何模型、提示词或解析器变更后重跑金标集

☐ 每个报告季后做一次检查，因为新布局会批量出现

也要为迁移成本做预算。如果迁移同时改变了检索方式，例如在新重排序器之外还换了新的嵌入模型，这意味着要重新嵌入和重建索引整个语料库。任何新模型都意味着新的评估周期。这些是一次性成本，但真实存在，理应纳入计划。

SIE在其中的位置

一旦你从前沿模型上切下任务，它们需要有地方运行。把四个任务迁到四个供应商，等于用一份账单换来四个集成。来自Superlinked的SIE将它们统一在一个API之后：重排序、实体提取、OCR、文档转Markdown和结构化输出，以及嵌入。你可以将其作为SIE Cloud上的托管服务使用，在自己的VPC中自托管，或在本地运行。根据Cloud定价页（验证于2026-09-30），GLiNER2 Large实体提取为每百万输入token 0.186美元，Qwen3-Reranker-0.6B为每百万对6.63美元（top-50重排序即50对，约每查询0.0003美元），LightOnOCR-2-1B为每1,000页2美元，支撑文档字段提取的Qwen3.8-27B（FP8）为每百万输入输出token 0.72美元。把这些当作你盘点中的单价。

对于已通过OpenAI SDK运行的任务，Cloud页面展示了一种只改base URL的迁移模式。对于定价的Cloud影子运行，通过原生SDK的chat调用使用Qwen3.8-27B（FP8）。当它的标签与当前模型一致后，像GLiNER2分类任务这样更小的目录模型就是同一API上的强生产路径。一个影子页面分类器看起来是这样的：

from sie_sdk import SIEClient

client = SIEClient(api_key="sk-sie-…", base_url="https://api.superlinked.com")
shadow = client.chat_completions(
    "Qwen/Qwen3.8-27B-FP8",
    page_classification_messages,
    max_completion_tokens=16,
)
label = shadow["choices"][0]["message"]["content"]

实体标注使用原生SDK的extract调用配合标签列表，相关性判断使用score，如SIE文档所示。该引擎以Apache 2.0开源（GitHub），因此你迁到Cloud的任务日后可以用相同模型ID迁到自托管集群。

坦诚说： SIE是你从通用模型上迁走的任务的归宿：OCR、提取、嵌入和重排序在一个API之后。在SIE Cloud上，Superlinked运行GPU，你按token、对或页付费，价目表上有GLiNER2、Qwen3重排序器、LightOnOCR-2-1B和Qwen3.8-27B（FP8）。在自有GPU上自托管同一个Apache 2.0引擎，你在Cloud上影子运行的任务就能以相同模型ID迁到你的集群。权重开放且固定。页面分类、实体标注和相关性判断与文档转换和字段提取共享同一个客户端，四个任务留在一个供应商处。

常见问题

应该先迁移哪个调用？

先迁移调用量最高、输出最简单、且免费元数据尚未回答的那个。对于EDGAR申报，先检查R文件和展示链接库是否已让页面分类变得不必要。对于PDF年报和演示文稿，页面分类通常排第一：标签集小、调用量高，且错误会明显破坏下游。在字段级金标集上评估表格字段提取，然后在同一个SIE客户端上运行该提取器。

为什么不能只开启缓存和批量就停下？

运行第0步是为了让盘点反映折扣费率。页面分类、实体标注和相关性判断仍然是高频、固定输出的工作，SIE在一个API后提供这些专用模型，云端或自有GPU皆可。SIE Cloud上的每次调用价格就是你摆到当前账单旁边的东西。

这是否只是把运营负担转嫁给自身？

在SIE Cloud上，Superlinked运行GPU。自托管同一个Apache 2.0引擎到你自己的Kubernetes集群，如部署指南所述，可将文档和模型ID留在你的环境中。本地运行适合开发。无论哪种方式，评估和路由都留在你的代码中。

只为前沿工作支付前沿价格

大多数文档流水线中最昂贵的部分，是以规模完成的简单工作。在有EDGAR元数据的地方使用它，盘点剩余部分，构建金标集，影子运行，并按置信度路由。SIE是这些专用任务运行的地方：一个API、开放权重、云端或自有GPU。SIE Cloud按token、对或页为每项定价，以便你把这些数字摆到当前账单旁边。