上个月财务把账单甩过来的时候,我以为她看错了。调用量环比涨了40%,账单却从六位数出头直接蹦到接近三倍。按线性算,最多多掏四成,多出来的那部分是从哪冒出来的?
我把近三十天的调用日志拉下来,按模型、按接口、按重试次数切了一遍,问题不在「量」上,在「结构」上。四个隐性出血点,一个比一个隐蔽。
先说最扎眼的:旗舰模型在干粗活。我们有个意图识别模块,本来用轻量模型就够了,早期图省事直接挂在最贵的旗舰模型上,一直没人动。这类流量占总请求数的六成以上,但贡献的业务价值极低。按模型分层重跑一遍,把分类、抽取、格式校验这些活下沉到小模型,只把真正需要推理的请求留给旗舰模型,这部分成本能压到原来的三分之一到一半。别小看这个动作,它不需要改业务逻辑,只改路由。
具体怎么分层?我按任务类型切了三档:第一档是分类和意图识别,输入短、输出短、逻辑简单,小模型完全扛得住;第二档是信息抽取和格式校验,需要一点语义理解但不需要多步推理,用中档模型;第三档才是复杂的多步推理、长文生成、代码补全这些,留给旗舰模型。切完之后我对比了一下,第一档任务在小模型上的准确率只掉了不到两个百分点,但单次调用成本降了将近九成。第二档更微妙,中档模型和旗舰模型在抽取任务上的F1差距不到0.03,成本却差了五倍。这个账一算就明白,之前多花的钱纯粹是懒省事。
第二个坑更阴。重试风暴。上游某个接口超时阈值设得太紧,网络抖一下客户端就重试,重试又超时,再重试。日志里能看到同一个请求被打了四五次,每次都在烧Token,而用户那边只看到一次失败。这种无效消耗在账单里不显山不露水,但占比能到两成上下。动作很简单:把重试改成带退避的幂等重试,超时阈值放宽,服务端做请求去重。做完之后无效Token能砍掉大半。
这里展开说几个关键参数。我们把超时阈值从原来的3秒放宽到15秒,重试次数从无上限改成最多两次,退避策略用指数退避加抖动——第一次重试等1秒,第二次等2秒,加随机抖动避免惊群。服务端侧加了一个请求指纹,同一个指纹在60秒内只处理一次,后续请求直接返回缓存结果。改完之后我专门盯了一周,重试率从原来的18%降到4%以下,无效Token消耗直接砍掉了七成多。还有个意外收获:用户侧的超时投诉反而少了,因为放宽阈值之后,那些本来能成功但被过早掐断的请求现在都能正常返回了。
第三个是长上下文没裁剪。我们的对话接口默认把整段历史全塞进去,用户聊到第二十轮,输入 Token 是首轮的十几倍。可实际上大部分历史对当前回答没用。按滑动窗口加摘要压缩,只保留最近几轮原文加一份滚动摘要,输入侧能降四到六成。这里有个细节,摘要本身也要花Token,所以窗口不能压得太狠,得找到那个拐点。
我们试了几组参数,最后定在「最近五轮原文+滚动摘要」这个组合上。滚动摘要不是每轮都重新生成,而是每三轮更新一次,把更早的对话压缩成一段两百字以内的摘要。这样输入侧的Token量从第二十轮的八千多降到了三千出头,降幅超过六成。但我也试过压到只保留最近两轮,结果发现回答质量明显下滑,用户追问上下文的时候模型经常答非所问。所以这个拐点确实存在,得根据自己的业务场景去测。我们的经验是:窗口大小不要低于最近三轮,摘要更新频率不要高于每两轮一次,否则省下来的Token钱还不够赔用户体验的。
第四个,缓存命中率低。相同或高度相似的请求反复打进来,我们却每次都重新推理。系统提示词、固定模板、高频问答这些完全可缓存的内容,命中率当时不到一成。加上语义缓存层之后,重复请求直接返回,这部分能省下的比例取决于业务重复度,我们这边大概在两到三成之间。
语义缓存这块值得多说两句。精确缓存只能命中完全一样的请求,但实际场景里大量请求是「意思差不多但措辞不同」。比如用户问「怎么退款」和「退款流程是什么」,精确匹配命中不了,语义缓存可以。我们用的方案是:对输入做向量化,在缓存库里做近似最近邻搜索,相似度超过阈值就直接返回缓存结果。阈值设多少很关键,设太高命中率上不去,设太低容易返回不相关的答案。我们最后定在0.92,命中率从不到10%拉到了34%,而且没有收到任何用户投诉说答非所问。系统提示词和固定模板这部分更简单,直接做前缀缓存,命中率接近100%。
四个动作叠起来,我们后来按量计费加模型分层跑了一遍,账单回落到增长前的1.2倍左右,而调用量还是那个40%的增幅。顺带说一句,中间试过 token8341 做多模型统一接入,一个Key切几家模型,路由和计费口径统一之后,排查这类结构性问题省了不少事。
再说一个容易被忽略的点:监控和归因。这四个问题之所以拖了这么久才被发现,根本原因是我们的账单只按模型和接口维度出,没有按「任务类型」和「请求指纹」维度切。后来我加了一层调用标签,每个请求打上任务类型、是否重试、是否命中缓存、上下文轮次这几个标签,账单再出来的时候,哪个环节在烧钱一目了然。这套标签体系本身不省钱,但没有它,你根本不知道钱花在哪。
避坑提醒:别一上来就换更便宜的模型。先把调用结构拆开看,很多时候钱不是花在单价上,是花在你根本没意识到的重复和冗余上。单价优化是最后一步,不是第一步。
作者:赵启明
发布日期:2026年11月9日