智能体在20轮对话中令牌用量从300暴增至7000,成本上升20倍
作者测量了一个AI智能体在浏览相似网页时,20轮对话中每一轮的输入令牌成本。第一轮约消耗300个令牌,到第20轮消耗7000个令牌,成本增长约20倍,原因是智能体重复读取之前的所有上下文。这一发现揭示了多轮智能体工作流中隐藏的“上下文税”,推高了推理成本。
Thinkgap 信息流
页面仅读取已加工的 items 表,并以中英双语呈现。
4 条内容
作者测量了一个AI智能体在浏览相似网页时,20轮对话中每一轮的输入令牌成本。第一轮约消耗300个令牌,到第20轮消耗7000个令牌,成本增长约20倍,原因是智能体重复读取之前的所有上下文。这一发现揭示了多轮智能体工作流中隐藏的“上下文税”,推高了推理成本。
文章全文无法获取,仅显示“在Medium上继续阅读”。标题称用户使用Cursor一小时内产生1400美元费用,CEO已全额退款。原始内容中没有任何支持性细节、背景或验证,因此无法确认或分析该事件。
Tim O'Brien在Medium上撰文指出,AI工具目前正在利用风投资金大幅补贴用户,提供无法长期维持的优惠。文章预测,随着融资格局变化或盈利压力增大,这种补贴终将结束。文章未提供具体工具名称或补贴期限的数据,仅是对AI行业不可持续定价模式的普遍评论。
Michael Yang撰写的Medium文章没有详细内容,仅将读者引导至外部报告auriko.ai/reports/llm-cost-arbitrage。原始内容中未包含成本节省的量化分析、技术方法或实验结果。唯一的信息是标题中提到的缓存感知推理路由。因此,该文章本身未传达任何实质性发现。