为什么模型上线后,体感像是“降智”了?
权重与 KV cache 的量化都能降低 serving 成本,也可能改变输出;但体感变弱不足以证明服务后来切换了精度。
共 5 篇文章
权重与 KV cache 的量化都能降低 serving 成本,也可能改变输出;但体感变弱不足以证明服务后来切换了精度。
ds4.1f 上线了。它的架构 novel 在哪,便宜和快又是从哪省出来的。
写这篇文章的初衷,是我发觉逐渐忘了前两个月的 AI/LLMs 是什么样的能力和情况了。意识中似乎某些在突然加速,但理性和直觉告诉我这不对,作为行内人,我知道这是一个渐进的、累积的过程。我想自己回忆一下,Agent的发展。
关于 Coding Agent 使用的遐思
浅谈我对开源项目的认知。