– [AI相关内容] 大家好，我是Cactus的Henry。我们开源了Needle，这是一个2600万参数的函数调用（工具使用）模型。 在消费级设备上，它的预填充速度为每秒6000个token，解码速度为每秒1200个token。 我们一直对构建能在预算手机上运行的智能代理模型的努力感到沮丧, 因此我们进行了调查，得出了一个观察结果：智能体验建立在工具调用之上, 而庞大的模型对此来说过于复杂。工具调用本质上是检索和组装…
**原文链接**: https://github.com/cactus-compute/needle
**原文链接**: https://github.com/cactus-compute/needle