– 本地AI部署正在快速发展，从大型数据中心到个人设备都能运行LLM
– 目前趋势是从云端大模型转向本地小模型执行具体任务
– 预计一年内会出现’云端大模型规划+本地小模型执行’的企业标准模式
– 未来将形成类似传统云计算的格局：要么自托管，要么付费使用灵活性和速度
– 有用户表示现在已经可以在3年前的显卡（RTX 3080 12GB）上运行量化后的Qwen和Gemma模型
– 虽然速度较慢且上下文窗口较小，但能完成照片分类、收据OCR识别、简单问答、代码分析等任务
– 公司部署方面，运行GLM 5.1的硬件成本高达50万美元，但与云服务相比性价比仍然较低
**原文链接**: https://unix.foo/posts/local-ai-needs-to-be-norm/