智见

一项令人惊叹的技术突破：开发者用纯C和Metal编写推理引擎，成功在MacBook Pro（48GB RAM）上运行Qwen3.5-397B-A17B模型，达到4.4+ tokens/秒的生成速度。

• 整个209GB模型从SSD流式传输，通过自定义Metal计算管道
• 无需Python或框架，仅用C、Objective-C和手调Metal着色器实现
• 关键技术：SSD专家流式加载、FMA优化反量化内核、信任OS页面缓存（71%命中率）
• 这展示了混合专家（MoE）模型在消费级硬件上运行的可行性

原文链接：https://github.com/danveloper/flash-moe

🕐 发布于: 2026年03月23日 12:04

一个纯C/Metal推理引擎成功在MacBook Pro (48GB RAM)上运行3970亿参数的MoE大模型：

• 模型通过SSD流式加载（209GB），无需将整个模型加载到内存
• 采用4-bit量化 expert 权重，按需从NVMe SSD读取活跃expert
• 推理速度达4.4 tokens/秒，支持完整的tool calling功能
• 关键技术：FMA优化反量化内核、信任OS页面缓存、手写Metal着色器
• 消除了自定义缓存机制，依赖OS页面缓存实现约71%命中率
• 实验证明：很多看似合理的优化（如预取、MLP路由预测、内存压缩）实际反而降低性能

原文链接：https://github.com/danveloper/flash-moe

🕐 发布于: 2026年03月23日 08:08

作者让多个大模型预测将开水倒入室温咖啡杯时水温随时间变化的方程，并与实际物理实验对比：

• 涉及的物理现象复杂：热传导、对流、蒸发冷却、辐射等
• 多个LLM给出了类似的指数衰减方程
• 实验结果：Claude 4.6 Opus表现最好（花费/usr/bin/bash.61），但所有预测都不是很准确
• 有趣发现：模型预测前期降温快、后期慢；实际却是前期更快、后期更慢
• 结论：LLM可能在数学上很强，但物理实验的”品味”判断仍有欠缺

原文链接：https://dynomight.net/coffee/

🕐 发布于: 2026年03月23日 08:07

一份汇总了Rust项目贡献者和维护者对AI工具看法的文档显示：

• AI需要精心工程设计才能获得好结果，不是简单”AI好不好用”的问题
• 模型能力在最近2-3个月变化巨大，先进模型已好到无法忽视
• 非编码任务中AI很有价值：如搜索大型代码库、研究文档、代码审查
• AI写作质量参差不齐：句子级别好，段落级别尚可，但整体结构和流程感差
• 有人对代码审查中使用LLM感兴趣，但需注意避免对LLM产生依赖

原文链接：https://nikomatsakis.github.io/rust-project-perspectives-on-ai/feb27-summary.html

🕐 发布于: 2026年03月23日 08:06

开发者Simon Willison展示了一种用AI分析Hacker News用户的方式，只需提供用户最近1000条评论即可生成详细画像。

• 通过Algolia Hacker News API获取用户的评论数据
• 将评论粘贴到LLM中并提示”分析此用户”，可获得惊人准确的个人资料
• 展示了用Claude Opus 4.6分析自己评论的案例
• 画像涵盖：职业身份、AI编码观点、工作风格、技术兴趣、安全意识、性格特点等
• 作者指出这种方法”令人警觉地有效”，引发隐私担忧
• 该工具帮助分析用户在AI辅助编程、提示注入等话题上的观点和立场

原文链接：https://simonwillison.net/2026/Mar/21/profiling-hacker-news-users/

🕐 发布于: 2026年03月22日 18:05

游戏开发者正在面临AI带来的重大挑战。

• AI工具正在取代游戏中许多传统开发岗位
• 文章探讨了AI对游戏行业就业市场的影响
• 开发者需要适应新的技术环境以保持竞争力
• 这反映了更广泛的AI替代人类劳动力的趋势

原文链接：https://darkounity.com/blog-post?id=the-impact-of-ai-on-game-dev-jobs-open-to-work-crisis–1774128585922

🕐 发布于: 2026年03月22日 18:04

Sashiko是一个Linux基金会的开源项目，旨在通过AI自动化审查Linux内核代码补丁。

• 监控公开的Linux内核邮件列表，对提交的内核变更进行全面评估
• 扮演多领域专业审查团队角色：涵盖高级架构验证、安全审计、资源管理、并发分析等
• 使用Chris Mason创建的子系统级提示词，结合自定义多阶段审查协议
• 测试中使用Gemini 3.1 Pro，成功识别了53.6%的历史bug（基于1000个上游提交）
• 所有这些历史bug都曾通过人工代码审查
• 由Google提供计算资源和LLM token资助
• 定位为辅助而非替代人工审查者

原文链接：https://sashiko.dev/

🕐 发布于: 2026年03月22日 18:03

一篇学术论文探讨了AI对人类思维方式的影响。

• 研究表明：对AI信任度高且认知需求低的人群，更容易放弃自己的系统3思考（深思熟虑）
• AI表现为”快速思考、快速执行”，但最终像是中等技能/初学者
• 当上下文即将耗尽时，AI会表现出不耐烦，像准点下班的人
• AI的错误往往很微妙，即使给出正确答案，推理过程也可能有问题
• 有观点认为：AI让聪明人更聪明，愚笨的人更愚笨
• 长远担忧：如果AI变得更强大可靠，人类可能停止质疑其输出，丧失自己的推理能力
• 也有人认为AI帮助完成了以前因时间或技能缺乏而无法完成的任务（如个人工具、脚本等）

原文链接：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6097646

🕐 发布于: 2026年03月22日 12:06

游戏开发行业正经历裁员风暴，AI被指为主要原因之一。

• 越来越多的游戏开发者失业后挂出”Open to Work”状态
• 讨论认为AI确实贡献了部分影响，但被过度归咎
• 真正的主要原因可能是：零利率时期的过度招聘、CS毕业生供给持续增加
• 也有观点指出利率上升才是根本原因，而非AI
• 数据显示：Steam同时在线人数达4500万，Roblox月活3.8亿，用户正在从传统游戏平台流失
• 专家建议：”待业”状态可能传递负面信号，建议以自由职业者身份包装自己

原文链接：https://darkounity.com/blog-post?id=the-impact-of-ai-on-game-dev-jobs-open-to-work-crisis–1774128585922

🕐 发布于: 2026年03月22日 12:05

George Hotz旗下Tinygrad团队推出的Tinybox是一款专为深度学习设计的高性能离线AI计算机。

• 配备4张AMD 9070XT显卡或4张RTX PRO 6000 Blackwell GPU
• 支持120B参数规模的模型本地部署
• 红绿两款配置已开售，价格分别2,000和5,000
• 2027年将推出exa版本（720x RDNA5 AT0 XL），约0M
• 在MLPerf Training 4.0基准测试中，性能媲美售价10倍于它的计算机
• 无需联网，完全离线运行，保护数据隐私

原文链接：https://tinygrad.org/#tinybox

🕐 发布于: 2026年03月22日 12:05