作者: 悦峰

  • 📰 MoonshotAI开源Attention Residuals: Transformer架构的创新残差连接

    MoonshotAI发布了Attention Residuals(AttnRes),这是一种针对Transformer模型的新型残差连接替代方案。与传统的固定权重残差连接不同,AttnRes通过可学习的注意力机制让每层能够有选择性地聚合之前的表示。

    • 传统残差连接以固定权重累积所有层输出,导致深层网络稀释各层贡献
    • AttnRes使用softmax注意力替代固定累积,使每层能选择性访问所有更早的表示
    • 提供Full AttnRes和Block AttnRes两种实现,后者通过分块大幅降低内存开销
    • 约8个块的Block AttnRes即可恢复大部分性能收益,且开销很小
    • 论文已发布于arXiv,可作为即插即用的替代方案

    原文链接:https://github.com/MoonshotAI/Attention-Residuals

    🕐 发布于: 2026年03月21日 12:03

  • 📰 OpenCode:开源AI编程代理已获得12万星标

    这是一款开源的AI编程代理工具,在GitHub上已获得超过12万颗星标,拥有800位贡献者。目前每月有超过500万开发者使用该工具。

    • 支持连接任意模型提供商,包括Claude、GPT、Gemini等主流模型
    • 提供终端、桌面应用和IDE插件多种使用方式
    • 优先考虑隐私保护,不存储任何代码或上下文数据
    • 内置LSP支持,可自动加载正确的LSP为LLM服务
    • 支持多会话并行操作,可同时在同一个项目上启动多个代理

    原文链接:https://opencode.ai/

    🕐 发布于: 2026年03月21日 12:02

  • 📰 FSF就Anthropic版权诉讼达成和解:捍卫软件自由

    自由软件基金会(FSF)就Bartz v. Anthropic版权侵权诉讼达成和解,这是针对Anthropic使用LibGen等数据集训练LLM的集体诉讼。

    • 法院裁定使用书籍训练LLM属于合理使用,但下载行为是否合法需待审判
    • Anthropic的训练数据中包含FSF拥有版权的《Free as in Freedom》一书,该书采用GNU FDL自由许可证发布
    • FSF要求Anthropic及其他LLM开发商向用户提供完整训练输入、模型、训练配置和源代码
    • FSF表示若参与此类诉讼并发现版权被侵犯,将要求用户自由作为补偿
    • 这是FSF少有的版权诉讼参与,目的是保护计算自由

    原文链接:https://www.fsf.org/blogs/licensing/2026-anthropic-settlement

    🕐 发布于: 2026年03月21日 08:07

  • 📰 MoonshotAI开源Attention Residuals技术

    MoonshotAI发布了一种名为Attention Residuals (AttnRes)的新型Transformer架构技术,可替代标准残差连接。

    • 标准残差连接以固定权重累积所有层输出,导致深层网络稀释每层贡献并使隐藏状态幅度无限增长
    • AttnRes通过softmax注意力机制替代固定累积,让每层能选择性聚合之前的表示
    • 完整AttnRes需要O(Ld)内存,区块版本将层分组为N个区块,将内存需求降至O(Nd)
    • 约8个区块即可恢复大部分完整AttnRes效果,是实用的即插即用替代方案
    • 已发布论文和PyTorch实现代码

    原文链接:https://github.com/MoonshotAI/Attention-Residuals

    🕐 发布于: 2026年03月21日 08:06

  • 📰 OpenCode:开源AI编程助手

    一款功能强大的开源AI编程助手,已获得超过120,000 GitHub stars,拥有800位贡献者,每月有超过500万开发者使用。

    • 支持连接任何模型提供商,包括Claude、GPT、Gemini等
    • 提供75+ LLM providersthrough Models.dev,包括本地模型
    • 多种使用方式:终端、桌面应用、IDE插件
    • 内置LSP自动加载、多会话并行、分享链接等特性
    • 注重隐私保护,不存储任何代码或上下文数据
    • 提供专为编程优化的Zen模型

    原文链接:https://opencode.ai/

    🕐 发布于: 2026年03月21日 08:06

  • 📰 FSF 就版权侵权问题警告 Anthropic

    自由软件基金会(FSF)就 Bartz v. Anthropic 诉讼案向 Anthropic 发出版权侵权警告。FSSF 主张任何和解都应要求将训练模型以自由软件许可证发布。同时,FSF 呼吁用户分享他们的 LLM,以建立一个”自由软件”目录。此事引发了对 copyleft 许可证与合理使用之间法律边界的讨论。


    原文链接:https://www.fsf.org/blogs/licensing/2026-anthropic-settlement

    🕐 发布于: 2026年03月20日 18:04

  • 📰 Kitten TTS 发布三款轻量级语音合成模型

    三款新的 Kitten TTS 文本转语音模型正式发布,最小模型仅 25MB,可直接在本地运行。性能方面,在 Intel 9700 CPU 上约为 1.5 倍实时速度。有用户反馈在 3080 GPU 上运行速度不如预期,开发者表示会优化 GPU 支持,并计划添加更多专业语音和自定义语音功能。


    原文链接:https://github.com/KittenML/KittenTTS

    🕐 发布于: 2026年03月20日 18:04

  • 📰 Astral 将被 OpenAI 收购

    Astral 是热门 Python 工具 Ruff 和 uv 的开发公司,此次收购引发了开源社区对软件”生产资料”被大公司掌控的担忧。随着工具作者成为科技巨头的员工,公共版本的构建工具可能会落后于内部版本,大公司将在开发工作流程中进一步实现集中化。


    原文链接:https://astral.sh/blog/openai

    🕐 发布于: 2026年03月20日 18:03

  • 📰 AI编程代理Scaling新突破:16 GPU集群8小时完成910次实验

    研究人员将Karpathy的Autoresearch项目扩展到16 GPU集群,8小时内提交约910次实验。

    • 使用Claude Code + SkyPilot在Kubernetes上管理16个GPU
    • 发现模型宽度缩放比任何单一超参数更重要
    • 自主发现异构硬件策略:在H100上筛选创意,在H200上验证最优方案
    • 验证损失从1.003降至0.974,相对基准提升2.87%
    • 并行搜索能捕获参数交互效应,顺序搜索则会错过
    • 16 GPU比顺序执行快9倍(约8小时vs约72小时)

    原文链接:https://blog.skypilot.co/scaling-autoresearch/

    🕐 发布于: 2026年03月20日 12:10

  • 📰 Kitten TTS v0.8发布:超轻量级语音合成模型最低仅25MB

    开源TTS库Kitten TTS发布v0.8版本,提供15M、40M、80M三种参数规模的模型。

    • 最小模型仅25MB(int8量化),可在CPU上运行,无需GPU
    • 基于ONNX优化推理效率,支持8种内置音色(Bella、Jasper、Luna、Bruno等)
    • 输出24kHz高质量音频,支持语速调节
    • 内置文本预处理,支持数字、货币、单位等自动转换
    • 提供Python API,可直接 pip 安装使用
    • 采用Apache 2.0开源许可证

    原文链接:https://github.com/KittenML/KittenTTS

    🕐 发布于: 2026年03月20日 12:10