小米 MiMo-V2.6 系列发布,Pro 版登顶开源权重模型基准
小米发布 MixMo-V2.6 系列开源原生全模态模型,其中 Pro 版在 Artificial Analysis 智能指数上以 46 分登顶开源权重模型,模型约 1.02T 总参数、42B 活跃参数,MIT 许可;Flash 版平衡智能、效率与成本,UltraSpeed 版提供高达 20 倍的输出速度。
小米发布 MixMo-V2.6 系列开源原生全模态模型,其中 Pro 版在 Artificial Analysis 智能指数上以 46 分登顶开源权重模型,模型约 1.02T 总参数、42B 活跃参数,MIT 许可;Flash 版平衡智能、效率与成本,UltraSpeed 版提供高达 20 倍的输出速度。
TypeSafe AI 推出面向软件的 System One 模型 Jev,CEO Diogo Almeida 在访谈中解释其 RLCD 训练法如何用校准概率替代 RLHF 的人类反馈,并主张开发者把 AI 当作软件依赖而非聊天助手。
推荐理由:访谈剖析了 Jev 为何押注校准决策而放弃 RLHF,并给出编码代理、游戏操控等具体用例,便于开发者判断 System One 模型的适用场景。
针对长程交互中递归摘要带来的性能损失,Berkeley AI Research提出ABBEL框架,将摘要组织为自然语言信念状态并引入信念评分以监督其信息内容。在CollabBench协作编码环境中,ABBEL将全上下文模型的性能差距缩小约50%,训练步数由100步减至50步,同时峰值上下文token大幅降低。
AI推理成本大幅下降,GPT-4级能力每百万token从约30美元降至1美元以下,近乎免费智能即将到来。推理价格每年下降9至900倍,中位数约50倍,智能体将成为数据系统主流负载。数据系统需面向、由、与智能体重构,以应对重复查询和智能体推测等新挑战。
Google DeepMind 发布 Gemini for Science,包含基于 Co-Scientist、AlphaEvolve 和 NotebookLM 构建的 Hypothesis Generation。
Google DeepMind 发布新的分布式训练架构 Decoupled DiLoCo,通过解耦计算岛实现跨数据中心低带宽训练,并在硬件故障时隔离影响继续训练。该架构在 120 亿参数模型上跨美国四个区域以 2-5 Gbps 网络训练成功,速度比传统同步方法快 20 倍以上,并支持混合不同代际硬件(如 TPU v6e 和 v5p)。
推荐理由:该架构以解耦计算岛实现低带宽跨数据中心训练,抗硬件故障并支持混合硬件代际,可帮助理解分布式训练的前沿方向。
研究者在论文中证明,word2vec 在现实训练条件下可归结为无权重最小二乘矩阵分解,且其学习动态有闭式解——最终学到的词嵌入表示正是对特定矩阵做 PCA 的结果。这些隐特征依次对应可解释的概念,如名人传记、政府管理等主题。