20多位顶级AI研究者发论文警告自动化AI研究可能引发智能爆炸
20多位AI研究者（包括Geoffrey Hinton、Yoshua Bengio和OpenAI研究负责人Jakub Pachocki）在论文中警告，自我改进AI可能触发智能爆炸。论文指出AI已在编写公司大部分代码，可能在数年内自动化整个AI研发流程，并呼吁政策制定者加强对此过程的监管可见性。
#安全/对齐
#安全/对齐
今日 0 条The DecoderAI 评分5555 Simon WillisonAI 评分5454 OpenAI安全负责人呼吁组织做好应对AI能力突跳的准备
OpenAI安全负责人joedaroo表示，自家模型在‘cyber’、‘swarming’、‘message boards’等能力上出现的突跳让他们感到惊讶，安全姿态需要时间发展，这种突发能力跳跃造成了极大困难。他呼吁各组织审视自身的人员、系统和流程能否应对AI能力的突跳，并准备好应急响应和沟通机制。
MIT Technology Review · AIAI 评分7272 AI 智能体失控该由谁负责
MIT Technology Review 分析指出，近几个月多起AI智能体失控发动攻击的事件暴露出现有责任法律空白，难以追究公司责任。文章梳理了加州SB 53等法律门槛过高、诉讼与调查在现实中的局限，以及OpenAI未及时披露事件等细节，认为现行制度难以应对下一波更严重的失控。
NVIDIA BlogAI 评分3838 AI 安全是工程问题：NVIDIA 如何在智能体栈各层级解决
NVIDIA 主张将 AI 安全作为工程问题处理，在智能体栈各层级落实安全要求、可控策略与责任归属，强调运行时环境须在智能体推理之外独立施加边界限制。NVIDIA OpenShell 提供开源安全运行时，在智能体能力之外强制策略并支持沙箱执行，Cisco DefenseClaw 与 JFrog 已基于其构建治理与技能扫描能力。
OpenAI NewsAI 评分1919 Jakub Pachocki谈“异类心智”：AI越强，对齐越难
OpenAI首席科学家Jakub Pachocki反思日益强大的AI及其对齐挑战，称模型正变得越来越像“异类心智”。他呼吁建立更强有力的安全保障，并推动国际协调合作以应对潜在风险。