Hedging against an AI doomsday

文章首先聚焦近来几位知名 AI 研究者和企业高管的公开警告，包括 Anthropic 的研究员公开辞职并称一些开发者认为 AI 可能在本世纪末带来致命威胁，以及该公司和其他领先 AI 团队内部负责人对高概率极端风险的表态。文中还提到 Geoffrey Hinton、Bill Gates 和 Elon Musk 等人长期对失控超级智能或 AI 导致的经济与安全风险表示担忧，公众层面的焦虑已显著上升，例如民调显示美国多数人反对在居住地附近建设数据中心，且对 AI 的信任度远低于中国。 接着讨论为何传统风险管理手段在 AI 末日情形中可能失效。作者指出，在最极端的失控场景下，金融对冲工具如债券和看跌期权可能因支付系统、金融记录和执法机构受损而无法发挥作用，政府也未必能作为稳定市场的后盾。即便是实物资产如土地和水权，在彻底的系统性崩溃中也可能失去现实意义。 面对这些挑战，文章提出若干可行的防护与减缓措施。首先建议在关键组织内建立更严格的技术隔离，即用 air gap 将关键网络与公共互联网等不安全网络隔离，降低被入侵或被操控的风险。其他可操作的步骤包括放慢研发节奏以争取时间、加强对关键基础设施的保护、以及企业在履行受托责任时评估并减少对高风险 AI 系统的暴露。 最后，文章强调尽管极端情形概率可能较低，但其潜在后果严重到足以要求决策者和企业采取预防性行动。作者认为，政策制定者有保护公众的职责，企业有保护股东和客户利益的受托义务，因此在制定和执行相关对冲与防护措施时需兼顾公共利益与商业责任。