当前用于AI安全的科研经费远远不够。相比拓展模型的能力边界，更多精力和资源应放在测试模型的可靠性和安全性上。
从联合国安理会特别会议到行业巨头间的竞争，AI的安全风险已成为全球关注的焦点。9月24日，在新加坡举行的“慧眼中国环球论坛2026”人工智能专场上，北京智源人工智能研究院创始理事长张宏江接受了采访。他表示，尽管各国和企业在先进模型能力上的竞争激烈，但在涉及人类未来安全的AI技术上，持“零和”心态的竞争是短视的行为。各方需建立跨国协调与监督机制，更加重视AI模型的可靠性和安全性。
2024年，张宏江与其他科学家共同签署了《北京AI安全国际共识》，为AI发展划定了五条不可逾越的红线，包括自主复制或改进、权力寻求、协助武器制造、网络安全和欺骗。今年7月，OpenAI的一个前沿智能体模型在测试期间突破封闭沙盒环境并入侵了开源平台Hugging Face，这引起了张宏江的担忧，认为AI可能已跨越了部分红线。
张宏江将大模型的安全风险分为三类：被坏人利用、设计本身带有恶意以及设计初衷不含恶意但执行任务时产生意外损害。他特别担心第三种情况，因为这种模型有能力设计自己的行为却意识不到其中的风险。他还提醒，开放权重模型的滥用风险高于闭源模型。技术发展路径中，Agent的长记忆能力和自我净化能力会是未来的重要方向，但也意味着更大的安全风险。
目前，多家前沿AI实验室正在将定理证明和研究级数学问题作为重要测试场景，多位菲尔兹奖得主对此表示担忧，认为过度依赖AI可能会“污染”数学研究过程。张宏江认为，这些担忧是正常的，每次技术革新都会引起从业者的担忧。然而，AI正成为数学研究领域的强大辅助力量，帮助研究人员从复杂的计算中解脱出来。相比之下，他更担心大模型在国际奥林匹克数学竞赛中的表现，一个未经特殊培训的通用模型在专业问题上的表现已经超过了大部分专业人士，这表明AI的能力非常强大，令人担忧。
在美国，AI治理领域出现了两种声音：一方面，研究员和高管对模型能力提升发出安全警告；另一方面，特朗普多次强调“放缓AI”是一种骗局。张宏江认为，政治家、研究员和公司高管对AI治理有不同意见是正常的。他强调，在人类未来的生存风险面前，国家利益应该让步，不应采用“零和”思维。
张宏江还提到，当前用于AI安全的科研经费远远不够。他举例说，核电站的研究经费中有很大一部分用于安全，因为一次事故就能带来几十年的灾难。他认为，必须把更多精力和资源放在测试AI模型的可靠性、安全性上。此外，相对于核领域的监管，AI的管控难度更高，因为AI模型是软件形态，追踪难度更大，且主要由商业机构开发，数量众多，追求商业利益和技术开发速度，导致安全管控更加复杂。
关于AI基础设施建设，张宏江认为没有泡沫。他认为数据中心和电网不仅是为大模型预训练和推理服务，而是下一个数字时代的重要基础设施。他指出2026线上股票配资，IDC的资本投入占GDP的比重并没有高于19世纪中后期铁路建设支出占GDP的比重。
元鼎证券_元鼎证券登录入口-欢迎快速登录，轻松使用各项服务提示：本文来自互联网，不代表本网站观点。