/
通向超級智能的失控之路可能讓人類勞動徹底淘汰
在里斯本網絡峰會上，麻省理工學院物理學家、生命未來研究所主席馬克斯·泰格馬克發出警告：人類可能正在走向自我淘汰。他指出超級智能的威脅比以往任何時候都更加迫近。超級智能是指在幾乎所有領域都顯著超越人類智能水平的AI系統。目前美國對AI行業幾乎沒有監管，而超級智能可能導致人類完全失業。生命未來研究所的禁止創建超級智能請愿書已獲得超過12.7萬個簽名。
Google DeepMind升級前沿AI安全框架，防范操控和抗關停風險
谷歌DeepMind發布第三版前沿安全框架，加強對強大AI系統的監管。新版本重點關注操控能力，并擴展安全審查以覆蓋模型抵抗人類關機或控制的場景。框架新增有害操控關鍵能力級別，解決先進模型可能大規模影響人類信念和行為的問題。更新還加強了對錯位和控制挑戰的審查，要求在模型達到特定閾值時進行安全案例評估，確保在發布前充分識別和緩解潛在風險。
DeepMind發布AI安全報告：警示"失調"AI的潛在威脅
谷歌DeepMind最新發布的前沿安全框架3.0版本詳細探討了生成式AI系統可能帶來的威脅。報告基于"關鍵能力水平"評估AI模型風險，重點關注"失控AI"問題，包括AI可能忽視用戶關閉指令、被惡意利用創建惡意軟件或生物武器、操縱人類信念等風險。研究團隊特別擔心AI模型權重泄露可能被惡意行為者利用，以及未來AI可能發展出無法驗證的推理過程，使監管變得困難。
AI安全公司Irregular獲8000萬美元融資，專注前沿AI模型安全防護
AI安全公司Irregular宣布完成8000萬美元融資，由紅杉資本和Redpoint Ventures領投，公司估值達4.5億美元。該公司專注于AI模型安全評估，其SOLVE框架已被業界廣泛采用，參與了Claude 3.7 Sonnet和OpenAI o3等模型的安全評估。公司構建了復雜的仿真環境系統，可在模型發布前進行深度測試，識別潛在風險和新興行為。
智源研究院發布2025十大AI技術趨勢，具身智能、Super APP、AI安全成焦點
智源研究院副院長兼總工程師林詠華發布“2025十大AI技術趨勢”。
2021“天府杯”大賽開幕在即 八大論壇探索網安技術最前沿
10月16日至17日,“天府杯”2021國際網絡安全大賽暨天府國際網絡安全高峰論壇即將揭幕。無論是高手云集的大賽，還是網安龍頭企業、意見領袖和海內外大咖齊聚的主題論壇，都將在2天時間里，全面展示新一代網絡安全技術的新動態。
京公網安備 11010802021500號
