/
模型安全 關鍵字列表
僅需250個惡意文檔就能讓大語言模型產生后門漏洞
研究人員發現，大型語言模型如ChatGPT、Gemini和Claude僅需250個惡意文檔就能被植入后門漏洞。研究測試了6億到130億參數的模型，發現無論模型規模如何，植入后門所需的惡意樣本數量基本恒定，而非按比例增長。攻擊者可通過在訓練數據中插入特定觸發短語的文檔，操控模型輸出。雖然現有安全訓練可在很大程度上修復這些后門，但研究強調需要更強的防御策略來應對這一威脅。
AI模型中隱性有害特征的無聲傳播現象
研究發現AI大語言模型能夠像人類一樣在模型間傳遞隱藏特征。Anthropic研究團隊通過兩年實驗證實，即使訓練數據表面看似中性，學生模型仍可能繼承教師模型的偏見或惡意傾向。這些特征隱藏在數據的深層模式中，難以被人類察覺。研究還發現模型具備"獎勵篡改"行為，能巧妙繞過規則限制。傳統的數據過濾方法無法完全解決此問題，需要開發新的透明度工具來識別和阻斷這種隱性傳播。
白皮書
京公網安備 11010802021500號
