雖然2023年被稱為是大模型元年，但全球科技界普遍認(rèn)為，今天對(duì)于未來的想象力，依然是保守的。

從Chat GPT的出現(xiàn)到百模大戰(zhàn)，只用了不到半年時(shí)間，生成式AI已經(jīng)成為一個(gè)不得不打，還要打出成績(jī)的戰(zhàn)役。

經(jīng)過一年的沉淀，通用大模型的能力正在逐漸增強(qiáng)，大模型廠商也在將這些能力逐漸下沉，希望真正應(yīng)用到實(shí)際場(chǎng)景產(chǎn)生價(jià)值。

行業(yè)中也出現(xiàn)了一些產(chǎn)業(yè)標(biāo)準(zhǔn)和評(píng)測(cè)指標(biāo)，12月22日，國(guó)內(nèi)首個(gè)官方“大模型標(biāo)準(zhǔn)符合性評(píng)測(cè)” 《人工智能大規(guī)模預(yù)訓(xùn)練模型第2部分：評(píng)測(cè)指標(biāo)與方法》結(jié)果公布，百度文心一言、騰訊混元大模型、360智腦、阿里云通義千問四款國(guó)產(chǎn)大模型首批通過測(cè)試。

測(cè)試由工信部中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)起，評(píng)測(cè)圍繞多領(lǐng)域多維度模型評(píng)測(cè)框架與指標(biāo)體系，從大模型的通用性、智能性、安全性等維度開展，涵蓋語言、語音、視覺等多模態(tài)領(lǐng)域。

評(píng)測(cè)指標(biāo)與方法的出臺(tái)，一方面可以評(píng)估大模型的能力，一方面可以減少大模型諸如幻覺帶來的安全問題、倫理問題。

我們常說的大模型幻覺，就是“胡說八道”。具體是指模型生成的內(nèi)容與現(xiàn)實(shí)世界事實(shí)或用戶輸入不一致的現(xiàn)象。

大模型幻覺問題在于可能會(huì)導(dǎo)致誤信和誤用，特別是在用戶未能意識(shí)到模型輸出的不可靠性時(shí)。因此，理解和識(shí)別大模型幻覺的存在，對(duì)于任何依賴或使用這些技術(shù)的人來說都至關(guān)重要。

這要求從技術(shù)層面持續(xù)改進(jìn)模型的準(zhǔn)確性，減少錯(cuò)誤和偏差的發(fā)生。讓我們可以更安全、更有效地利用大模型的強(qiáng)大能力，同時(shí)避免或減輕由幻覺帶來的負(fù)面影響。

最近，來自哈爾濱工業(yè)大學(xué)和華為的研究團(tuán)隊(duì)發(fā)表了一篇長(zhǎng)達(dá)50頁的綜述，綜述給出了一套新的范疇框架來定義模型幻覺，并將其分為事實(shí)性幻覺、忠實(shí)性幻覺兩大類，其中也列出了少不業(yè)內(nèi)比較有代表性減輕幻覺的方法。

本期《數(shù)字化轉(zhuǎn)型方略》將探討大模型的指標(biāo)和幻覺問題，因?yàn)榇竽Ｐ筒荒苤皇撬�榜，企業(yè)可以通過哪些關(guān)鍵指標(biāo)來做判斷是未來應(yīng)用的關(guān)鍵，還有就是需要持續(xù)性關(guān)注的大模型的幻覺問題，推動(dòng)AI向更可靠、更安全的方向發(fā)展。

《數(shù)字化轉(zhuǎn)型方略》2023年第12期：http://www.meilihuayuanyanglaogongyu.cn/dxinsight/2312