大模型的研發和運行確實需要大規模的資源和資金支持,非小規模團隊能夠輕易承擔。這一點在當前的人工智能領域尤為明顯。以GPT4-o為例,其訓練涉及了文本、視覺和音頻等多種數據模態,這意味著它需要處理和分析的數據量是巨大的。據OpenAI透露,GPT-4o在訓練過程中使用了多達13兆的數據,這比之前的一些大型模型如LLAMA和PaLM使用的數據量還要多。此外,GPT-4o的模型參數數量也非常龐大,達到了1.8萬億。
專業社區關注大語言模型(LLM)如AlphaFold的發展,其預測蛋白質結構的能力為科研帶來革命,縮短新藥研發周期。谷歌DeepMind的Demis Hassabis憑借AlphaFold獲化學諾貝爾獎,展現AI在科學研究中的關鍵作用。AlphaFold-3的架構創新和預測準確性提升,使其能預測幾乎所有生命分子結構。AI的進步讓科研界思緒凌亂,考慮轉行搞AI。
瑞典皇家科學院宣布2024年物理獎頒給了,兩位AI先驅Geoff Hinton和John Hopfield。兩位提出的Hopfield網絡、玻爾茲曼機器、神經網絡、深度學習、反向傳播算法、模仿人類大腦等技術概念。