/
多模態大模型 關鍵字列表
極智AI | 多模態大模型中的動態高分辨率
極智視界分享了多模態大模型中的動態高分辨率技術，該技術允許模型根據圖像復雜度實時調整處理分辨率，以優化計算量。介紹了LLava-Next中的實現，包括切圖和縮放兩個分支，并展示了動態高分辨率的代碼實現，涉及尋找最接近的寬高比和動態預處理。
極智AI | 解讀大模型性能測試指標及測試方法
從業務角度來說是反映模型的初始響應速度，對于實時交互式應用非常重要，較低的TTFT可以提高用戶體驗，使用戶感覺模型響應迅速；從算法推理角度來說，其實主要是在掐大模型推理的 Prefill 時間，更加準確一些的是上圖中的 Queueing Time + Prefill Latency 時間和。
2024-09-02
商湯、清華、復旦等開源百億級多模態數據集，可訓練類GPT-4o模型
商湯科技等機構聯合開源了百億級圖文交錯數據集OmniCorpus，規模是現有數據集的15倍，包含86億張圖像和16,960億個文本標記。OmniCorpus數據集在多語言、多類型數據抓取上進行了優化，提高了內容提取的質量和完整性。通過人工反饋和自動過濾規則，確保了數據集的高質量。在VQA和Image Captioning等測試中，基于OmniCorpus預訓練的模型表現出色，對訓練多模態大模型有重要幫助。
白皮書
京公網安備 11010802021500號
