/
實時交互式應用 關鍵字列表
極智AI | 解讀大模型性能測試指標及測試方法
從業務角度來說是反映模型的初始響應速度，對于實時交互式應用非常重要，較低的TTFT可以提高用戶體驗，使用戶感覺模型響應迅速；從算法推理角度來說，其實主要是在掐大模型推理的 Prefill 時間，更加準確一些的是上圖中的 Queueing Time + Prefill Latency 時間和。
白皮書
/
從業務角度來說是反映模型的初始響應速度，對于實時交互式應用非常重要，較低的TTFT可以提高用戶體驗，使用戶感覺模型響應迅速；從算法推理角度來說，其實主要是在掐大模型推理的 Prefill 時間，更加準確一些的是上圖中的 Queueing Time + Prefill Latency 時間和。
北京第二十六維信息技術有限公司（至頂網）版權所有. 京ICP備15039648號-7
京ICP證161336號
京公網安備 11010802021500號
舉報電話：010-62641205-5060 涉未成年人舉報專線：010-62641208 舉報郵箱：jubao@zhiding.cn
網上有害信息舉報專區：https://www.12377.cn
