IBM與Groq宣布戰略合作,將IBM的watsonx Orchestrate與Groq的硬件加速推理技術相結合,加速企業級AI智能體部署。合作將為IBM客戶提供通過IBM平臺訪問Groq語言處理單元的能力,旨在降低大規模低延遲AI成本。Groq的定制LPU架構在推理速度和成本效率方面比傳統GPU高出五倍以上。兩家公司還將擴展對虛擬大語言模型的支持。
極智視界分享了YOLO11目標檢測算法的訓練與TensorRT部署實戰。項目基于coco_minitrain_10k數據集進行訓練,使用py TensorRT加速推理。包括數據集整備、訓練環境搭建、推理測試、開啟訓練和算法部署。部署過程涉及導出ONNX模型、安裝TensorRT環境、生成trt模型引擎文件和執行trt推理。