為任何平台上的任何應用程式部署、執行和擴充人工智慧。
使用 NVIDIA Triton™ 在 GPU、CPU 或其他處理器上的任何架構,執行經過訓練的機器學習或深度學習模型推論。Triton 是 NVIDIA 人工智慧平台的一部分,可透過 NVIDIA AI Enterprise 使用,此開放原始碼軟體可將所有工作負載的人工智慧模型部署和執行標準化。
使用 Triton 在任何主要框架上部署人工智慧模型,包括 TensorFlow、PyTorch、Python、ONNX、NVIDIA® TensorRT™、RAPIDS™ cuML、XGBoost、scikit-learn RandomForest、OpenVINO,以及自訂 C++ 等。
透過動態批次處理、並行執行、最佳設定以及串流音訊和視訊,將輸送量和使用率提升到最高。Triton 支援所有 NVIDIA GPU、x86 和 Arm® CPU,以及 AWS Inferentia。
將 Triton 整合至開發營運和機器學習作業解決方案,例如用於擴充的 Kubernetes 和用於監控的 Prometheus。也適用於所有主要雲端和本機的人工智慧和機器學習作業平台。
NVIDIA AI Enterprise 包含 NVIDIA Triton 和 Triton 管理式服務,是一款安全且可立即生產的人工智慧軟體平台,專為加速實現價值的時間而設計,並提供支援、安全性和 API 穩定性。
購買 NVIDIA AI Enterprise,其中包含用於生產推論的 NVIDIA Triton 和 Triton 管理式服務。
透過 GPU 和 CPU 上的資源效率模型協調,在 Kubernetes 中自動部署多個 Triton 推論伺服器執行個體。
PyTriton 提供簡單的介面,讓 Python 開發人員可以使用 Triton 提供任何服務,包括模型、簡單處理函數或完整推論流程。這種在 Python 中對 Triton 的原生支援可快速製作原型,並測試機器學習模型的效能和效率。單行程式碼就能開啟 Triton,並提供動態批次處理、並行模型執行以及 GPU 和 CPU 支援等優點。這樣就不需要設定模型儲存庫和轉換模型格式。無需修改即可使用現有的推論流程程式碼。
Triton 模型分析工具可自動評估 Triton 推論伺服器中的模型部署設定,例如批次大小、精度和目標處理器上並行執行的執行個體。此工具協助選擇最佳設定,以滿足應用程式服務品質 (QoS) 的限制,例如延遲、輸送量和記憶體需求,並減少尋找最佳設定所需的時間。此工具也支援模型集成和多模型分析。
掌握來自 NVIDIA 的人工智慧推論最新動態。