あらゆるプラットフォームであらゆるアプリケーションのために AI を展開、実行、拡張する。
NVIDIA Triton™ なら、GPU や CPU など、あらゆるプロセッサのあらゆるフレームワークから、トレーニング済みの機械学習モデルやディープラーニング モデルで推論を実行できます。NVIDIA AI プラットフォームの一部であり、NVIDIA AI Enterprise でご利用いただける Triton は、AI モデルの展開と実行をあらゆるワークロードを対象に標準化するオープンソース ソフトウェアです。
Triton を利用すれば、TensorFlow、PyTorch、Python、ONNX、NVIDIA® TensorRT™、RAPIDS™ cuML、XGBoost、scikit-learn RandomForest、OpenVINO、カスタム C++ など、あらゆるメジャー フレームワークに AI モデルを展開できます。
動的バッチ処理、同時実行、最適構成、ストリーミング オーディオ/ビデオによりスループットと利用率を最大化します。Triton では、すべての NVIDIA GPU、x86 CPU、Arm® CPU、AWS Inferentia がサポートされています。
Triton は拡張用の Kubernetes や監視用の Prometheus のような DevOps/MLOps ソリューションに統合できます。また、すべての主要なクラウド、オンプレミス AI、MLOps プラットフォームで使用できます。
NVIDIA AI Enterprise (NVIDIA Triton や Triton 管理サービスなど) は、サポート、セキュリティ、安定した API で「価値創出までの時間」を短縮する、安全で運用環境対応の AI ソフトウェア プラットフォームです。
NVIDIA AI Enterprise をお買い求めください。運用環境推論のための NVIDIA Triton と Triton 管理サービスが含まれております。
Kubernetes で複数の Triton Inference Server インスタンスの展開を自動化します。GPU と CPU でリソース効率に優れたモデル オーケストレーションを利用します。
PyTriton のシンプルなインターフェイスでは、Python 開発者は Triton を利用し、モデル、単純な処理関数、インターフェイス パイプライン全体など、あらゆるものにサービスを提供できます。Python では Triton がネイティブ サポートされることで、機械学習モデルを短時間で効果的かつ効率的に試作し、試験できます。1 行のコードで Triton が起動し、動的バッチ処理、同時モデル実行、GPU/CPU サポートなどのメリットが与えられます。そのため、モデル リポジトリを設定する必要も、モデルの形式を変換する必要もありません。既存の推論パイプライン コードを変更せずに使用できます。
Triton Model Analyzer は、バッチ サイズ、精度、ターゲット プロセッサ上の同時実行インスタンスなど、Triton Inference Server のモデル展開構成を自動評価するツールです。レイテンシ、スループット、メモリ要件など、アプリケーションのサービス品質 (QoS) 制約を満たす最適な構成を選択する作業を助けます。最適な構成を見つけるまでの時間が短縮されます。このツールは、モデル アンサンブルとマルチモデル解析にも対応しています。
Triton はスケーラブルで高性能な推論に最適な選択肢です。Alibaba Cloud、Amazon Elastic Kubernetes Service (EKS)、Amazon Elastic Container Service (ECS)、Amazon SageMaker、Google Kubernetes Engine (GKE)、Google Vertex AI、HPE Ezmeral、Microsoft Azure Kubernetes Service (AKS)、Azure Machine Learning、Oracle Cloud Infrastructure Data Science Platform で利用できます。
AI 推論関連の最新情報を NVIDIA から受け取る。