Red Hat adapte OpenShift AI pour RHEL AI

Les fonctions clés d’OpenShift AI 2.9

Les mises à jour d’OpenShift AI 2.9 comprennent les éléments suivants :

• La prise en charge de plusieurs serveurs de modèles pour exécuter des apps d’IA générative et d’IA prédictive/machine learning ensemble, dans le même architecture OpenShift AI. Cette fonctionnalité s’appuie sur des mises à jour du package open source de définitions de ressources personnalisées KServe de Knative, Istio et Kubernetes qui prend en charge les charges de travail d’IA conteneurisées. Les nouvelles intégrations pour KServe comprennent la prise en charge de vLLM (une bibliothèque open source pour déployer des LLM), Text Generation Inference Server (une fork ouverte de la boîte à outils Hugging Face TGI pour l’inférence LLM dirigée par IBM) et Caikit (un ensemble d’outils de développement Python).
• L’orchestration d’applications d’IA distribuées via l’intégration de KubeRay (un opérateur Kubernetes pour le framework d’application d’IA distribuée open source Ray) et CodeFlare (une pile logicielle spécifique à OpenShift qui gère la mise en file d’attente, les quotas de ressources, la gestion des travaux par lots et la mise à l’échelle des ressources du cluster à la demande pour les applications distribuées). Le logiciel est également compatible avec le système de gestion de l’information de la Commission européenne et avec les modèles de Stability AI.
• La prise en charge élargie des outils de développement et de visualisation de modèles d’IA en préversion technique, tels que VS Code, RStudio et Compute Unified Device Architecture de Nvidia. Red Hat prévoit aussi d’intégrer OpenShift AI aux microservices d’inférence NeMo de Nvidia à travers de futures mises à jour de KServe.
• La prise en charge d’OpenShift en mode « single node », pour les déploiements en périphérie d’OpenShift AI, là encore en préversion technique.
• Une fonction de profils d’accélérateurs dans l’interface de gestion d’OpenShift AI pour configurer les accélérateurs matériels tels que Gaudi 3 d’Intel et Instinct d’AMD. Red Hat s’intégrera également aux GPU Arc d’Intel et ceux d’AMD.
• De nouvelles intégrations d’outils partenaires tels qu’un opérateur OpenShift certifié pour l’utilitaire de planification GPU Kubernetes de Run:ai ; la prise en charge des modèles de recherche vectorielle et de transformation Elasticsearch Relevance Engine d’Elastic pour le RAG ; et la prise en charge des modèles de génération d’images Stability AI.

Red Hat OpenShift AI cible le déploiement des LLM dans le cloud hybride

Avec l’agitation actuelle autour des licenciements et des hausses de prix des licences dans le sillage de l’acquisition de VMware par Broadcom, Red Hat a une occasion unique de se tailler une part de lion sur le marché de l’informatique en cloud hybride, avance Steven Dickens, analyste chez Futurum Group, dans une interview accordée à SearchITOperations, une publication sœur du MagIT.

« Kubernetes et plus particulièrement OpenShift sont une alternative crédible à Cloud Foundation de VMware, surtout s’il s’agit d’un déploiement greenfield », déclare-t-il. « OpenShift a un rôle énorme à jouer, surtout si vous pensez, comme moi, qu’une grande majorité de ces applications seront déployées sur site. »

Les principaux fournisseurs de cloud ont mené les premières grandes vagues de PoC dans l’IA générative, mais Red Hat a une proposition de valeur potentiellement convaincante dans les projets d’IA open source tels que InstructLab, ainsi que des outils d’infrastructure qui s’adaptent aux équipements Edge et de centre de données parallèlement au cloud public, considère Torsten Volk, analyste chez Enterprise Management Associates, lors d’une interview.

Il y a encore des choses à améliorer et à éclaircir du côté OpenShift AI. Les fonctionnalités en préversion technique devront être accessibles dès cette année. Il conviendra également d’ajouter un feature store, cela sera fait dans une prochaine version, selon Steven Huels. Red Hat offre également des aperçus de l’assistant virtuel Lightspeed en préversion privée pour OpenShift et RHEL, mais peu de détails techniques sont disponibles.

Red Hat doit continuer à développer des moyens de relier et de consolider les charges de travail à travers de multiples déploiements et services de cloud hybride et Edge, considère Sid Nag, analyste chez Gartner.

Par exemple, Red Hat continue de proposer plusieurs outils distincts pour divers aspects de la connectivité réseau cross-cloud, notamment OpenShift Service Mesh, basé sur Istio ; Red Hat Service Interconnect, basé sur le projet open source Skupper ; et Advanced Cluster Management, qui intègre le projet open source Submariner. La semaine dernière, l’éditeur en a ajouté un autre : Red Hat Connectivity Link, basé sur le projet open source Kuadrant. Tout cela sans parler des outils d’automatisation de réseau qu’il propose dans Ansible Automation Platform.

« [Red Hat] doit se pencher sur la fédération des modèles cross-cloud pour le réseau, les données, la sécurité, l’IA, les applications et les résultats commerciaux », insiste Sid Nag. « L’intégration et la fédération cross-cloud feront réellement de l’adoption multicloud une réalité. »

La base de clients de Red Hat n’en est qu’à ses débuts en ce qui concerne l’adoption de l’IA générative. Red Hat ne vend pas certaines fonctionnalités IA, comme Ansible Lightspeed, séparément de ses autres produits Ansible. Il est donc difficile de définir exactement combien de clients utilisent ses outils AI en production jusqu’à présent, mais ils sont peu nombreux, selon Chris Wright, lors d’un point presse.

« Nous avons des clients en production [mais] ils ne sont pas aussi nombreux que ceux ayant souscrit à un abonnement plus traditionnel de Red Hat, comme RHEL ou OpenShift », avance Chris Wright. « Il y a toutefois beaucoup d’intérêt dans ce domaine. Ce que nous recherchons, c’est donc de créer le lien avec le client par le biais de notre plateforme […] et de pouvoir passer de PoCs […] à la [production]. »