NVIDIA et OpenAI viennent de publier deux nouveaux modèles de raisonnement à poids ouverts, gpt-oss-120b et gpt-oss-20b. Le modèle 120b peut traiter 1,5 million de tokens par seconde sur un seul système NVIDIA GB200 NVL72. Cela est rendu possible grâce à un mélange de l'architecture Blackwell de NVIDIA et d'un nouveau format de précision à 4 bits appelé NVFP4. Ce format aide à trouver un équilibre entre précision et efficacité.
Qu'est-ce qui alimente les modèles
Ce qui aide ces modèles à fonctionner si efficacement, c'est un mélange de nouveau matériel et de logiciels intelligents. Ils ont été formés sur les puissants GPU H100 de NVIDIA et sont conçus pour fonctionner de manière fluide sur une large gamme d'appareils. Vous pouvez les utiliser depuis de grands systèmes cloud jusqu'à des PC de bureau classiques avec des cartes NVIDIA RTX. Si vous utilisez déjà CUDA, vous pouvez probablement exécuter ces modèles sans trop de travail supplémentaire.
Les deux modèles sont également emballés sous ce que NVIDIA appelle "Microservices d'Inference". Cela rend les modèles comparativement plus rapides et plus faciles. Vous n'avez pas besoin de tout construire à partir de zéro. Et si vous utilisez déjà des outils d'IA populaires comme Hugging Face ou Llama.cpp, ces modèles s'intégreront parfaitement.
Le nouveau matériel Blackwell de NVIDIA joue également un rôle important ici. Il comprend une fonctionnalité appelée NVFP4, qui aide les modèles à s'exécuter plus rapidement et plus efficacement en utilisant des nombres de moindre précision sans perdre en précision. Cela peut sembler technique, mais le résultat est assez simple. Cela se traduira par une IA plus rapide qui utilise moins d'énergie et de mémoire. Pour les entreprises, cela peut signifier des coûts réduits.
Il existe également une relation de longue date entre NVIDIA et OpenAI qui a aidé à rendre cela possible. Cette relation remonte au moment où Jensen Huang a littéralement livré le premier DGX-1 en personne. Ce qui se passe maintenant avec la série gpt-oss semble être la prochaine étape logique de cette collaboration. Ces productions, cependant, nécessiteront des ordres de grandeur supplémentaires en puissance de calcul, en perfectionnement et en préparation opérationnelle. Son matériel, ses logiciels et ses services travaillent tous ensemble, ce qui est rare à ce niveau.
Ouvert à Tous pour Construire
L'une des choses les plus importantes à propos de cette version est que les modèles sont ouverts. Cela signifie que tout le monde, des startups aux universités, peut également travailler dessus. Ils peuvent les construire, les personnaliser et les utiliser dans leurs systèmes. OpenAI a maintenant plus de 4 millions de développeurs à vie construisant sur sa plateforme. NVIDIA, de son côté, a plus de 6,5 millions de développeurs utilisant ses outils logiciels. Ils travaillent ensemble depuis près d'une décennie, et la portée est massive. Il y a des centaines de millions de GPU dans le monde qui fonctionnent sur la plateforme NVIDIA CUDA. Lorsque la technologie comme celle-ci est lancée dans un écosystème aussi vaste et expérimenté, l'adoption a tendance à se faire rapidement. Et c'est là que cela commence à ressembler moins à un lancement et plus à un tournant.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
NVIDIA et OpenAI ont lancé les modèles de raisonnement ouvert les plus rapides
NVIDIA et OpenAI viennent de publier deux nouveaux modèles de raisonnement à poids ouverts, gpt-oss-120b et gpt-oss-20b. Le modèle 120b peut traiter 1,5 million de tokens par seconde sur un seul système NVIDIA GB200 NVL72. Cela est rendu possible grâce à un mélange de l'architecture Blackwell de NVIDIA et d'un nouveau format de précision à 4 bits appelé NVFP4. Ce format aide à trouver un équilibre entre précision et efficacité.
Qu'est-ce qui alimente les modèles
Ce qui aide ces modèles à fonctionner si efficacement, c'est un mélange de nouveau matériel et de logiciels intelligents. Ils ont été formés sur les puissants GPU H100 de NVIDIA et sont conçus pour fonctionner de manière fluide sur une large gamme d'appareils. Vous pouvez les utiliser depuis de grands systèmes cloud jusqu'à des PC de bureau classiques avec des cartes NVIDIA RTX. Si vous utilisez déjà CUDA, vous pouvez probablement exécuter ces modèles sans trop de travail supplémentaire.
Les deux modèles sont également emballés sous ce que NVIDIA appelle "Microservices d'Inference". Cela rend les modèles comparativement plus rapides et plus faciles. Vous n'avez pas besoin de tout construire à partir de zéro. Et si vous utilisez déjà des outils d'IA populaires comme Hugging Face ou Llama.cpp, ces modèles s'intégreront parfaitement.
Le nouveau matériel Blackwell de NVIDIA joue également un rôle important ici. Il comprend une fonctionnalité appelée NVFP4, qui aide les modèles à s'exécuter plus rapidement et plus efficacement en utilisant des nombres de moindre précision sans perdre en précision. Cela peut sembler technique, mais le résultat est assez simple. Cela se traduira par une IA plus rapide qui utilise moins d'énergie et de mémoire. Pour les entreprises, cela peut signifier des coûts réduits.
Il existe également une relation de longue date entre NVIDIA et OpenAI qui a aidé à rendre cela possible. Cette relation remonte au moment où Jensen Huang a littéralement livré le premier DGX-1 en personne. Ce qui se passe maintenant avec la série gpt-oss semble être la prochaine étape logique de cette collaboration. Ces productions, cependant, nécessiteront des ordres de grandeur supplémentaires en puissance de calcul, en perfectionnement et en préparation opérationnelle. Son matériel, ses logiciels et ses services travaillent tous ensemble, ce qui est rare à ce niveau.
Ouvert à Tous pour Construire
L'une des choses les plus importantes à propos de cette version est que les modèles sont ouverts. Cela signifie que tout le monde, des startups aux universités, peut également travailler dessus. Ils peuvent les construire, les personnaliser et les utiliser dans leurs systèmes. OpenAI a maintenant plus de 4 millions de développeurs à vie construisant sur sa plateforme. NVIDIA, de son côté, a plus de 6,5 millions de développeurs utilisant ses outils logiciels. Ils travaillent ensemble depuis près d'une décennie, et la portée est massive. Il y a des centaines de millions de GPU dans le monde qui fonctionnent sur la plateforme NVIDIA CUDA. Lorsque la technologie comme celle-ci est lancée dans un écosystème aussi vaste et expérimenté, l'adoption a tendance à se faire rapidement. Et c'est là que cela commence à ressembler moins à un lancement et plus à un tournant.