NVIDIA та OpenAI щойно випустили дві нові моделі відкритого вагового міркування, gpt-oss-120b та gpt-oss-20b. Модель 120b може обробляти 1,5 мільйона токенів на секунду на одному системі NVIDIA GB200 NVL72. Це стало можливим завдяки поєднанню архітектури Blackwell від NVIDIA та нового формату з 4-бітною точністю, званого NVFP4. Цей формат допомагає знайти баланс між точністю та ефективністю.
Що живить моделі
Те, що допомагає цим моделям працювати так ефективно, - це поєднання нового апаратного забезпечення та розумного програмного забезпечення. Вони були навчені на потужних GPU H100 від NVIDIA і розроблені для безперебійної роботи на широкому спектрі пристроїв. Ви можете використовувати їх від великих хмарних систем до звичайних настільних ПК з картами NVIDIA RTX. Якщо ви вже використовуєте CUDA, ви, напевно, зможете запустити ці моделі без особливих зусиль.
Обидві моделі також упаковані в те, що NVIDIA називає «Мікросервісами для інференсу». Це робить моделі відносно швидшими та легшими. Вам не потрібно будувати все з нуля. І якщо ви вже використовуєте популярні AI-інструменти, такі як Hugging Face або Llama.cpp, ці моделі легко підключаються.
Новіша апаратура Blackwell від NVIDIA також відіграє велику роль у цьому. Вона містить функцію під назвою NVFP4, яка допомагає моделям працювати швидше і ефективніше, використовуючи числа з нижчою точністю без втрати точності. Це може звучати технічно, але результат досить простий. Це призведе до швидшого ШІ, який використовує менше енергії та пам'яті. Для підприємств це може означати нижчі витрати.
Існує також тривала співпраця між NVIDIA та OpenAI, яка допомогла зробити це можливим. Ця співпраця почалася ще тоді, коли Дженсен Хуан особисто доставив перший DGX-1. Те, що відбувається зараз з серією gpt-oss, відчувається як наступний логічний крок у цій співпраці. Однак для цих виробництв буде потрібно на порядок більше обчислювальної потужності, шліфування та оперативної готовності. Його апаратура, програмне забезпечення та послуги працюють разом, що рідко можна побачити на цьому рівні.
Відкрито для всіх, щоб будувати
Однією з найважливіших речей щодо цього релізу є те, що моделі відкриті. Це означає, що будь-хто з стартапів і університетів також може працювати над ними. Вони можуть будувати на їх основі, налаштовувати їх і використовувати у своїх системах. OpenAI зараз має понад 4 мільйони розробників за весь час, які працюють на його платформі. NVIDIA, у свою чергу, має більше ніж 6,5 мільйонів розробників, які використовують її програмні інструменти. Вони працюють разом уже майже десять років, і охоплення є величезним. Є сотні мільйонів GPU по всьому світу, які працюють на платформі NVIDIA CUDA. Коли така технологія випускається в таку велику і досвідчену екосистему, прийняття, як правило, відбувається швидко. І тут це починає відчуватися не як запуск, а як поворотний момент.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
NVIDIA та OpenAI запустили найшвидші відкриті моделі міркування
NVIDIA та OpenAI щойно випустили дві нові моделі відкритого вагового міркування, gpt-oss-120b та gpt-oss-20b. Модель 120b може обробляти 1,5 мільйона токенів на секунду на одному системі NVIDIA GB200 NVL72. Це стало можливим завдяки поєднанню архітектури Blackwell від NVIDIA та нового формату з 4-бітною точністю, званого NVFP4. Цей формат допомагає знайти баланс між точністю та ефективністю.
Що живить моделі
Те, що допомагає цим моделям працювати так ефективно, - це поєднання нового апаратного забезпечення та розумного програмного забезпечення. Вони були навчені на потужних GPU H100 від NVIDIA і розроблені для безперебійної роботи на широкому спектрі пристроїв. Ви можете використовувати їх від великих хмарних систем до звичайних настільних ПК з картами NVIDIA RTX. Якщо ви вже використовуєте CUDA, ви, напевно, зможете запустити ці моделі без особливих зусиль.
Обидві моделі також упаковані в те, що NVIDIA називає «Мікросервісами для інференсу». Це робить моделі відносно швидшими та легшими. Вам не потрібно будувати все з нуля. І якщо ви вже використовуєте популярні AI-інструменти, такі як Hugging Face або Llama.cpp, ці моделі легко підключаються.
Новіша апаратура Blackwell від NVIDIA також відіграє велику роль у цьому. Вона містить функцію під назвою NVFP4, яка допомагає моделям працювати швидше і ефективніше, використовуючи числа з нижчою точністю без втрати точності. Це може звучати технічно, але результат досить простий. Це призведе до швидшого ШІ, який використовує менше енергії та пам'яті. Для підприємств це може означати нижчі витрати.
Існує також тривала співпраця між NVIDIA та OpenAI, яка допомогла зробити це можливим. Ця співпраця почалася ще тоді, коли Дженсен Хуан особисто доставив перший DGX-1. Те, що відбувається зараз з серією gpt-oss, відчувається як наступний логічний крок у цій співпраці. Однак для цих виробництв буде потрібно на порядок більше обчислювальної потужності, шліфування та оперативної готовності. Його апаратура, програмне забезпечення та послуги працюють разом, що рідко можна побачити на цьому рівні.
Відкрито для всіх, щоб будувати
Однією з найважливіших речей щодо цього релізу є те, що моделі відкриті. Це означає, що будь-хто з стартапів і університетів також може працювати над ними. Вони можуть будувати на їх основі, налаштовувати їх і використовувати у своїх системах. OpenAI зараз має понад 4 мільйони розробників за весь час, які працюють на його платформі. NVIDIA, у свою чергу, має більше ніж 6,5 мільйонів розробників, які використовують її програмні інструменти. Вони працюють разом уже майже десять років, і охоплення є величезним. Є сотні мільйонів GPU по всьому світу, які працюють на платформі NVIDIA CUDA. Коли така технологія випускається в таку велику і досвідчену екосистему, прийняття, як правило, відбувається швидко. І тут це починає відчуватися не як запуск, а як поворотний момент.