NVIDIA и OpenAI только что выпустили две новые модели открытых весов для рассуждений: gpt-oss-120b и gpt-oss-20b. Модель 120b может обрабатывать 1,5 миллиона токенов в секунду на одной системе NVIDIA GB200 NVL72. Это стало возможным благодаря сочетанию архитектуры Blackwell от NVIDIA и нового формата 4-битной точности, называемого NVFP4. Этот формат помогает достичь баланса между точностью и эффективностью.
Что питает модели
Что помогает этим моделям работать так эффективно, так это сочетание нового оборудования и умного программного обеспечения. Они были обучены на мощных GPU H100 от NVIDIA и разработаны для безупречной работы на широком спектре устройств. Вы можете использовать их на больших облачных системах и на обычных настольных ПК с картами NVIDIA RTX. Если вы уже используете CUDA, вы, вероятно, сможете запустить эти модели без особых дополнительных усилий.
Оба модели также упакованы в то, что NVIDIA называет "микросервисами для вывода". Это делает модели сравнительно быстрее и проще. Вам не нужно строить всё с нуля. И если вы уже используете популярные инструменты ИИ, такие как Hugging Face или Llama.cpp, эти модели легко интегрируются.
Новое оборудование Blackwell от NVIDIA также играет здесь большую роль. Оно включает в себя функцию под названием NVFP4, которая помогает моделям работать быстрее и эффективнее, используя числа с низкой точностью без потери точности. Это может звучать технически, но результат довольно прост. Это приведет к более быстрому ИИ, который использует меньше энергии и памяти. Для бизнеса это может означать снижение затрат.
Существует также длительное сотрудничество между NVIDIA и OpenAI, которое помогло сделать это возможным. Это сотрудничество началось с того, что Дженсен Хуанг лично доставил первый DGX-1. То, что происходит сейчас с серией gpt-oss, кажется следующим логическим шагом в этом сотрудничестве. Однако эти продукции потребуют порядков большего вычислительного ресурса, доработки и готовности к эксплуатации. Их оборудование, программное обеспечение и услуги работают вместе, что редко встречается на этом уровне.
Открыто для всех, чтобы строить
Одной из самых важных вещей в этом релизе является то, что модели открыты. Это означает, что любой, от стартапов и университетов, также может работать с ними. Они могут строить на их основе, настраивать их и использовать в своих системах. OpenAI теперь имеет более 4 миллионов разработчиков за всю историю, работающих на его платформе. NVIDIA, в свою очередь, имеет более 6,5 миллиона разработчиков, использующих свои программные инструменты. Они работают вместе почти десятилетие, и охват колоссален. В мире сотни миллионов графических процессоров, работающих на платформе NVIDIA CUDA. Когда такая технология выпускается в экосистему такого масштаба и опыта, принятие, как правило, происходит быстро. И здесь это начинает ощущаться не как запуск, а как переломный момент.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
NVIDIA и OpenAI выпустили самые быстрые открытые модели рассуждения
NVIDIA и OpenAI только что выпустили две новые модели открытых весов для рассуждений: gpt-oss-120b и gpt-oss-20b. Модель 120b может обрабатывать 1,5 миллиона токенов в секунду на одной системе NVIDIA GB200 NVL72. Это стало возможным благодаря сочетанию архитектуры Blackwell от NVIDIA и нового формата 4-битной точности, называемого NVFP4. Этот формат помогает достичь баланса между точностью и эффективностью.
Что питает модели
Что помогает этим моделям работать так эффективно, так это сочетание нового оборудования и умного программного обеспечения. Они были обучены на мощных GPU H100 от NVIDIA и разработаны для безупречной работы на широком спектре устройств. Вы можете использовать их на больших облачных системах и на обычных настольных ПК с картами NVIDIA RTX. Если вы уже используете CUDA, вы, вероятно, сможете запустить эти модели без особых дополнительных усилий.
Оба модели также упакованы в то, что NVIDIA называет "микросервисами для вывода". Это делает модели сравнительно быстрее и проще. Вам не нужно строить всё с нуля. И если вы уже используете популярные инструменты ИИ, такие как Hugging Face или Llama.cpp, эти модели легко интегрируются.
Новое оборудование Blackwell от NVIDIA также играет здесь большую роль. Оно включает в себя функцию под названием NVFP4, которая помогает моделям работать быстрее и эффективнее, используя числа с низкой точностью без потери точности. Это может звучать технически, но результат довольно прост. Это приведет к более быстрому ИИ, который использует меньше энергии и памяти. Для бизнеса это может означать снижение затрат.
Существует также длительное сотрудничество между NVIDIA и OpenAI, которое помогло сделать это возможным. Это сотрудничество началось с того, что Дженсен Хуанг лично доставил первый DGX-1. То, что происходит сейчас с серией gpt-oss, кажется следующим логическим шагом в этом сотрудничестве. Однако эти продукции потребуют порядков большего вычислительного ресурса, доработки и готовности к эксплуатации. Их оборудование, программное обеспечение и услуги работают вместе, что редко встречается на этом уровне.
Открыто для всех, чтобы строить
Одной из самых важных вещей в этом релизе является то, что модели открыты. Это означает, что любой, от стартапов и университетов, также может работать с ними. Они могут строить на их основе, настраивать их и использовать в своих системах. OpenAI теперь имеет более 4 миллионов разработчиков за всю историю, работающих на его платформе. NVIDIA, в свою очередь, имеет более 6,5 миллиона разработчиков, использующих свои программные инструменты. Они работают вместе почти десятилетие, и охват колоссален. В мире сотни миллионов графических процессоров, работающих на платформе NVIDIA CUDA. Когда такая технология выпускается в экосистему такого масштаба и опыта, принятие, как правило, происходит быстро. И здесь это начинает ощущаться не как запуск, а как переломный момент.