NVIDIA ve OpenAI, gpt-oss-120b ve gpt-oss-20b adlı iki yeni açık ağırlıklı akıl yürütme modeli duyurdu. 120b modeli, tek bir NVIDIA GB200 NVL72 sisteminde saniyede 1.5 milyon token işleyebiliyor. Bu, NVIDIA'nın Blackwell mimarisi ile NVFP4 adı verilen yeni bir 4-bit hassasiyet formatının bir karışımı sayesinde mümkün oluyor. Bu format, doğruluk ve verimlilik arasında bir denge sağlamaya yardımcı oluyor.
Modelleri Ne Güçlendirir
Bu modellerin verimli bir şekilde çalışmasını sağlayan, yeni donanım ve akıllı yazılım karışımıdır. NVIDIA'nın güçlü H100 GPU'ları üzerinde eğitilmişlerdir ve geniş bir cihaz yelpazesiyle sorunsuz çalışacak şekilde tasarlanmışlardır. Bunları büyük bulut sistemlerinden, NVIDIA RTX kartlarına sahip normal masaüstü PC'lere kadar kullanabilirsiniz. Zaten CUDA kullanıyorsanız, bu modelleri muhtemelen fazla ekstra iş olmadan çalıştırabilirsiniz.
Her iki model de NVIDIA'nın "İnferans Mikroservisleri" olarak adlandırdığı şekilde paketlenmiştir. Bu, modelleri karşılaştırmalı olarak daha hızlı ve daha kolay hale getirir. Her şeyi sıfırdan inşa etmenize gerek yok. Ve eğer Hugging Face veya Llama.cpp gibi popüler AI araçlarını zaten kullanıyorsanız, bu modeller hemen entegre olacaktır.
NVIDIA’nın daha yeni Blackwell donanımı burada da büyük bir rol oynuyor. Daha düşük hassasiyetli sayılar kullanarak modellerin daha hızlı ve daha verimli çalışmasına yardımcı olan NVFP4 adlı bir özellik içeriyor. Bu teknik bir terim gibi gelebilir, ancak sonuç oldukça basit. Daha az güç ve bellek kullanan daha hızlı bir yapay zeka ile sonuçlanacak. İşletmeler için bu, daha düşük maliyetler anlamına gelebilir.
NVIDIA ile OpenAI arasında, bunun mümkün olmasına yardımcı olan uzun süreli bir ilişki de var. Bu ilişki, Jensen Huang'ın ilk DGX-1'i bizzat teslim ettiği zamana kadar uzanıyor. Şu anda gpt-oss serisiyle olanlar, o işbirliğinde bir sonraki mantıklı adım gibi görünüyor. Ancak bu üretimler, katlanarak daha fazla hesaplama gücü, incelik ve operasyonel hazırlık gerektirecek. Donanımı, yazılımı ve hizmetleri bir arada çalışıyor, bu da bu seviyede nadir görülen bir durum.
Herkesin İnşa Etmesi İçin Açık
Bu sürümle ilgili en önemli şeylerden biri, modellerin açık olmasıdır. Bu, girişimlerden ve üniversitelerden herkesin de bunlar üzerinde çalışabileceği anlamına gelir. Onlar, bunlar üzerinde inşa edebilir, özelleştirebilir ve sistemlerinde kullanabilirler. OpenAI şimdi platformunda 4 milyonun üzerinde ömür boyu geliştiriciye sahip. NVIDIA ise, kendi yazılım araçlarını kullanan 6.5 milyonun üzerinde geliştiriciye sahiptir. Yaklaşık on yıldır birlikte çalışıyorlar ve erişim oldukça geniş. Dünyada NVIDIA CUDA platformunda çalışan yüz milyonlarca GPU var. Bu tür bir teknoloji bu kadar büyük ve deneyimli bir ekosisteme yayıldığında, benimseme genellikle hızlı bir şekilde gerçekleşir. Ve burada bu, bir lansman gibi değil daha çok bir dönüm noktası gibi hissettirmeye başlar.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
NVIDIA ve OpenAI En Hızlı Açık Akıl Yürütme Modellerini Piyasaya Sürdü
NVIDIA ve OpenAI, gpt-oss-120b ve gpt-oss-20b adlı iki yeni açık ağırlıklı akıl yürütme modeli duyurdu. 120b modeli, tek bir NVIDIA GB200 NVL72 sisteminde saniyede 1.5 milyon token işleyebiliyor. Bu, NVIDIA'nın Blackwell mimarisi ile NVFP4 adı verilen yeni bir 4-bit hassasiyet formatının bir karışımı sayesinde mümkün oluyor. Bu format, doğruluk ve verimlilik arasında bir denge sağlamaya yardımcı oluyor.
Modelleri Ne Güçlendirir
Bu modellerin verimli bir şekilde çalışmasını sağlayan, yeni donanım ve akıllı yazılım karışımıdır. NVIDIA'nın güçlü H100 GPU'ları üzerinde eğitilmişlerdir ve geniş bir cihaz yelpazesiyle sorunsuz çalışacak şekilde tasarlanmışlardır. Bunları büyük bulut sistemlerinden, NVIDIA RTX kartlarına sahip normal masaüstü PC'lere kadar kullanabilirsiniz. Zaten CUDA kullanıyorsanız, bu modelleri muhtemelen fazla ekstra iş olmadan çalıştırabilirsiniz.
Her iki model de NVIDIA'nın "İnferans Mikroservisleri" olarak adlandırdığı şekilde paketlenmiştir. Bu, modelleri karşılaştırmalı olarak daha hızlı ve daha kolay hale getirir. Her şeyi sıfırdan inşa etmenize gerek yok. Ve eğer Hugging Face veya Llama.cpp gibi popüler AI araçlarını zaten kullanıyorsanız, bu modeller hemen entegre olacaktır.
NVIDIA’nın daha yeni Blackwell donanımı burada da büyük bir rol oynuyor. Daha düşük hassasiyetli sayılar kullanarak modellerin daha hızlı ve daha verimli çalışmasına yardımcı olan NVFP4 adlı bir özellik içeriyor. Bu teknik bir terim gibi gelebilir, ancak sonuç oldukça basit. Daha az güç ve bellek kullanan daha hızlı bir yapay zeka ile sonuçlanacak. İşletmeler için bu, daha düşük maliyetler anlamına gelebilir.
NVIDIA ile OpenAI arasında, bunun mümkün olmasına yardımcı olan uzun süreli bir ilişki de var. Bu ilişki, Jensen Huang'ın ilk DGX-1'i bizzat teslim ettiği zamana kadar uzanıyor. Şu anda gpt-oss serisiyle olanlar, o işbirliğinde bir sonraki mantıklı adım gibi görünüyor. Ancak bu üretimler, katlanarak daha fazla hesaplama gücü, incelik ve operasyonel hazırlık gerektirecek. Donanımı, yazılımı ve hizmetleri bir arada çalışıyor, bu da bu seviyede nadir görülen bir durum.
Herkesin İnşa Etmesi İçin Açık
Bu sürümle ilgili en önemli şeylerden biri, modellerin açık olmasıdır. Bu, girişimlerden ve üniversitelerden herkesin de bunlar üzerinde çalışabileceği anlamına gelir. Onlar, bunlar üzerinde inşa edebilir, özelleştirebilir ve sistemlerinde kullanabilirler. OpenAI şimdi platformunda 4 milyonun üzerinde ömür boyu geliştiriciye sahip. NVIDIA ise, kendi yazılım araçlarını kullanan 6.5 milyonun üzerinde geliştiriciye sahiptir. Yaklaşık on yıldır birlikte çalışıyorlar ve erişim oldukça geniş. Dünyada NVIDIA CUDA platformunda çalışan yüz milyonlarca GPU var. Bu tür bir teknoloji bu kadar büyük ve deneyimli bir ekosisteme yayıldığında, benimseme genellikle hızlı bir şekilde gerçekleşir. Ve burada bu, bir lansman gibi değil daha çok bir dönüm noktası gibi hissettirmeye başlar.