NVIDIA, yeni gpt-oss açık model ailesini tüketicilere sunmak için OpenAI ile bir iş birliği gerçekleştirdi. Bu iş birliği sayesinde, daha önce yalnızca bulut veri merkezlerinde bulunan en gelişmiş yapay zeka teknolojileri, RTX destekli PC’ler ve iş istasyonlarında büyük bir hızla çalışabiliyor. GeForce RTX GPU’lar ve PRO GPU’ların yüksek işlem gücünün kullanılmasıyla, daha hızlı ve akıllı yeni bir yerel yapay zeka dönemini başlatan iki yeni model varyantı tanıtılıyor. Gpt-oss-20b modeli, en az 16 GB VRAM’e sahip NVIDIA RTX AI PC’lerde en yüksek performans ile çalışacak şekilde optimize edilmiş olup, bir RTX 5090 GPU üzerinde saniyede 250 token’a kadar üretim yapabiliyor. Gpt-oss-120b modeli ise, NVIDIA RTX PRO GPU’lar ile hızlandırılmış profesyonel iş istasyonlarına yönelik destek sağlıyor. Bu modeller, NVIDIA H100 GPU’ları üzerinde eğitildi ve MXFP4 hassasiyetini destekleyen ilk modeller olarak öne çıkıyor. MXFP4, daha önceki yöntemlere göre model kalitesi ve doğruluğunu artırarak performans kaybını önleyen bir tekniktir.
MODELLERİN ÖZELLİKLERİ
Her iki model de yerel çıkarımda en uzun bağlam uzunluğuna sahip olan 131.072 bağlam uzunluğunu destekliyor. Modeller, esnek bir mixture-of-experts (MoE) yapısı üzerine inşa edilmiş olup, düşünce zinciri yetenekleri ve talimat takip desteği sunuyor. RTX AI Garage, yapay zeka tutkunları ve geliştiriciler için NVIDIA RTX GPU’lar üzerinde OpenAI’nin yeni modelleriyle nasıl başlamaları gerektiğini gösteriyor. Ollama Uygulaması, bu modelleri test etmenin en kolay yollarından biri olarak öne çıkıyor. Kullanıcı arayüzü, RTX GPU’lar için tamamen optimize edilmiş gpt-oss modellerini ek kurulum gerektirmeden anında destekliyor. Ayrıca NVIDIA, RTX GPU’ların performansını optimize etmek amacıyla açık kaynak topluluğu ile iş birliği yapıyor. Bu kapsamda, yükü azaltmaya yardımcı olan CUDA Graphs da son katkılar arasında yer alıyor. Geliştiriciler, Llama.cpp GitHub deposu üzerinden çalışmalarına başlayabiliyor.
MİCROSOFT İLE İŞ BİRLİĞİ
Windows geliştiricileri, modelleri Microsoft AI Foundry Local (halka açık önizleme aşamasında) üzerinden erişebilir. Başlamak için kullanmaları gereken terminal komutu ise şu şekilde: Foundry model run gpt-oss-20b. NVIDIA’nın kurucusu ve CEO’su Jensen Huang, bu lansmanın önemini şu sözlerle açıkladı: “OpenAI, NVIDIA AI üzerinde neler inşa edilebileceğini dünyaya gösterdi ve şimdi açık kaynak yazılımlar alanında inovasyonu ileri taşıyor. Gpt-oss modelleri, geliştiricilere bu son teknoloji açık kaynak temeli üzerinde inşa etme fırsatı sunarak ABD’nin yapay zeka alanındaki teknoloji liderliğini güçlendiriyor, dünyanın en büyük yapay zeka işlem altyapısı üzerinde.” RTX üzerinde OpenAI’nin yeni modelleriyle nasıl çalışmaya başlayabileceğinize dair geniş kapsamlı bir inceleme için RTX AI Garage blog gönderisine göz atabilirsiniz. NVIDIA’nın OpenAI ile gerçekleştirdiği iş birliği hakkında daha fazla bilgi almak için NVIDIA şirket blogunu ziyaret edebilirsiniz.