Yapay Zekada Milyar Dolarlık İsraf: Şirketlerin Satın Aldığı GPU’ların Yüzde 83’ü Boşta Yatıyor!

Yapay Zeka Donanım Yatırımlarında Plansız Büyüme ve Verimsizlik Alarmı

Yapay zeka (AI) devrimi kurumsal dünyada milyarlarca dolarlık altyapı yatırımlarını tetiklerken, şirketlerin bu maliyetleri kontrol etme ve verimli kullanma yetenekleri oldukça geride kalıyor. 107 kurumsal teknoloji liderinin katılımıyla gerçekleştirilen yeni VentureBeat Pulse Research araştırması, kurumsal dünyada "Hesaplama Uçurumu" (Compute Gap) adı verilen büyük bir finansal ve operasyonel verimsizliği ortaya koydu. Araştırmaya göre, yapay zeka altyapısına devasa bütçeler ayıran şirketlerin yüzde 83'ü, ellerindeki ultra pahalı grafik işlemci (GPU) kaynaklarının yüzde 50 veya daha azını kullanabiliyor.

Kısacası, yapay zeka trenini kaçırmamak için aceleyle satın alınan milyarlarca dolarlık işlemciler veri merkezlerinde cold run (boşta çalışma) durumunda bekletiliyor.

Maliyetler Kontrolsüzce Artıyor: Şirketlerin Yarıdan Fazlası Faturayı Bilmiyor

Yapay zeka altyapılarının plansız yatırımlarla büyümesi, şirketlerin finansal kontrol mekanizmalarını da felç etmiş durumda.

Araştırmadan elde edilen önemli bulgular kurumsal pazarın durumunu özetliyor:

• Maliyet Takip Eksikliği: Altyapı yatırımı yapan şirketlerin sadece yüzde 44'ü yapay zeka hesaplama maliyetlerini (GPU kiralama, API kullanımı, elektrik ve sunucu maliyetleri) düzenli olarak takip edebiliyor. Şirketlerin yüzde 56'sı yapay zekanın kendilerine ne kadara mal olduğunu tam olarak hesaplayamıyor.
• Üretim Olgunluğu Düşük: Katılımcı şirketlerin sadece yüzde 21’i yapay zeka modellerini tam ölçekli üretim (production at scale) aşamasında çalıştırıyor. Yüzde 38’i hala deneme (PoC) aşamasındayken, yüzde 37’si ise kısıtlı iş yüklerini canlıya almış durumda.
• Bulut Devlerinin Tekeli: Mevcut yapay zeka iş yüklerinde Google Cloud (%48), Microsoft Azure (%29) ve AWS (%22) gibi devler pazarı domine ederken; model kullanımında Google Gemini (%41) ve OpenAI (%40) başı çekiyor.

Nvidia ve Büyük Bulut Tekelinden Kaçış Arayışı

Mevcut verimsizliklere rağmen şirketlerin altyapı arayışları hız kesmiyor. Önümüzdeki 12 ay içinde, şirketlerin yüzde 45'i CoreWeave, Lambda Labs ve Crusoe gibi sadece yapay zekaya özel optimize edilmiş "dikey bulut" (AI-specialized clouds) sağlayıcılarını denemeyi planlıyor. Ayrıca yüzde 32’lik bir kesim, yüksek maliyetleri düşürmek için Nvidia bağımlılığından kurtulmak amacıyla AWS Trainium, Google TPU, Intel Gaudi ve AMD Instinct gibi alternatif yapay zeka hızlandırıcı kartlarını test edeceğini belirtiyor. Şirketlerin satın alma kararlarında ise artık token başına birim fiyat değil, toplam sahip olma maliyeti (TCO) ve mevcut yazılım yığınlarıyla entegrasyon kolaylığı belirleyici oluyor.

Kaynak: venturebeat_ai