Yapay zeka ajanları insanlardan 5 kat fazla token tüketiyor
Açıklanan verilere göre yapay zeka ajanları insanlardan beş kat daha fazla token kullanıyor ve bu oran hızla artıyor.
Yapay zeka ajanlarının dijital sistemlerdeki veri tüketimi insan kullanıcıları geride bıraktı. Futurum Group CEO'su Daniel Newman tarafından paylaşılan bilgilere göre, yapay zeka tabanlı ajanlar insanlardan 5 kat daha fazla token tüketiyor. Bu rakamın önümüzdeki dönemde 10 katına ve daha da üzerine çıkması öngörülüyor. Andreessen Horowitz (a16z) verilerine dayandırılan istatistikler, OpenRouter üzerindeki ağ trafiğinde ajanların 7,3 trilyon tokene ulaştığını, insan kullanımının ise 1,4 trilyon tokende kaldıðını gösteriyor. Söz konusu makasın açılmasında önbelleğe alınmış komut istemlerinin büyük payı bulunuyor.
Önbellek kullanımı ve donanım maliyetleri
Ajanların gerçekleştirdiği token tüketiminin çok büyük bir kısmı önbelleklenen verilerin yeniden okunmasından kaynaklanıyor. Açıklanan verilere göre, ajan tokenlerinin yüzde 85'ten fazlası önbellek girdilerinden oluşuyor. Önbelleğe alınan bu tokenler sıfırdan işlem yapmaya kıyasla çok daha ucuz maliyet sunsa da, bellekte tutulmaları gerekiyor. Uzmanlar, yapay zeka modellerinin koruduğu bu bağlam yapısının grafik işlemcilerin yüksek bant genişlikli bellek (HBM) kapasitesini zorladığını belirtiyor.
- OpenRouter verilerine göre ajanlar 7,3 trilyon tokene ulaştı.
- İnsan kullanım hacmi 1,4 trilyon token seviyesinde kaldı.
- Ajan tokenlerinin yüzde 85'inden fazlası önbelleklenmiş girdilerden oluşuyor.
- Mikron, RAM ve depolama kıtlığının artmasını bekliyor.
Analiz
Yapay zeka ajanlarının insan tüketicileri katbekat aşan bu veri tüketimi, donanım piyasası üzerinde doğrudan baskı yaratıyor. Bellek üreticilerinin veri merkezlerindeki HBM talebine öncelik vermesi, tüketici elektroniği ve bilgisayar toplamak isteyen kullanıcılar için RAM ve depolama bileşenlerinin maliyetini artırabilecek bir kıtlık dalgasının sinyallerini veriyor.
