Yapay Zeka Modellerinin Doğruluk Testi Sonuçları Açıklandı
Teste katılan modeller, ChatGPT-5 (OpenAI), Gemini 2.5 Flash (Google), Claude 4.5 Sonnet (Anthropic), DeepSeek V3.2 (DeepSeek AI) ve Grok-4 (xAI) oldu. Her bir yapay zekâya aynı sorular yöneltilirken doğruluk oranlarının yüzde 45 ila 63 arasında değiştiği görüldü.
En Yüksek Başarı Gemini’den
En yüksek başarıyı yüzde 63 ile Gemini elde etti. Ancak bu, her 10 sorudan yaklaşık 4’ünün yanlış cevaplandığı anlamına geliyor. Grok modeli yüzde 62,8 ile Gemini’yi yakından takip etti. DeepSeek yüzde 52 ile üçüncü sıraya yerleşirken, ChatGPT yüzde 49,4 doğruluk oranıyla dördüncü oldu. Listenin sonunda ise yüzde 45,2 ile Claude yer aldı.
Kategoriler Arası Performans Farkları
Araştırmanın dikkat çeken bulgularından biri kategoriler arasındaki performans farkı oldu. Özellikle matematik ve dönüşümler başlığında Gemini yüzde 83 doğrulukla öne çıkarken, Grok yüzde 76,9 ve DeepSeek yüzde 74,1 ile onu takip etti. Bu kategorideki ortalama doğruluk oranı yüzde 72,1 olarak belirlendi.
En Düşük Başarı: Fizik
Fizik alanı en düşük başarı oranının görüldüğü kategori oldu. 128 sorunun yöneltildiği bu alanda ortalama doğruluk yalnızca yüzde 35,8 seviyesinde kaldı. Grok burada liderliği yüzde 43,8 ile sürdürürken, Claude yalnızca yüzde 26,6 doğruluk oranına ulaşabildi.
Biyoloji, Kimya ve Finans-Ekonomi Bulguları
Biyoloji ve kimya gibi alanlarda DeepSeek’in başarısı oldukça düşük kaldı; model bu alanlarda yalnızca yüzde 10,6 doğruluk oranı yakalayabildi. Finans ve ekonomi alanlarında ise Grok ve Gemini yüzde 76,7 ile en yüksek doğruluk oranlarına ulaştı.
Uzman Uyarısı ve Hata Türleri
Araştırmanın yazarlarından Dawid Siuda, yapay zeka modellerinin doğruluğunun hâlâ önemli ölçüde sınırlı olduğunu vurguladı ve “Eğer görev kritikse, hesap makineleri veya başka bir yapay zeka modeliyle çapraz kontrol yapılmalı” uyarısında bulundu.
Araştırma, yapay zekâların yaptığı hataları dört başlıkta topladı: özensiz matematik (yüzde 68), hatalı mantık (yüzde 26), talimatı yanlış anlama (yüzde 5) ve vazgeçme. En yaygın hata türü, doğru formül kullanılsa bile hesaplamada yapılan basit hatalardı. Özellikle çok adımlı işlemlerde yapılan yuvarlama hatalarının sonuçları ciddi biçimde saptırdığı tespit edildi.
Genel Değerlendirme
Tüm bu veriler, yapay zekâların gündelik hesaplamalarda yaygın olarak kullanılmasına rağmen mutlak güvenilemeyeceğini ortaya koyuyor. Kullanıcıların sonuçları kontrol etmeyi ihmal etmemesi gerekiyor.
