AI detektörlerini Türkçe ve İngilizce metinlerde test ettik: sonuçlar iki yönden de rahatsız edici

AI tespit araçlarının ne kadar güvenilir olduğu çok konuşuluyor, ama Türkçe için ölçülmüş veri neredeyse yok. Biz de ölçtük.

24 konu seçtik. Her konu için iki metin aldık: biri Vikipedi'den, yani gerçek insanların yazdığı; diğeri bir yapay zeka modeline aynı konuda yazdırılmış. Aynısını İngilizce için de yaptık. Toplam 96 metin, konu bazında eşleşmiş. Sonra hepsini üç ayrı açık kaynak AI detektöründen geçirdik.

İki sonuç çıktı ve ikisi de rahatsız edici — ama farklı sebeplerle.

Sonuç 1: Türkçede detektörler hiçbir şey görmüyor

Yapay zekaya yazdırdığımız 24 Türkçe metinden kaç tanesi "AI" olarak işaretlendi?

Detektör	Yakalanan
desklib v1.01	24 metinden 0
tmr-ai-text-detector	24 metinden 2
ModernBERT detector	24 metinden 0

Sıfır. Hiçbir özel çaba harcanmadı: metinleri bir sohbet asistanına "şu konuda açıklayıcı bir yazı yaz" diyerek ürettik. İnsanlaştırma yok, düzenleme yok, hiçbir numara yok. Detektörler yine de göremedi.

Daha çarpıcısı, puanlara bakınca ortaya çıkıyor. Detektörler yapay zeka metnine ortalama %2.3 puan verdi; gerçek insan metnine ise %0.6. Aradaki fark 1.7 puan — yani ölçüm gürültüsü. Detektör aslında bir karar vermiyor, her Türkçe metne "insan" diyor.

Bu, araçların Türkçeyi "kandırıldığı" anlamına gelmiyor. Daha basiti: bu modeller ağırlıklı olarak İngilizce veriyle eğitilmiş ve Türkçe karşılarına çıktığında anlamlı bir çıktı üretemiyorlar. Eğitim dağılımının dışına çıkmış bir sınıflandırıcının tipik davranışı bu.

Sonuç 2: İngilizcede her şeyi yakalıyorlar — masumları dahil

İngilizce tarafında tablo tamamen değişiyor. Üç detektör de yapay zeka metinlerinin %100'ünü yakaladı. Ortalama puanlar %98 ile %100 arasında. Burada gerçekten çalışıyorlar.

Sorun diğer sütunda:

Detektör	İnsan yazısında yanlış alarm
desklib v1.01	%21
tmr-ai-text-detector	%33
ModernBERT detector	%42

Bunlar Vikipedi makaleleri. Yıllar içinde insanlar tarafından yazılmış, düzenlenmiş metinler. Detektörler bu metinlerin beşte biri ile beşte ikisi arasındaki kısmını "yapay zeka tarafından yazılmış" olarak işaretledi.

Bir öğrencinin ödevi için bunun anlamı şu: metni tamamen kendiniz yazmış olsanız bile, kullanılan araca göre beşte iki ihtimalle suçlanabilirsiniz.

Test ettiğimiz beş araçtan ikisi zaten çalışmıyordu

Çalışmaya beş detektörle başladık. İkisini veri toplamadan önce elemek zorunda kaldık, çünkü temel bir testi geçemediler.

chatgpt-detector-roberta insan metnine ortalama %13.4, yapay zeka metnine %15.3 puan verdi. Aradaki fark 1.9 puan. Bu araç ikisini birbirinden ayırt edemiyor — ama yayınlanmış ve indirilebilir durumda.

e5-small-lora ise ters yönde bozuk: gerçek insan metinlerine ortalama %75.9 "yapay zeka" puanı veriyor.

Üçüncü bir araçta daha tuhaf bir şey bulduk. tmr-ai-text-detector, aynı metni paragraflar arasında boş satır varken %98.4, boş satırlar kaldırılınca %10.7 olarak puanladı. Tek kelime değişmeden. Bu detektör metnin içeriğine değil, biçimlendirmesine bakıyordu. Çalışmaya dahil ettik ama tüm metinleri aynı şekilde normalize ederek bu etkiyi nötralize ettik.

Bunu nasıl ölçtük

Yöntemi tekrar üretilebilir tuttuk:

İnsan metinleri: Vikipedi makalelerinin ilk dört paragrafı. Türkçe ortalama 287 kelime, İngilizce 379 kelime.
Yapay zeka metinleri: Aynı 24 konuda, bir sohbet modeline yazdırıldı.
Eşleştirme: Her yapay zeka metninin karşısında aynı konuda bir insan metni var. Böylece konu farkı sonuçları etkilemiyor.
Normalizasyon: Tüm metinler tek boşluğa indirildi ve ilk 280 kelimeye kırpıldı, çünkü panel modellerinin tamamı 512 token sınırlı.
Eşik: %50 üzeri puan "AI olarak işaretlendi" sayıldı.

Ham veriyi ve özet istatistikleri yayınlıyoruz, böylece hesaplamaları kontrol edebilirsiniz: metin bazında skorlar (CSV) ve özet istatistikler (CSV).

Söylemediklerimiz

Bu çalışmanın sınırlarını açıkça belirtmek gerekiyor:

Ticari detektörleri test etmedik. GPTZero, Turnitin, Copyleaks ve Originality bu panelde yok, çünkü hiçbiri ücretsiz programatik erişim vermiyor. Ticari araçlar Türkçede daha iyi olabilir. İngilizce metinlerde GPTZero ile yaptığımız elle kontrol panelin sonuçlarıyla uyuştu, ama Türkçe için aynı kontrolü yapamadık.

Vikipedi öğrenci ödevi değil. Düzenlenmiş, kişiliksiz ve model eğitim verilerinde yoğun biçimde bulunan bir metin türü. Gerçek öğrenci yazılarında yanlış alarm oranı iki yönde de farklı çıkabilir.

Tek üretici model kullandık. Yapay zeka metinlerinin tamamı tek bir modelden geldi. Başka modellerin çıktısı farklı tespit edilebilir.

Her hücrede 24 metin var. Buradaki farkların büyüklüğü için yeterli, ama daha ince alt kırılımlar için az.

Çıkarılacak sonuç

Bu araçların hiçbiri, tek başına, bir öğrenci hakkında karar vermeye yetecek güvenilirlikte değil.

İngilizcede yapay zeka metnini kaçırmıyorlar, bu doğru. Ama aynı eşikte insan yazısının beşte ikisine kadarını da işaretliyorlar — ve bir disiplin sürecinde bu oran kabul edilebilir değil. Türkçede ise zaten anlamlı bir ölçüm yapmıyorlar; çıktıları karar verilecek bir bilgi taşımıyor.

Bir metninizin "AI" olarak işaretlendiğini duyduğunuzda, bunun bir ölçüm değil bir olasılık tahmini olduğunu ve o tahminin yanılma payının oldukça yüksek olduğunu bilin.

Veri toplama tarihi: 2 Ekim 2026. Ham veri: scores.csv, summary.csv. Bu veriyi kaynak göstererek serbestçe kullanabilirsiniz.