Ankara – GA Dijital Haber Portalı Haber Merkezi / Bilim ve Teknoloji Haberleri- Yapay zekânın yaratıcı yazarlık alanındaki gücünü inceleyen yeni bir bilimsel araştırma, okurların insan yazarlarla ChatGPT tarafından üretilen kısa öyküler arasındaki farkı belirlemekte zorlandığını gösterdi.

Villanova Üniversitesinden Sydney Sears ve Deena Skolnick Weisberg tarafından hazırlanan “Bot or not: Can people tell the difference between stories written by a human or by an AI system?” başlıklı çalışma, Cambridge University Press tarafından yayımlanan hakemli Judgment and Decision Making dergisinde yer aldı.

Üç ayrı deneyde toplam 2 bin 587 yetişkinin katıldığı araştırmada; insan yazarların kaleme aldığı üç kısa öykü, ChatGPT 4.0 tarafından benzer tema ve anlatım özellikleri kullanılarak üretilen üç öyküyle karşılaştırıldı.

Yapay zekâ öyküleri daha yüksek puan aldı

Araştırmanın 1.682 kişinin katıldığı ilk bölümünde katılımcılara yaklaşık 1.000 kelimelik bir öykü okutuldu. Bazı katılımcılar insan, bazıları ise ChatGPT tarafından yazılan metinleri okudu. Katılımcıların bir bölümüne öykünün kaynağı doğru, diğer bölümüne ise yanlış bildirildi.

Sonuçlara göre yapay zekâ tarafından üretilen öyküler, hem algılanan kalite hem de sürükleyicilik bakımından insan yazarların metinlerinden daha yüksek puan aldı.

Ancak araştırmanın en dikkat çekici bulgusu, öykünün gerçek kaynağından çok okura verilen yazar bilgisinin değerlendirmeyi etkilemesi oldu. Katılımcılar, “insan tarafından yazıldığı” söylenen metinleri daha kaliteli ve sürükleyici buldu.

Böylece en yüksek puanları, gerçekte yapay zekâ tarafından üretildiği hâlde insan tarafından yazıldığı belirtilen öyküler aldı.

Doğru tahmin oranı tesadüf düzeyini aşamadı

Araştırmanın ikinci ve üçüncü bölümlerinde katılımcılara biri insan, diğeri ChatGPT tarafından yazılmış iki öykü birlikte verildi. Ardından hangi metnin hangi kaynaktan geldiğini belirlemeleri istendi.

İkinci deneyde doğru tahmin oranı yüzde 39,39’da kaldı. Üçüncü deneyde ise katılımcıların yüzde 51,97’si doğru cevap verdi. Bu oran istatistiksel olarak yüzde 50’lik tesadüf düzeyinden farklı bulunmadı.

Katılımcıların kararlarından emin olmaları da başarı oranını artırmadı. Öykünün dilini ve kişisel beğenisini temel ölçüt olarak kullananların daha fazla hata yaptığı belirlendi.

Yapay zekâ okuryazarlığı başarıyı artırdı

Araştırmada, yapay zekâ sistemleri konusunda daha fazla bilgi ve deneyime sahip kişilerin metnin kaynağını belirlemede daha başarılı olduğu görüldü.

İkinci deneyde yapay zekâ uzmanlık puanındaki her bir puanlık artış, doğru tahmin olasılığında yaklaşık yüzde 14’lük yükselişle ilişkilendirildi. Üçüncü deneyde kullanılan Yapay Zekâ Okuryazarlığı Ölçeği’nde ise her bir puanlık artışın doğru tahmin olasılığını yaklaşık yüzde 33 artırdığı hesaplandı.

Buna karşılık kurmaca edebiyat okuma, yazma veya inceleme konusundaki deneyim, doğru tahmin başarısında anlamlı bir farklılık oluşturmadı.

Akıcı anlatım okuru etkiliyor

Araştırmacılar, yapay zekâ metinlerinin genellikle daha açık, doğrudan ve kolay anlaşılır olmasının yüksek puanlarda etkili olabileceğini değerlendiriyor.

İnsan yazarların öyküleri daha örtük anlamlar, karmaşık karakterler ve okurun yorumuna bırakılan temalar içerebilirken, yapay zekâ metinleri ana düşünceyi daha belirgin biçimde aktarabiliyor. Bu durum metni kolay okunur hâle getirirken, edebî derinlik ile sürükleyiciliğin aynı ölçüt olmadığını da gösteriyor.

Araştırmada yapay zekâ üretimlerinin daha düzgün fakat birbirine daha fazla benzeyen metinler ortaya çıkarabildiğine de dikkat çekiliyor. İnsan yaratıcılığının ise farklı üsluplar ve alışılmadık anlatım biçimleri bakımından daha geniş bir çeşitlilik sunduğu belirtiliyor.

Sonuçlar bütün edebî üretime genellenemez

Çalışma yalnızca üç insan öyküsü ile üç yapay zekâ öyküsünü kapsıyor. Yaklaşık 1.000 kelimelik İngilizce kısa metinlerle ve ABD’de yaşayan katılımcılarla gerçekleştirilen araştırma; romanları, uzun süreli karakter gelişimini veya farklı kültürlerdeki anlatı geleneklerini doğrudan incelemiyor.

Bu nedenle bulgular, “yapay zekâ insan yazarlardan daha iyi yazıyor” biçiminde genellenemiyor. Araştırmanın ortaya koyduğu temel sonuç; belirli koşullarda üretilen kısa yapay zekâ öykülerinin sıradan okurlar tarafından insan metinlerinden ayırt edilemediği ve daha olumlu değerlendirilebildiği yönünde.

Eğitim ve yayıncılık için önemli uyarı

Bulgular, bir metnin yalnızca diline veya üslubuna bakılarak yapay zekâ ürünü olduğuna karar verilmesinin güvenilir olmadığını gösteriyor. Bu sonuç; eğitim kurumları, medya kuruluşları, yayınevleri ve içerik platformları açısından şeffaf üretim kurallarının önemini artırıyor.

Özellikle eğitimde otomatik yapay zekâ tespit araçlarının tek başına yaptırım gerekçesi yapılmaması; öğrencilerden kaynak, taslak ve çalışma sürecini göstermelerinin istenmesi gerekiyor.

Medya ve yayıncılıkta ise içeriğin tamamen yapay zekâ tarafından mı üretildiği, yoksa insan editörlüğü ve denetimi altında mı hazırlandığı açık biçimde belirtilmeli.

Araştırma, yapay zekâ okuryazarlığının artık yalnızca teknik bir beceri olmadığını; eğitim, medya, kültür ve kamu politikalarının ortak gündemi hâline geldiğini ortaya koyuyor.

Kaynak: Cambridge University Press – Özgün makale

Makalenin tam metni: bot-or-not-full-article.pdf