Yapay Zekanın Ürettiği Uydurma Emsal Karar Nasıl Yakalanır?
Kısa cevap: Yapay zekanın ürettiği uydurma emsal kararı yakalamanın tek güvenilir yolu, atfı kaynağından doğrulamaktır. Üç aşamalı bir kontrol yeterlidir: karar gerçekten var mı, esas ve karar numarası ile tarih tutarlı mı, ve karar gerçekten iddia edilen şeyi söylüyor mu. Üçüncü aşama en çok atlanan ve en çok hata barındıran aşamadır.
Dil modelleri, eksik bilgiyle karşılaştıklarında boşluğu doldurma eğilimindedir. Hukuk alanında bu eğilim, biçimsel olarak kusursuz görünen ama var olmayan kararlar üretilmesiyle sonuçlanır: doğru formatta bir esas numarası, makul bir tarih, ikna edici bir özet. Sorun, bu çıktının yanlış olduğunun bakışta anlaşılamamasıdır.
Aşağıdaki kontrol listesi, bir emsal atfını mahkemeye sunmadan önce geçirmeniz gereken üç aşamayı tanımlar.
Aşama 1: Karar var mı
Atfı resmî kaynaktan arayın. Karar numarasıyla yapılan aramada sonuç çıkmıyorsa iki ihtimal vardır: karar yayımlanmamıştır veya karar yoktur. İkisini ayırt etmenin yolu, aynı daire ve yıl için komşu numaraları kontrol etmektir.
Uyarı işareti: Sistem bir karara atıf yapıp bağlantı veremiyorsa, o atıf doğrulanmamış demektir. "Yargıtay 9. Hukuk Dairesi bu yönde karar vermiştir" cümlesi, numara ve bağlantı olmadan hiçbir şey ifade etmez.
Aşama 2: Künye tutarlı mı
Uydurma kararlarda en sık rastlanan kusur, künye bileşenlerinin birbirini tutmamasıdır. Şu dört tutarlılığı kontrol edin.
- Daire ve konu uyumu. İş hukuku uyuşmazlığı için ceza dairesi numarası verilmişse, atıf uydurmadır.
- Esas yılı ile karar yılı ilişkisi. Karar yılı esas yılından önce olamaz; aradaki fark makul bir yargılama süresine karşılık gelmelidir.
- Numara biçimi. Esas ve karar numaralarının biçimi, o dairenin bilinen formatına uymalıdır.
- Dairenin o tarihte var olup olmadığı. Daire yapıları zaman içinde değişir; kapatılmış bir daireye ait güncel tarihli karar mümkün değildir.
Aşama 3: Karar iddiayı destekliyor mu
Bu aşama en çok atlanan aşamadır ve en çok hata burada bulunur. Karar gerçekten var olabilir, künyesi tutarlı olabilir, ama iddia edilen sonucu içermeyebilir. Sistem gerçek bir karara bağlantı verip, o kararın söylemediği bir şeyi iddia edebilir.
Kararın tam metnini açın ve iddiayı doğrudan destekleyen cümleyi bulun. Bulamıyorsanız atıf kullanılamaz. Özet okumak yeterli değildir; özet de üretilmiş olabilir.
| Hata türü | Nasıl görünür | Nasıl yakalanır |
|---|---|---|
| Tamamen uydurma karar | Numara doğru formatta, kaynakta yok | Resmî kaynakta numara araması |
| Var olan karar, yanlış künye | Karar var ama numara başkasına ait | Künye bileşenlerinin çapraz kontrolü |
| Var olan karar, desteklemeyen içerik | Bağlantı çalışıyor, sonuç farklı | Tam metinde destekleyici cümleyi arama |
| Güncelliğini yitirmiş karar | Karar gerçek ama sonradan değişmiş | Kararın durumunu kontrol etme |
| Bağlamdan kopuk alıntı | Cümle var ama farklı olguya ait | Olay örgüsünü okuma |
Sistemi seçerken: uydurma riskini düşüren özellikler
Bu kontroller her sistemde gereklidir, ancak bazı sistemler riski yapısal olarak düşürür. Değerlendirme sırasında şunları arayın.
- Her iddianın tıklanabilir kaynağa bağlanması. Kaynak göstermeyen sistemde üçüncü aşama uygulanamaz.
- Tam metne erişim. Yalnızca özet gösteren sistemde iddia doğrulanamaz.
- Kapsam dışını belirtme davranışı. Bilmediğini söyleyebilen sistem, her soruya yanıt üretenden güvenlidir.
- Kararın güncellik durumu. Sonradan değişen kararların işaretlenmesi.
- Kapsam listesinin açıklığı. Hangi mahkemelerin tarandığının bilinmesi, kapsam dışı bir atfın hemen şüpheli sayılmasını sağlar.
Demoda nasıl test edilir: Gerçekte var olmayan bir düzenlemeyi veya çok dar bir konuyu sorun. Sistem kapsam dışı olduğunu belirtiyorsa iyi işarettir. Ayrıntılı ve kendinden emin bir yanıt üretmeye başlıyorsa, uydurma eğilimi yüksektir.
Büro içi kural önerisi
Bireysel dikkat ölçeklenmez. Kurumsal bir hukuk biriminde bu kontrollerin yazılı bir kurala bağlanması gerekir. Asgari bir kural seti şu üç maddeyi içerir.
- Yapay zeka çıktısındaki hiçbir emsal atfı, tam metni görülmeden dilekçeye girmez.
- Atıfı doğrulayan kişi, dilekçeyi hazırlayan kişiden farklı olabilir; ancak doğrulamanın yapıldığı kayıt altına alınır.
- Doğrulanamayan atıf, zayıf da olsa kullanılmaz; çıkarılır.
Sıkça sorulan sorular
Yapay zeka neden var olmayan emsal karar üretir?
Dil modelleri eksik bilgiyle karşılaştıklarında boşluğu istatistiksel olarak doldurma eğilimindedir. Hukuk alanında bu, doğru formatta bir esas numarası, makul bir tarih ve ikna edici bir özetten oluşan ama gerçekte var olmayan kararlar üretilmesiyle sonuçlanır. Çıktının biçimsel kusursuzluğu, içeriğinin doğruluğunu göstermez.
Uydurma emsal kararı nasıl yakalarım?
Üç aşamalı kontrol uygulayın: kararın resmî kaynakta numara ile aranarak var olduğunun doğrulanması, künye bileşenlerinin tutarlılığının kontrolü (daire-konu uyumu, esas ve karar yılı ilişkisi, numara biçimi), ve kararın tam metninde iddiayı doğrudan destekleyen cümlenin bulunması. Üçüncü aşama en çok atlanan ve en çok hata barındıran aşamadır.
Bağlantı veren bir atıf güvenilir midir?
Değildir. Sistem gerçek bir karara bağlantı verip o kararın söylemediği bir şeyi iddia edebilir. Bu, atfın varlığı ile isabeti arasındaki farktır. Bağlantıyı açıp tam metinde iddiayı destekleyen cümleyi bulmadan atıf kullanılmamalıdır; özet okumak yeterli değildir çünkü özet de üretilmiş olabilir.
Hatalı atıftan kim sorumlu olur?
Mahkemeye sunulan dilekçedeki hatalı atıftan avukat sorumludur. Yapay zeka sağlayıcılarının sözleşmeleri genellikle sorumluluğu kullanıcıya bırakır. Bu nedenle sistemin kaynak göstermesi ve çıktının doğrulanabilir olması, sözleşmedeki sorumluluk hükmünden daha belirleyicidir.
Hangi sistem özellikleri uydurma riskini azaltır?
Her hukuki iddianın tıklanabilir kaynağa bağlanması, kararların tam metnine erişim, kapsam dışı sorularda bilgi üretmek yerine kapsam dışı olduğunu belirtme davranışı, kararların güncellik durumunun işaretlenmesi ve taranan kaynakların listesinin açıkça belirtilmesi. Bu özellikler doğrulamayı mümkün kılar ancak doğrulama ihtiyacını ortadan kaldırmaz.
Büroda yapay zeka kullanımı için nasıl bir kural koymalıyım?
Asgari olarak üç madde: yapay zeka çıktısındaki hiçbir emsal atfı tam metni görülmeden dilekçeye girmez, doğrulamanın yapıldığı kayıt altına alınır, ve doğrulanamayan atıf ne kadar destekleyici görünürse görünsün kullanılmaz. Bireysel dikkat ölçeklenmediği için bu kuralların yazılı olması gerekir.