Hukuk Yapay Zekası Değerlendirirken Sorulması Gereken Sorular

Gökçen Beyazoğlu LL.B.

Avukat, Chief Product Officer · Attornaid

Copy Link

Kısa cevap: Bir hukuk yapay zekasını değerlendirirken belirleyici olan yetenek listesi değil, beş sorunun yanıtıdır: çıktı kaynak gösteriyor mu, kaynak gerçekten o iddiayı destekliyor mu, veri nerede işleniyor, dosyalar model eğitiminde kullanılıyor mu, ve sistem bilmediğini söyleyebiliyor mu. Bu beşinden biri yanıtsız kalıyorsa, kalan özelliklerin pratik değeri yoktur.

Hukuk yazılımı pazarında yapay zeka artık bir ayrışma noktası değil, standart bir başlık. Neredeyse her sağlayıcı bir asistan sunuyor. Bu durumda asıl soru sistemin yapay zeka içerip içermediği değil, ürettiği çıktının bir hukukçu tarafından savunulabilir olup olmadığıdır.

Aşağıdaki sorular beş başlıkta toplanıyor. Her başlığın sonunda, demo sırasında o başlığı sahada test etmenin yolunu bulacaksınız.

1. Doğruluk ve kaynak gösterme

Çıktıdaki her iddia bir kaynağa bağlanıyor mu? Bir hukuk asistanının verdiği yanıtta geçen her karar, madde ve tarih tıklanabilir bir kaynağa gitmelidir. Kaynak göstermeyen bir sistem, doğru yanıt verdiğinde bile doğrulanamaz; bu da hukuki kullanımda işe yaramaz demektir.

Kaynak, iddiayı gerçekten destekliyor mu? Bu ayrı bir sorudur. Sistem gerçek bir karara bağlantı verip, o kararın söylemediği bir şeyi iddia edebilir. Atıfın varlığı değil, isabeti test edilmelidir.

Sistem bilmediğini söyleyebiliyor mu? Kapsamı dışındaki bir soruya yanıt üretmek yerine kapsam dışı olduğunu belirtebilen sistem, her soruya kendinden emin yanıt verenden daha güvenilirdir.

Demoda nasıl test edilir: Yanıtı bildiğiniz bir konuda soru sorun ve gelen atıfları tek tek açın. Ardından gerçekte var olmayan bir düzenlemeyi sorun. Sistem o düzenlemeyi onaylayıp açıklamaya başlıyorsa, uydurma üretme eğilimi yüksektir.

2. Veri işleme ve gizlilik

Yüklenen dosyalar nerede işleniyor? Model yurt dışında çalışıyorsa, 6698 sayılı KVKK m.9 kapsamında bir aktarım söz konusudur ve dayanağının belgelenmesi gerekir. Sağlayıcının hangi model sağlayıcılarını alt işleyici olarak kullandığını yazılı isteyin.

Dosyalar model eğitiminde kullanılıyor mu? Sözleşmede bu konuda açık bir hüküm arayın. Hükmün yalnızca sağlayıcıyı değil, kullandığı model sağlayıcılarını da kapsaması gerekir.

Müvekkil verisi asistana verilmeden önce anonimleştirilebiliyor mu? Avukatlık Kanunu m.36 kapsamındaki sır saklama yükümlülüğü devredilemez. Sistemin isim, TCKN ve dosya numarası gibi alanları maskeleyebilmesi, bu yükümlülüğü yönetmeyi kolaylaştırır.

Demoda nasıl test edilir: Bir dosya yükleyin ve sağlayıcıdan o dosyanın hangi sistemlerden geçtiğini adım adım anlatmasını isteyin. Net bir akış çizemiyorsa, veri yolculuğu sağlayıcının kendisi için de belirsizdir.

3. Kapsam ve güncellik

Hangi kaynaklar taranıyor? Yargıtay, Danıştay, bölge adliye ve bölge idare mahkemeleri, Anayasa Mahkemesi ve mevzuat; bunların hangileri kapsamda? Kapsam listesi verilmeden yapılan her doğruluk iddiası ölçülemez.

Veri ne sıklıkla güncelleniyor? Yeni yayımlanan bir kararın sisteme kaç gün içinde girdiğini sorun. Güncel olmayan içtihat, yanlış içtihattan daha tehlikelidir çünkü doğru görünür.

Bir kararın güncelliği belirtiliyor mu? Sistem, gösterdiği kararın sonradan değişip değişmediğini, bozulup bozulmadığını işaretliyor mu? Bu bilgi olmadan emsal araştırması eksiktir.

Demoda nasıl test edilir: Yakın tarihli, sonucunu bildiğiniz bir kararı aratın. Sistemde yoksa güncelleme döngüsü yavaş demektir. Varsa, kararın durumuna dair bir işaret sunup sunmadığına bakın.

4. İş akışına oturma

Çıktı nereye gidiyor? Asistanın ürettiği metin dosyaya, dilekçeye veya UYAP formatına aktarılabiliyor mu, yoksa kopyalayıp yapıştırmak mı gerekiyor? İkincisi, kazandırdığı zamanı geri alır.

Dosya bağlamını görüyor mu? Asistan, üzerinde çalıştığınız dosyanın taraflarını, aşamasını ve eklerini biliyor mu; yoksa her soruda sıfırdan mı başlıyor? Bağlamsız asistan, genel amaçlı bir sohbet aracından farklı değildir.

Ekip içinde paylaşılabiliyor mu? Bir araştırma çıktısının dosyaya iliştirilip meslektaşa devredilebilmesi, kurumsal kullanımda tekil kullanıcı verimliliğinden daha değerlidir.

Demoda nasıl test edilir: Gerçek bir dosyanızı sisteme alın ve baştan sona bir iş akışı işletin: araştırma, taslak, dosyaya kaydetme, meslektaşa aktarma. Kopyala-yapıştır gerektiren her adımı not edin.

5. Sorumluluk ve denetim

Kim ne zaman hangi çıktıyı üretti, kaydı tutuluyor mu? Bir hata sonradan fark edildiğinde, çıktının ne zaman ve hangi soruyla üretildiğini görebilmeniz gerekir.

Büro içi kullanım kuralları sisteme yansıtılabiliyor mu? Hangi ekip üyesinin asistanı hangi dosya türlerinde kullanabileceği sınırlandırılabiliyor mu?

Sağlayıcı hatalı çıktı için ne taahhüt ediyor? Çoğu sağlayıcı sorumluluğu tamamen kullanıcıya bırakır. Bu makul olabilir; ancak sözleşmede ne yazdığını bilerek imzalamak gerekir.

Demoda nasıl test edilir: Geçmiş sorguların listesini görüntülemek isteyin. Böyle bir ekran yoksa, denetim sonradan eklenecek bir özellik olarak vaat edilir; bugünkü kullanımda yoktur.

Kabul kriteri tablosu

Değerlendirmeyi somutlaştırmak için her başlığa bir kabul eşiği koyun. Aşağıdaki eşikler kurumsal kullanım için asgari kabul seviyesidir.

Sık yapılan dört hata

• Demoyu sağlayıcının seçtiği soruyla geçmek. Sağlayıcının hazırladığı örnek sorular sistemin güçlü olduğu alanı gösterir. Kendi zor sorunuzu getirin.
• Atıfın varlığını doğruluk saymak. Bağlantı vermek kolaydır; verdiği bağlantının iddiayı desteklemesi zordur. Farkı test edin.
• Gizlilik başlığını hukuk birimine sormadan geçmek. Veri işleme yeri ve model eğitimi soruları teknik değil hukuki sorulardır; karar masasında bu bakışın olması gerekir.
• Tek bir etkileyici çıktıya dayanarak karar vermek. Yapay zeka sistemleri değişken sonuç üretir. Aynı soruyu farklı günlerde birkaç kez sorun.

Sıkça sorulan sorular

Hukuk yapay zekası değerlendirirken en önemli soru nedir?

Çıktıdaki her hukuki iddianın tıklanabilir bir kaynağa bağlanıp bağlanmadığıdır. Kaynak göstermeyen bir sistem doğru yanıt verdiğinde bile doğrulanamaz, dolayısıyla hukuki işte kullanılamaz. İkinci olarak atıfın isabeti ayrıca test edilmelidir; sistem gerçek bir karara bağlantı verip o kararın söylemediği bir şeyi iddia edebilir.

Yapay zeka asistanı uydurma karar üretirse sorumluluk kimde olur?

Çoğu sağlayıcı sözleşmesinde sorumluluğu kullanıcıya bırakır. Mahkemeye sunulan bir dilekçedeki hatalı atıftan avukat sorumludur. Bu nedenle sistemin kaynak göstermesi ve çıktının kontrol edilebilir olması, sözleşmedeki sorumluluk hükmünden daha belirleyicidir.

Müvekkil dosyasını yapay zeka asistanına yüklemek KVKK açısından sorun mu?

Kendiliğinden sorun değildir, ancak dayanağının kurulması gerekir. Model yurt dışında çalışıyorsa 6698 sayılı KVKK m.9 kapsamında bir aktarım söz konusu olur. Ayrıca Avukatlık Kanunu m.36 kapsamındaki sır saklama yükümlülüğü sağlayıcıya devredilemediğinden, anonimleştirme imkânı ve sözleşmedeki model eğitimi hükmü önem taşır.

Bir hukuk yapay zekasının kapsamını nasıl anlarım?

Hangi kaynakların tarandığının listesini yazılı olarak isteyin: Yargıtay, Danıştay, bölge adliye ve bölge idare mahkemeleri, Anayasa Mahkemesi ve mevzuat. Kapsam listesi verilmeden yapılan doğruluk iddiaları ölçülemez. Ayrıca yeni kararların sisteme kaç günde girdiğini sorun.

Demo ile deneme arasındaki fark nedir?

Demo sağlayıcının kontrol ettiği bir gösterimdir; sorular ve örnekler sistemin güçlü olduğu alanı seçer. Deneme ise sizin kontrol ettiğiniz bir testtir: kendi dosyanız, kendi zor sorunuz ve kendi iş akışınız kullanılır. Karar denemeye dayandırılmalıdır.

Yapay zeka çıktısının doğruluğunu ölçmek için kaç örnek yeterli?

Tek bir örnek yeterli değildir çünkü bu sistemler değişken sonuç üretir. Pratik bir eşik olarak on iddia seçip atıflarını hem açmak hem de içerik olarak okumak, sistemin davranışı hakkında anlamlı bir gösterge verir. Aynı soruyu farklı günlerde tekrarlamak da tutarlılığı ölçer.