Hukuk Yazılımında Pilot Dönemi Nasıl Değerlendirilir?

Gökçen Beyazoğlu LL.B.

Avukat, Chief Product Officer · Attornaid

Copy Link

Hukuk yazılımında pilot dönemi, pilot başlamadan yazılmış 5-7 başarı ölçütüne göre değerlendirilir ve her ölçütün geçti veya kaldı eşiği önceden belirlenir. Deneme, tedarikçinin demo verisiyle değil anonimleştirilmiş gerçek dosyalarla, farklı rollerden seçilmiş 3-5 kişilik bir pilot ekiple ve 2-4 hafta içinde yürütülür. Sorunlar her hafta kayda geçirilir ve tedarikçinin yanıt hızı da ölçülür. Pilot, devam, uzatma veya vazgeçme kararının gerekçesiyle yazıldığı bir karar toplantısıyla kapanır.

Satın alma kararları çoğu zaman iyi geçen bir demonun bıraktığı izlenime dayanır. İzlenim, yazılımın günlük işte nasıl davranacağını göstermez; bunu ancak kontrollü bir deneme gösterir. Pilot, satın alıp almama kararını veren bu denemedir. Satın almadan sonra yürütülen geçiş projesi ayrı bir iştir: veri taşıma, paralel çalışma ve eğitim orada planlanır. Pilotun görevi daha dardır ve yazılımın büronun veya kurumsal hukuk biriminin işini kabul edilebilir biçimde taşıyıp taşımadığını ölçülebilir biçimde göstermektir.

Demo ile pilot arasındaki fark

Demo tedarikçinin senaryosudur. Akışı tedarikçi seçer, veriler bu akışa göre hazırlanır ve sunumu ürünü en iyi bilen kişi yapar. Pilot ise büronun veya hukuk biriminin kendi iş akışıdır: dosyayı açan, görevi atayan ve belgeyi arayan kişiler ekibin kendi üyeleridir ve karşılaştıkları sorunlar hiçbir senaryoda yer almaz.

• Demoda soruyu tedarikçi seçer; pilotta soruyu günlük iş üretir.
• Demoda veri temiz ve azdır; pilotta veri dağınık, eksik ve çoktur.
• Demoda kullanıcı ürünü tanır; pilotta kullanıcı ürünü ilk kez görür ve öğrenme maliyeti ortaya çıkar.
• Demo bir izlenim bırakır; pilot karar toplantısına ölçüm sonuçları getirir.

Bu nedenle pilotun tasarımı demoda görülen özelliklerden değil, ekibin her hafta tekrar ettiği işlerden başlar: yeni dosya açmak, görev dağıtmak, belge bulmak, bir sözleşme taslağını incelemek ve müvekkile veya iç müşteriye durum bildirmek.

Başarı ölçütleri pilot başlamadan yazılır

Pilotlarda en sık görülen hata, ölçütlerin pilot bittikten sonra konuşulmasıdır. O noktada ekip ürünü beğenmiş veya beğenmemiştir ve ölçütler bu izlenime göre şekillenir. Ölçütler pilot başlamadan, yönetici ortak veya hukuk müşaviri gibi karar vericinin onayıyla yazılır. 5-7 ölçüt yeterlidir. Her biri için nasıl ölçüleceği ve hangi sonucun geçti, hangisinin kaldı sayılacağı baştan belirlenir. Eşikler mümkün olduğunca bugünkü yöntemle karşılaştırılarak konur; bunun için pilot öncesinde mevcut durumun kısa bir ölçümü yapılır.

Tablodaki eşikler örnektir; her büro veya birim kendi bugünkü durumuna göre belirler. Yapay zeka özellikleri içeren bir yazılımda kaynak gösterme ölçütü ayrıca önemlidir. Bir özetin veya cevabın hangi belgeye, hangi bölüme dayandığı gösterilmiyorsa çıktının doğruluğu ancak dosya baştan okunarak kontrol edilebilir ve kazanılan zaman ortadan kalkar.

Eşik pilot sırasında değiştirilmez: Bir ölçüt yanlış kurulmuşsa bu durum haftalık kayda yazılır ve karar toplantısında ayrıca konuşulur. Eşiği pilotun ortasında düşürmek, ölçütleri hiç yazmamakla aynı sonucu verir.

Gerçek dosyalar, anonimleştirme ve KVKK

Demo verisi yanıltıcıdır, çünkü düzenlidir. Gerçek dosyada yüzlerce sayfalık taranmış belgeler, UYAP'tan indirilmiş evrak, tutarsız adlandırılmış ekler, çok taraflı yazışmalar ve yarım kalmış notlar bulunur. Yazılımın arama, sınıflandırma ve yapay zeka özellikleri tam olarak bu dağınıklıkta sınanır.

• Pilot için farklı iş türlerini ve zorluk düzeylerini temsil eden, kapanmış veya ilerlemiş bir dosya seti seçilir.
• Müvekkil, karşı taraf ve üçüncü kişilere ait bilgiler anonimleştirilir veya maskelenir.
• Ekip, bu dosyalar üzerinde gerçek iş akışını tekrarlar: dosya açar, görev atar, belge arar, özet ister.

Anonimleştirme çoğu zaman tam olmaz; olay örgüsü, tarihler ve tutarlar bir araya geldiğinde kişi yine tanınabilir. Bu nedenle deneme ortamına gerçek dosyadan türetilmiş veri konmadan önce tedarikçiyle kısa bir sözleşme imzalanır. Sözleşme, KVKK açısından verinin hangi amaçla işleneceğini, nerede saklanacağını, kimlerin erişebileceğini ve pilot bittiğinde nasıl silineceğini düzenler. Avukatın sır saklama yükümlülüğü ve baro meslek kuralları da aynı özeni gerektirir. Ayrıntılar, satın alma halinde imzalanacak ana sözleşmede genişletilir.

Pilot ekip, süre ve haftalık kayıt

Pilot ekip 3-5 kişiden oluşur ve farklı rolleri temsil eder: dosya yürüten bir avukat, bir stajyer veya asistan, büro yönetiminden ya da hukuk operasyonundan bir kişi ve gerekiyorsa bilgi işlemden bir temsilci. Ekipte en az bir şüpheci bulunur. Yeni yazılıma mesafeli duran kişi, sonradan ikna edilmesi gereken çoğunluğun itirazlarını önceden dile getirir; pilotu geçen yazılım bu itirazları da karşılamış olur.

Süre 2-4 haftadır. İki haftadan kısa bir pilot yalnızca öğrenme dönemini ölçer. Dört haftayı aşan pilot ise ilgiyi öldürür: ekip pilotu ek bir iş olarak görmeye başlar, kayıtlar seyrekleşir ve karar sürekli ertelenir. Bitiş tarihi baştan yazılır ve karar toplantısının günü pilot başlamadan takvime konur.

İki haftalık bir pilotta birinci ve ikinci haftanın, ardından üçüncü ve dördüncü haftanın odakları birleştirilir; hazırlık aşaması kısaltılmaz.

Haftalık kayıt basit bir tablodur. Her satırda sorun, beklenen davranış, tedarikçiye bildirildiği tarih, ilk yanıt tarihi ve çözüm durumu yer alır. Kayıt iki işe yarar. Birincisi, karar toplantısında izlenim yerine somut bir sorun listesi konuşulur. İkincisi, tedarikçinin yanıt hızı ölçülür; pilot dönemindeki yanıt hızı, satın alma sonrasındaki destek ilişkisinin ilk göstergesidir.

Uzun pilot karar üretmez: Süre uzadıkça ekibin dikkati dağılır ve karar ölçüm sonuçlarından değil yorgunluktan çıkar. Ek süre gerekiyorsa bu, karar toplantısında gerekçesiyle verilen bir uzatma kararı olur.

Pilotta denenecek teknik konular

Bazı sorular tedarikçinin yazılı cevabıyla değil, pilotta denenerek cevaplanır. Bunlar, satın almadan sonra fark edildiğinde maliyeti en yüksek olan konulardır.

• Dışa aktarım denemesi: Bir pilot dosyası belgeleri, notları, görevleri ve tarihçesiyle birlikte dışa aktarılır. Verinin hangi biçimde çıktığı, eklerle dosya arasındaki ilişkinin korunup korunmadığı ve işlemin ne kadar sürdüğü kaydedilir.
• Yetki ayarları: Bir dosya belirli bir kullanıcıdan gizlenir. Bu kullanıcının dosyayı listede, aramada, raporlarda ve yapay zeka cevaplarında görüp görmediği denenir. Hassas müvekkil dosyaları ve çıkar çatışması olan işler için bu deneme özellikle önemlidir.
• Denetim izi örneği: Pilot süresince yapılan işlemlerin denetim izi istenir: kim, hangi kaydı, ne zaman açtı, değiştirdi veya sildi. İzin okunabilir olduğu ve dışa aktarılabildiği kontrol edilir.

Bu denemelerin sonuçları ölçüt tablosundaki ilgili satırlara işlenir. Bir denemenin pilot süresinde yapılamaması da bir sonuçtur ve kayda geçer.

Karar toplantısı ve karar kaydı

Pilot, takvime önceden konmuş bir karar toplantısıyla kapanır. Toplantıya pilot ekip, karar verici ve gerekiyorsa bilgi işlem katılır; tedarikçi katılmaz. Masada üç belge bulunur: doldurulmuş ölçüt tablosu, haftalık sorun kaydı ve teknik denemelerin sonuçları. Toplantı dört karardan biriyle biter:

• Devam: Ölçütler geçildi; satın alma görüşmesi ve geçiş planlaması başlar.
• Kapsamı daraltarak devam: Yazılım bazı iş türlerinde veya rollerde ölçütleri geçti, diğerlerinde geçemedi; kullanım, geçilen alanla sınırlı başlar.
• Uzatma: Belirli bir ölçüt, yazılımdan kaynaklanmayan bir nedenle ölçülemedi; uzatma tek seferlik, en fazla iki haftalık ve yalnızca o ölçütle sınırlıdır.
• Vazgeçme: Kritik bir ölçüt kaldı veya engelleyici sorunlar çözülmedi; gerekçe tedarikçiye yazılı bildirilir ve deneme ortamındaki verinin silindiği teyit edilir.

Karar kaydı kısa tutulur: verilen karar, geçen ve kalan ölçütler, açık kalan sorunlar ve her biri için sorumlu kişi. Bu kayıt, satın alma halinde sözleşme görüşmesinin ve geçiş projesinin girdisidir. Vazgeçme halinde ise bir sonraki değerlendirmede aynı ölçütler yeniden kullanılır ve farklı ürünler aynı terazide tartılır.

Kontrol listesi

• Başarı ölçütleri ve geçme eşikleri pilot başlamadan yazıldı mı?
• Pilot, demo verisiyle değil anonimleştirilmiş gerçek dosyalarla mı yürütülüyor?
• Deneme ortamına veri konmadan önce tedarikçiyle sözleşme imzalandı mı?
• Pilot ekipte farklı rollerden 3-5 kişi ve en az bir şüpheci var mı?
• Bitiş tarihi ve karar toplantısının günü baştan belirlendi mi?
• Sorunlar, beklentiler ve çözüm durumu her hafta kayda geçiriliyor mu?
• Dışa aktarım, yetki ayarları ve denetim izi pilot sırasında denendi mi?
• Karar toplantısının sonucu gerekçesiyle yazılı olarak kaydedildi mi?

Sıkça sorulan sorular

Hukuk yazılımında pilot dönemi nasıl değerlendirilir?

Pilot başlamadan yazılmış 5-7 başarı ölçütüne ve her ölçüt için önceden belirlenmiş geçti veya kaldı eşiğine göre değerlendirilir. Deneme anonimleştirilmiş gerçek dosyalarla, 3-5 kişilik bir ekiple ve 2-4 hafta içinde yapılır. Pilot, devam, kapsamı daraltarak devam, uzatma veya vazgeçme kararının yazılı olarak kaydedildiği bir toplantıyla kapanır.

Demo ile pilot arasındaki fark nedir?

Demo tedarikçinin hazırladığı senaryodur; akışı, veriyi ve sunumu tedarikçi belirler. Pilot ise büronun veya hukuk biriminin kendi iş akışının, kendi ekibi ve kendi dosyalarıyla yazılım üzerinde denenmesidir. Demo bir izlenim bırakır, pilot ölçüm sonucu üretir.

Pilot için hangi başarı ölçütleri belirlenmeli?

Ekibin her hafta tekrar ettiği işlerden türetilen 5-7 ölçüt yeterlidir. Örnekler: dosya açılışından ilk görev atamasına geçen süre, belge bulma süresi, yapay zeka çıktılarında kaynak gösterme oranı, ekibin kullanım oranı ve tedarikçinin yanıt süresi. Her ölçütün nasıl ölçüleceği ve geçme eşiği pilot başlamadan yazılır.

Pilotta gerçek dosyalar kullanılmalı mı?

Evet, ancak anonimleştirilerek. Demo verisi düzenli olduğu için yazılımın taranmış belgeler, dağınık ekler ve çok taraflı yazışmalar karşısındaki davranışını göstermez. Anonimleştirme çoğu zaman tam olmadığından, deneme ortamına veri konmadan önce tedarikçiyle KVKK açısından verinin işlenmesini, saklanmasını ve pilot sonunda silinmesini düzenleyen kısa bir sözleşme imzalanır.

Pilot ne kadar sürmeli ve ekipte kimler olmalı?

Pilot 2-4 hafta sürer; daha kısası yalnızca öğrenme dönemini, daha uzunu ise azalan ilgiyi ölçer. Ekip farklı rollerden 3-5 kişiden oluşur: dosya yürüten avukat, asistan veya stajyer ve operasyon ya da büro yönetiminden bir kişi. Ekipte yeni yazılıma mesafeli en az bir kişinin bulunması, itirazların pilot sırasında ortaya çıkmasını sağlar.

Pilotun sonunda hangi kararlar verilebilir?

Dört karar verilebilir: devam, kapsamı daraltarak devam, uzatma veya vazgeçme. Uzatma tek seferlik olur ve yalnızca ölçülemeyen ölçütle sınırlı tutulur. Karar, geçen ve kalan ölçütler, açık sorunlar ve sorumlularla birlikte yazılı olarak kaydedilir.