Türk hukuku için güvenilir ve
açıklanabilir yapay zekâ araştırmaları

Özet

Çalışma, hukuk gibi kendine özgü terminolojisi olan bir alanda dil modeli başarımını artırmak için “Alana Ait Sınıflandırma” (AAS) yöntemini önerir: genel bir hukuk derlemi yerine, hukuk disiplinlerine göre bölünmüş alt derlemlerle eğitilen alan modellerinin daha başarılı olacağı hipotezi deneysel olarak sınanır. Bu hipotezi test etmek için ticaret, iş, medeni usul ve anayasa hukuku alanlarında dört ayrı karakter tabanlı GRU dil modeli sıfırdan eğitilmiş; kullanıcı girdisinin hangi hukuk dalına ait olduğunu tespit edip ilgili dil modelini çağıran ayrı bir sınıflandırıcı RNN ile hibrit bir doğal dil üreteci sistemi kurulmuştur.

Bulgular

• AAS yöntemiyle eğitilen alan modelleri, genel modele kıyasla test doğruluğunda %6,9–%13,6 arasında artış sağladı; çapraz entropi kaybında da tüm alan modelleri genel modelin altında seyretti.
• YÖK Tez Merkezi'nden derlenen 100 hukuk doktora tezinden oluşan 577.748 cümlelik derlem, 28 hukuk kategorisinde sınıflandırılarak eğitimde kullanıldı.
• Hukuki Metin Sınıflandırıcı, beş kategoride 0,81 makro F1 skoruna ulaştı; en yüksek başarım ticaret hukuku (F1 = 0,86) ve anayasa hukuku (F1 = 0,82) alanlarında elde edildi.
• Düşük donanımlı cihazlarda dahi eğitilebilen hafif mimari; dilekçe, karar ve iddianame yazımı gibi hukuki metin üretimi senaryoları için bir temel oluşturdu.

Yöntem ayrıntıları

Dil modellerinde Kapılı Tekrarlayan Hücre (GRU) mimarisi tercih edilmiştir (4 katmanlı GRU, katman başına 512 birim, 256 karakterlik sekanslar, Log-Softmax aktivasyonu, Adam iyileştirici). Karakter tabanlı temsil, Türkçe gibi biçimsel yapısı zengin ve eklemeli dillerdeki başarımı nedeniyle seçilmiştir. Değerlendirmede doğruluk ve çapraz entropi kaybının yanı sıra logaritmik çapraşıklık (log-perplexity) hesaplanmıştır. Sınıflandırıcı, kelime tabanlı, 3 katmanlı bir GRU'dur (30.000 kelimelik sözcük dağarcığı, 50 boyutlu gömme katmanı) ve girdileri beş hukuk kategorisine ayırır.

Özet

Çalışma, model başarımını tek başına yeterli görmeyen bir soruyu merkeze alır: model doğru tahmin ederken hukukçunun baktığı yere mi bakıyor? Anayasa Mahkemesi'nin 10.670 bireysel başvuru kararından oluşturulan veri kümesiyle altı farklı encoder-tabanlı Transformer modeli (BERT, DistilBERT, ConvBERT, ELECTRA, mBERT, XLM-RoBERTa) ihlal / ihlal yok ikili sınıflandırması için ince ayarlanmış; SHAP değerleriyle belirlenen model odaklarının, hukukçuların aynı kararlarda elle işaretlediği önemli bölümlerle örtüşme düzeyini ölçen özgün bir “Açıklanabilirlik Skoru” (ES) literatüre kazandırılmıştır.

Bulgular

• ConvBERT, %84,25 makro F1 skoruyla yayım tarihinde literatürdeki en yüksek başarımı elde etti; birden fazla hak türünü kapsayan önceki en iyi sonuç %67 idi.
• 479 karardan oluşan test kümesi hukukçular tarafından elle işaretlendi; tekrarlayan örüntü içeren kararlarda modellerin alan uzmanlarıyla benzer bölümlere odaklandığı gösterildi.
• Eğitim boyunca kaydedilen kontrol noktalarında ES ile F1 arasındaki ilişki incelendi: BERT (r = 0,86) ve XLM-RoBERTa'da (r = 0,92) güçlü pozitif korelasyon gözlenirken, genel bir monotonik ilişki kurulamayacağı ortaya konuldu.
• Model seçiminde yalnızca F1'e değil, hem yüksek ES hem yüksek başarıma bakılması önerildi; bu yaklaşım GDPR'daki “açıklama hakkı” ve AB Yapay Zekâ Tüzüğü tartışmalarıyla ilişkilendirildi.

Yöntem ayrıntıları

Karar metinleri; başvuru konusu, başvuru süreci ve somut olaya ilişkin bölümlerle sınırlandırılarak mahkemenin değerlendirme ve hüküm bölümleri veri kümesinden çıkarılmıştır. Hiperparametre araması Optuna (Bayesyen optimizasyon) ile yapılmıştır. SHAP'ın Partition Explainer yöntemiyle her token'ın model çıktısına katkısı hesaplanmış; benzersiz SHAP değerlerinin medyanı eşik alınarak modelin en etkili bulduğu kelime grupları çıkarılmıştır. Bu gruplar ile hukukçuların işaretlediği bölümler arasındaki örtüşme BLEU ve ROUGE-L ile ölçülmüş, iki skorun harmonik ortalaması Açıklanabilirlik Skoru olarak tanımlanmıştır.

Özet

Çalışmanın çıkış noktası Turing testini andırır: model gerçekten yargıçların davranış örüntülerini öğreniyorsa, yargıçların kendi aralarında anlaşamadığı — yani karşı oy içeren — kararlarda daha çok zorlanmalıdır. Bu hipotezi sınamak için Anayasa Mahkemesi'nin 12.887 bireysel başvuru kararından beş farklı veri kümesi oluşturulmuş; 146 karşı oylu karar tüm test kümelerinde sabit tutularak beş ayrı BERT modeli eğitilmiştir. Model belirsizliği, softmax çıktı farkları ve SHAP değerlerinin tanımlayıcı istatistikleri olmak üzere iki bağımsız yöntemle ölçülmüştür.

Bulgular

• Modeller, karşı oy içeren kararlarda karşı oy içermeyenlere göre ortalama %19 daha düşük makro F1 üretti (63,63'e karşı 78,79).
• Softmax çıktıları arasındaki mutlak fark, yanlış sınıflandırılan ve karşı oylu kararlarda sistematik olarak daha düşük çıktı; SHAP değerlerinin ortalama, maksimum ve standart sapması da aynı yönde ayrıştı.
• Gruplar arası farklar, beş veri kümesinin tamamında ikili t-testleriyle istatistiksel olarak anlamlı bulundu (p < 0,001).
• Karşı oy, tahmin görevi için doğal bir “zorluk etiketi” olarak önerildi.

Yöntem ayrıntıları

Bazı önceki çalışmaların mahkemenin değerlendirme bölümlerini veri kümesine dahil ederek yapay biçimde yüksek doğruluk elde ettiği tespit edilmiş; bu çalışmada değerlendirme ve hüküm metinleri titizlikle ayıklanmıştır. SHAP değerleriyle üretilen ısı haritaları, modelin tekil kararlar içindeki odağını görselleştirmek için kullanılmış; softmax tabanlı belirsizlik ölçümünün sınırlılıkları (epistemik–aleatorik ayrımının yapılamaması) literatürdeki kalibrasyon tartışmalarıyla birlikte ele alınmıştır.

Özet

Türkiye'deki karar tahmini literatürü bugüne dek yalnızca bireysel başvurulara odaklanmıştı; bu çalışma, kanunların soyut anayasallık denetimini konu alan norm denetimi kararlarını ilk kez bir tahmin görevi olarak formüle eder. 1963–2025 dönemini kapsayan 5.346 karardan çok aşamalı bir ayıklama hattıyla, sonucu ele veren tüm bölümlerin çıkarıldığı sızıntısız 3.722 kararlık bir veri kümesi oluşturulmuş; iptal–ret ikili sınıflandırması için Türkçe BERT ve ELECTRA modelleri ince ayarlanmıştır. İkinci aşamada, modelin odaklandığı metin bölümleri ile mahkemenin anayasaya aykırı bulduğu norm kısımları arasındaki hizalanma nicel olarak katmanlandırılıp hukukçularla nitel incelemeye açılmıştır.

Bulgular

• BERT, yalnızca karar öncesi metinden %77,47 doğruluk ve %75,37 makro F1'e ulaştı; soyut anayasallık denetimi sonuçlarının önemli ölçüde öngörülebilir olduğu ilk kez gösterildi.
• Nitel analiz üç ayrı akıl yürütme davranışı ortaya koydu: yüksek hizalanmada model normun hukuken tartışmalı ifadesine doğru odaklandı; düşük hizalanmada ilgisiz sayılar ve kelimeler üzerinden sahte korelasyonlar öğrendi.
• En kritik bulgu orta hizalanma vakalarında ortaya çıktı: model doğru odakla birlikte mahkeme adı ve başvuru türü gibi usule ilişkin “kestirmeler” de kullanıyordu — F1'i yükselten ancak tarafsız anayasal denetimle bağdaşmayan bir sistemik yanlılık riski.
• Çalışma, AB Yapay Zekâ Tüzüğü'nün öngördüğü yüksek riskli sistem denetimleri için somut bir çerçeve önerir.
• Derlenen veri kümesi Hugging Face üzerinde açık lisansla paylaşıldı.

Yöntem ayrıntıları

Veri hattı dört aşamada 5.346 ham kararı 3.722 karara indirger: esas incelemesi içermeyen kararların, geri çevirme kararlarının ve 500 kelimenin altındaki metinlerin ayıklanması; “İLK İNCELEME” ve “ESASIN İNCELENMESİ” başlıklarından itibaren tüm metnin kesilmesiyle sonuç sızıntısının önlenmesi. Nihai kümede iptal/ret oranı yaklaşık 1:2'dir (dengesizlik oranı 1,98); Optuna ile 20'şer deneme üzerinden hiperparametre araması yapılmış, makro F1 birincil metrik seçilmiştir. Açıklanabilirlik aşamasında, 125 iptal kararı için SHAP değerlerinin 90. yüzdelik eşiğini aşan token'lar modelin açıklaması olarak alınmış; bir “çıkarıcı ajan” (gemini-2.5-flash) referans vekili üretmiştir. İki küme arasındaki Jaccard benzerliğine göre kararlar düşük (J ≤ 0,10), orta (0,10 < J ≤ 0,30) ve yüksek (0,30 < J ≤ 0,60) hizalanma katmanlarına ayrılmıştır.

Özet

Büyük dil modellerinin hukuki güvenilirliğini sarsan en kritik sorun, mevzuat atıflarında ürettikleri gerçeğe aykırı içeriklerdir; ABD içtihat hukukunda %58–%88 oranında halüsinasyon raporlanmışken, Türk hukuku gibi katı kodifiye sistemler için sistematik bir ölçüm altyapısı bulunmuyordu. Çalışma bu boşluğu üç katkıyla doldurur: üretici–doğrulayıcı–denetleyici çoklu-etmen mimarisiyle üretilen 72 senaryoluk kıyaslama kümesi; halüsinasyon taksonomisini mevzuat atfı bağlamına uyarlayan 5 adımlı karar ağacı; ve literatüre kazandırılan Norm İçerik Uydurma (NCF) ile Ağırlıklı Halüsinasyon Şiddeti (WHS) metrikleri. Yedi büyük dil modelinin (Gemini 3 Flash, Gemini 2.5 Flash, Claude Sonnet 4.6, Llama 4 Maverick, DeepSeek-V3.2, Qwen3.5-35B, Turkish-Gemma-9b) altı hukuk alanındaki 504 çıkarımı bu çerçeveyle değerlendirilmiştir.

Bulgular

• Var olmayan madde uydurma son derece nadirdir: 2.419 madde önerisinde yalnızca 22 adet. Baskın hata türleri, gerçek maddelerin yanlış bağlamda atfedilmesi (Tip 2) ve doğru maddelerin tutarsız gerekçelendirilmesidir (Tip 3, en yaygın tür, 0,04–0,19).
• En başarılı model (Gemini 3 Flash) dahi 0,84 F1'de kaldı: genel amaçlı modeller Türk hukukunun kodifiye yapısı karşısında henüz güvenilir değil.
• Yararlılık–halüsinasyon ödünleşimi somut olarak gözlendi: Claude Sonnet 4.6, senaryo başına ortalama 8,51 madde önererek 0,92 duyarlılığa ulaştı ancak kesinliği 0,55'e düştü.
• Türkçe ince ayarlı tek modelin (Turkish-Gemma-9b) en düşük performansı sergilemesi, genel dil uyarlamasının hukuki muhakeme için tek başına yeterli olmadığını ampirik olarak gösterdi.
• Yargıç-BDM değerlendirmeleri iki kıdemli hukukçuyla “mükemmele yakın” uyum gösterdi (κ = 0,84–0,91) ve bu uyum, uzmanların kendi aralarındaki tutarlılığın (κ = 0,73–0,83) üzerinde çıktı.
• Alan bazında en yüksek başarım TCK (ortalama F1 = 0,72) ve İş Kanunu'nda (0,69) elde edilirken, TTK en yüksek içerik uydurma yoğunluğuna (CFR = 0,56) sahip alan oldu.

Yöntem ayrıntıları

Üretici katman (Gemini 3.1 Pro Preview) kıdemli hukuk profesörü rolüyle zorluk seviyeli somut uyuşmazlık senaryoları üretir; doğrulayıcı katman (Gemini 3 Flash Preview) web aramasıyla maddelerin yürürlük durumunu denetler; denetleyici katman (Claude Opus 4.6) senaryo ile doğrulama raporunu çapraz inceler. Başlangıçtaki 107 senaryonun 44'üne hukukçular doğrudan müdahale etmiş, 25 senaryo sıfırdan yazılmış; nihai küme 6 hukuk alanı × 3 zorluk × 4 soru = 72 senaryoya daraltılmıştır. Değerlendirme çerçevesi her madde önerisini 5 adımlı karar ağacıyla sınıflandırır (varlık → küme → atıf → konu → içerik). WHS, farklı yanlış pozitif türlerini hukuki risk ağırlıklarıyla (uydurma 1,0 · ilgisiz 0,8 · aynı kurum içi gereksiz atıf 0,3) tek şiddet skalasında birleştirir. Yargıç model olarak Gemini 3.1 Pro Preview kullanılmış; 126 çıktı iki hukukçu tarafından kör değerlendirme arayüzüyle bağımsız olarak incelenmiştir.