ULAKBİM
TÜBİTAK ULAKBİM

Editöryel Yardım (Şemsiye Domain)

Şemsiye domain. TR Dizin / Ulusal Tez Merkezi gibi platformlardaki editör ve operatörlerin manuel iş yükünü azaltan tüm otomatik destek araçlarını kapsar.

1. Amaç

Editöryel ekibin manuel kontrol, etiketleme ve eşleştirme iş yükünü azaltmak; otomatik adımları insan onay kuyruğuna bağlamak. Hedef: kalite ve hızı birlikte artırmak.

2. Kapsam

Editöryel Yardım üç tamamlayıcı alt-domain'den oluşur:

Alt-Domain Sorduğu Soru Ana Yöntem
Metadata Extraction "Bu metinden hangi yapısal alanlar (başlık, yazar, referans...) çıkar?" Qwen2.5-14B fine-tune (LLM) + embedding centroid sınıflandırma
Outlier Detection "Bu kayıt etiketine uyuyor mu? Anomali var mı?" HDBSCAN noise + etiket-centroid uzaklık
Duplike Eşleşme "İki etiket / yazar / kayıt aynı kanonik öğeye mi denk geliyor?" CleanLab + Levenshtein + Embedding hibrit

Üçü birlikte uçtan uca editör desteği sağlar:

Ham metin (PDF/markdown)
   |
   v
[Metadata Extraction]   <- yapisal alanlari uret
   |
   v
[Duplike Eslesme]       <- etiket / yazar / kurum kanonik forma indir
   |
   v
[Outlier Detection]     <- supheli kayitlari editore yonlendir
   |
   v
Editor paneli (kabul / reddet / duzeltme)

3. Kapsam Dışı

  • Tam otomatik onaysız metadata güncellemesi (her adım sonu insan onayı).
  • Yeni etiket sözlüğünün baştan tasarımı (mevcut sözlük temizlenir, sıfırdan kurulmaz).
  • Son kullanıcıya yönelik akışlar (Anlamsal Arama, YZ Asistanları) — onlar ayrı domain.

4. Yöntemler ve Yaklaşımlar (Özet)

  • Embedding tabanlı sınıflandırma (centroid kıyaslaması) — konu ataması.
  • LLM tabanlı yapısal çıkarım (Qwen2.5-14B fine-tune) — referans, başlık, yazar, DOI.
  • Embedding + metin benzerliği hibrit — duplike sözlük temizliği.
  • CleanLab (confident learning) — etiket hatası ve outlier tespiti.
  • Şüphe sinyali sıralaması — MUTLAKA_INCELE, ETIKET_DEGISIKLIK_ONERISI gibi aksiyon kategorileri.

5. Deneyler ve Bulgular

Deney Karar Kartı Detay Rapor Alt-Domain
HDBSCAN v3–v8 30_Deneyler/01_HDBSCAN-Kumeleme.md 30_Deneyler/HDBSCAN-Detaylar/ Outlier Detection
Etiket Kalite v1 (sabit eşik) 30_Deneyler/02_Etiket-Kalite-v1-Sabit-Esik.md 30_Deneyler/Etiket-Kalite-Detaylar/v1.md Outlier Detection
Etiket Kalite v2 (percentile) 30_Deneyler/03_Etiket-Kalite-v2-Percentile.md 30_Deneyler/Etiket-Kalite-Detaylar/v2.md Outlier Detection
CleanLab Feature-Only 30_Deneyler/04_CleanLab-Feature-Only.md 30_Deneyler/CleanLab-Detaylar/Deney1.md Duplike Eşleşme
Qwen2.5-14B Metadata Extraction 30_Deneyler/05_Qwen-Metadata-Extraction.md 30_Deneyler/Qwen-Detaylar/Rapor-v1.md Metadata Extraction

6. Mevcut Durum

Aktif. Pipeline her üç alt-domain'de de işlevsel:

  • Metadata Extraction: Qwen2.5-14B fine-tune production'a aday (JSON %98, ref F1 0.84, 6.5 sn/örnek).
  • Outlier Detection: v2 etiket kalite üretim için kullanılabilir (4 CSV + 1 JSON editör paneline besleme hazır), HDBSCAN v8'de stabilize.
  • Duplike Eşleşme: CleanLab Deney 1 ile 22 birleştirme önerisi → 12.883 kayıtta uygulandı; Deney 2 (pred_probs ile) kuyruğa alındı.

7. Sonraki Adımlar

  • Editör paneli için minimal UI: kabul / reddet / birleştir akışı (üç alt-domain'in çıktısını birleştirir).
  • 200 örneklik altın etiketli set ile precision/recall ölçümü (insan uzlaşı verisi).
  • Centroid + CleanLab kesişiminde "yüksek güven" kuyruğu üretmek.
  • Qwen modelinde parse hatalarını sıfıra indirme + DOI/Page teşhis raporu.
  • Chunked reference extraction (200+ refli makaleler için).

8. İlgili Sayfalar