ULAKBİM
TÜBİTAK ULAKBİM

Anlamsal Arama

1. Amaç

Kullanıcı sorgularına anahtar kelime eşleşmesi yerine anlam benzerliği ile yanıt vermek; eşanlamlı, farklı yazılmış veya farklı dilde ifade edilmiş kavramları yakalamak.

2. Problem Tanımı

Klasik arama (BM25, exact match) şu sorunları yaşar:

  • "yapay zeka" sorgusu "machine learning" içeren tezleri kaçırır.
  • Eşanlamlılar ve domain'e özel jargon eşleştirilemez.
  • Sorgu kısa olduğunda alakalı sonuç sıralaması bozulur.

Embedding tabanlı retrieval bu sorunları azaltır; ancak embedding seçimi, kalite ölçümü ve reranking kararlarını gerektirir.

3. Kapsam ve Kapsam Dışı

  • Kapsam: Embedding seçimi, MTEB tabanlı kalite değerlendirmesi, retrieval metrikleri (Recall@k, nDCG, MRR), sorgu-doküman eşleştirme stratejileri.
  • Kapsam dışı: Reranker fine-tune detayları (ayrı deneyde tutulur), front-end tasarım kararları.

4. Alt Sayfalar

5. Yöntemler ve Yaklaşımlar

  • Dense embedding + cosine similarity (Milvus / Qdrant indeksinde)
  • Hibrit arama: BM25 (sparse) + dense embedding skor birleşimi
  • Instruction-tuned embedding (gerekirse görev başına farklı temsil)
  • Reranking: İlk top-K → cross-encoder ile yeniden sıralama
  • Kalite takibi: nDCG, Recall@10, MRR — görev özelinde

6. Mevcut Durum

  • F2LLM ile 50.000 tez embedding'i Qdrant'ta indekslenmiş durumda.
  • MTEB analizi tamamlandı; aday modeller kısa listeye alındı.
  • Domain-özel benchmark seti henüz yok — sıradaki adım.

7. Sonraki Adımlar

  • Türkçe akademik embedding veri kümesi + altın benchmark — tasarım raporu hazır, pilot bekliyor: Veri-Kumesi-Tasarimi/. Pilot (Hafta 1–3): 5–10K .md dosyasında pipeline doğrulama + 150–200 retrieval sorgusu pilot annotation. Standard varyant: 1500 sorgu × 20 aday × 2 annotator + 3K STS.
  • F2LLM, bge-m3, multilingual-e5 karşılaştırması — yeni altın benchmark üzerinde.
  • Reranker entegrasyonu (cross-encoder) ile top-10 kalite ölçümü.
  • Hibrit (BM25 + dense) deneyleri.

8. İlgili Sayfalar