ULAKBİM
TÜBİTAK ULAKBİM

VectorDB Görselleştirme ve Analiz Araçları Raporu

Yönetici Özeti

Geleneksel veritabanlarında Tableau ve Power BI gibi BI araçları veriyi analiz etmekte ve görselleştirmekte standart çözümlerdir. Vektör veritabanları (VectorDB) ekosisteminde ise benzer işlevleri yerine getiren, embedding vektörlerini görselleştiren, sınıflandırma kalitesini ölçen ve kümeleme analizleri sunan araçlar bulunmaktadır. Bu rapor, mevcut araçları kategorilere ayırarak incelemekte ve akademik Türkçe veri çalışmaları için en uygun yaklaşımları önermektedir.

Temel fark şudur: geleneksel BI'da veri zaten anlaşılır boyutlardadır (satır, sütun, sayı, tarih). VectorDB'de ise veri 768 veya 1024 boyutlu vektörlerdir ve insan gözüyle doğrudan anlaşılamaz. Bu yüzden VectorDB araçlarında her zaman bir boyut indirgeme adımı (UMAP, t-SNE, PCA) bulunur; bu da belirli ölçüde bilgi kaybı anlamına gelir.

1. Embedding Görselleştirme Araçları (Boyut İndirgeme + Scatter Plot)

1.1 Nomic Atlas

  • Tür: Ticari (Free tier mevcut)
  • Açıklama: Milyonlarca embedding vektörünü GPU hızlandırmalı UMAP ile 2D interaktif haritaya dönüştüren en gelişmiş araçlardan biridir. Web tarayıcı tabanlı çalışır.
  • Temel Özellikler: Web UI, UMAP projeksiyonu, otomatik küme etiketleme, metin arama overlay, HuggingFace entegrasyonu
  • Kapasite: 10M+ vektör desteği
  • Avantajlar: Çok büyük veri setlerini kaldırabilir, otomatik topic modeling ile kümeleri isimlendirir, HuggingFace datasets ile doğrudan entegre çalışır.
  • Dezavantajlar: Büyük veri için ücretli plan gerekir, self-hosted seçenek sınırlıdır.
  • Kullanım Senaryosu: Embedding kalitesini görsel olarak değerlendirmek, kümelerin ayrışıp ayrışmadığını kontrol etmek için ideal.
from nomic import atlas
import numpy as np

embeddings = np.load("embeddings.npy")
metadata = [{"text": t, "label": l} for t, l in zip(texts, labels)]

project = atlas.map_data(
    embeddings=embeddings,
    data=metadata,
    id_field="text",
    topic_model=True  # Otomatik küme etiketleme
)

1.2 Embedding Projector (TensorBoard)

  • Tür: Açık kaynak
  • Açıklama: Google'ın TensorBoard bünyesindeki Embedding Projector, vektörleri 3D olarak görselleştirir. PCA, t-SNE ve UMAP ile boyut indirgeme yapar. Tarayıcı tabanlıdır.
  • Temel Özellikler: 3D interaktif görselleştirme, PCA/t-SNE/UMAP desteği, nearest neighbor arama, metadata filtreleme
  • Avantajlar: Tamamen ücretsiz, 3D interaktif, TensorFlow ve PyTorch ile entegre çalışır, nearest neighbor arama özelliği ile belirli bir vektörün komşularını inceleyebilirsiniz.
  • Dezavantajlar: 100K+ vektörde performans düşer, kurulum gerektirir, görsel özelleştirme seçenekleri sınırlıdır.
  • Kullanım Senaryosu: Hızlı keşifsel analiz, özellikle model eğitimi sırasında embedding kalitesini izlemek için uygundur.
import tensorflow as tf
from tensorboard.plugins import projector

embedding_var = tf.Variable(embeddings, name="embeddings")
checkpoint = tf.train.Checkpoint(embedding=embedding_var)
checkpoint.save("logs/embedding.ckpt")

with open("logs/metadata.tsv", "w") as f:
    for label in labels:
        f.write(f"{label}\n")

config = projector.ProjectorConfig()
emb = config.embeddings.add()
emb.tensor_name = "embedding/.ATTRIBUTES/VARIABLE_VALUE"
emb.metadata_path = "metadata.tsv"
projector.visualize_embeddings("logs", config)

# Çalıştırma: tensorboard --logdir=logs

1.3 Renumics Spotlight

  • Tür: Açık kaynak
  • Açıklama: Embedding'leri metadata ile birlikte analiz eden interaktif bir araçtır. Scatter plot, tablo, histogram ve kümeleme görünümlerini yan yana sunar. Outlier tespiti için özellikle güçlüdür.
  • Temel Özellikler: Outlier tespiti, kümeleme analizi, tablo görünümü, scatter plot, HuggingFace datasets entegrasyonu
  • Avantajlar: Tamamen ücretsiz, HuggingFace datasets ile doğrudan çalışır, otomatik outlier tespiti, çoklu görünüm (scatter + tablo + histogram aynı anda), pandas DataFrame uyumlu.
  • Dezavantajlar: Büyük veri setlerinde bellek sorunu yaşanabilir, öğrenme eğrisi mevcuttur.
  • Kullanım Senaryosu: Veri kalitesi kontrolü, yanlış etiketlenmiş örnekleri bulma, küme sınırlarındaki noise'u tespit etme. MTEB benchmark oluşturma sürecinde annotation kalitesini kontrol etmek için ideal.
import pandas as pd
from renumics import spotlight

df = pd.DataFrame({
    "text": texts,
    "label": labels,
    "embedding": list(embeddings),
})

spotlight.show(df, embed=["embedding"])

2. VectorDB Dahili Görselleştirme Araçları

2.1 Qdrant Dashboard

  • Tür: VectorDB dahili (Qdrant ile birlikte gelir)
  • Açıklama: Qdrant vektör veritabanının dahili web arayüzüdür. Koleksiyon yönetimi, vektör arama ve sonuç görselleştirme sunar. Graph view ile vektörler arası ilişkileri görüntüler.
  • Temel Özellikler: Web UI, koleksiyon yönetimi, vektör arama, graph view
  • Avantajlar: Kurulum gerektirmez (Qdrant ile birlikte gelir), gerçek zamanlı çalışır, koleksiyon istatistikleri sunar.
  • Dezavantajlar: Gelişmiş görselleştirme (scatter plot, kümeleme) yoktur, yalnızca Qdrant ile çalışır.
  • Kullanım Senaryosu: Qdrant kullanıcıları için temel koleksiyon yönetimi ve arama testi.
# Docker ile Qdrant başlatma
# docker run -p 6333:6333 qdrant/qdrant
# Dashboard: http://localhost:6333/dashboard

from qdrant_client import QdrantClient
client = QdrantClient("localhost", port=6333)

client.create_collection("turkish_docs", vectors_config={
    "size": 1024, "distance": "Cosine"
})

2.2 Weaviate Console

  • Tür: VectorDB dahili (Weaviate ile birlikte gelir)
  • Açıklama: Weaviate vektör veritabanının GraphQL tabanlı web konsoludur. Şema yönetimi, GraphQL sorgu çalıştırma ve vektör arama sonuçlarını görüntüleme imkanı sunar.
  • Temel Özellikler: GraphQL Playground entegrasyonu, şema görselleştirme, nesne keşfi
  • Avantajlar: GraphQL ile güçlü sorgu yeteneği, şema görselleştirme, nesne keşfi.
  • Dezavantajlar: Scatter plot veya kümeleme görseli yoktur, yalnızca Weaviate ile çalışır.
  • Kullanım Senaryosu: Weaviate kullanıcıları için şema tasarımı ve semantik arama testi.
{
  Get {
    TurkishDocument(
      nearText: { concepts: ["yapay zeka"] }
      limit: 10
    ) {
      title
      content
      _additional { distance certainty }
    }
  }
}

2.3 ChromaDB Visualizer

  • Tür: Açık kaynak (topluluk destekli)
  • Açıklama: ChromaDB için üçüncü parti görselleştirme aracıdır. Koleksiyon keşfi ve UMAP ile 2D projeksiyon sunar.
  • Temel Özellikler: UMAP projeksiyonu, koleksiyon keşfi, lokal çalışma
  • Avantajlar: Ücretsiz, ChromaDB ile doğrudan entegre, hafif.
  • Dezavantajlar: Olgunlaşmamış ekosistem, sınırlı özellik seti.
  • Kullanım Senaryosu: ChromaDB kullanıcıları için hızlı önizleme ve temel görselleştirme.
import chromadb

client = chromadb.Client()
collection = client.get_collection("turkish_docs")
results = collection.peek()

3. Tam Kapsamlı BI-Tarzı Platformlar

3.1 Activeloop Deep Lake

  • Tür: Ticari (Free tier mevcut)
  • Açıklama: Vektör veritabanı ve veri gölü hibrit yapısıdır. Embedding'leri versiyonlar, görselleştirir ve LangChain/LlamaIndex ile entegre eder. Dahili visualizer modülü 2D/3D scatter plot sunar.
  • Temel Özellikler: Git-benzeri versiyonlama, görselleştirme, LangChain entegrasyonu, S3/GCS depolama
  • Avantajlar: Veri versiyonlama (A/B testi için: eski model vs yeni model embedding karşılaştırması), büyük veri desteği, görselleştirme dahili, bulut depolama entegrasyonu.
  • Dezavantajlar: Ücretsiz tier sınırlıdır, öğrenme eğrisi yüksektir.
  • Kullanım Senaryosu: Uzun vadeli embedding yönetimi, farklı modellerin embedding kalitesini karşılaştırma, veri versiyonlama gerektiren projeler.
import deeplake

ds = deeplake.dataset("hub://user/turkish-embeddings")
ds.create_tensor("text", htype="text")
ds.create_tensor("embedding", htype="embedding")
ds.create_tensor("label", htype="class_label")

ds.append({"text": texts, "embedding": embeddings, "label": labels})
ds.visualize()  # Web UI açılır

3.2 Arize Phoenix

  • Tür: Açık kaynak
  • Açıklama: Arize AI'ın açık kaynak LLM observability aracıdır. Embedding drift tespiti, kümeleme analizi, performans izleme ve UMAP görselleştirme sunar. Üretim ortamında embedding kalitesini izlemek için tasarlanmıştır.
  • Temel Özellikler: Embedding drift algılama, UMAP interaktif görselleştirme, LangChain/LlamaIndex trace desteği, otomatik kümeleme, performans metrikleri
  • Avantajlar: Tamamen ücretsiz ve açık kaynak, embedding drift algılama (zaman içinde embedding kalitesi değişiyor mu), UMAP interaktif, LangChain/LlamaIndex traces desteği, üretim ortamı izleme.
  • Dezavantajlar: Öğrenme eğrisi mevcuttur, tam özellik seti için Arize bulut planı gerekebilir.
  • Kullanım Senaryosu: En kapsamlı ücretsiz seçenek. Üretimde embedding kalitesini izleme, drift tespiti, kümeleme analizi. Bir nevi "vektör BI" aracı.
import phoenix as px

session = px.launch_app()

ds = px.Inferences(
    dataframe=df,
    schema=px.Schema(
        feature_column_names=["text"],
        embedding_column_names={"embedding": px.EmbeddingColumnNames(
            vector_column_name="embedding",
            raw_data_column_name="text"
        )}
    )
)

# Dashboard: http://localhost:6006

4. Python Kütüphaneleri (Kod Tabanlı)

4.1 UMAP + Matplotlib/Plotly

  • Tür: Açık kaynak kütüphane
  • Açıklama: En temel ve esnek yöntemdir. UMAP (veya t-SNE) ile yüksek boyutlu vektörleri 2D'ye indirger, Plotly veya Matplotlib ile görselleştirir. Tam kontrol kullanıcıdadır.
  • Temel Özellikler: UMAP/t-SNE/PCA boyut indirgeme, Plotly interaktif grafikler, Matplotlib statik grafikler, Jupyter notebook uyumu
  • Avantajlar: Tamamen özelleştirilebilir, hiçbir harici servise bağımlılık yoktur, Jupyter notebook'ta doğrudan çalışır, her vektör kaynağıyla uyumludur.
  • Dezavantajlar: Her şeyi elle yapmanız gerekir, 100K+ vektörde performans düşer, hazır dashboard yoktur.
  • Kullanım Senaryosu: Hızlı prototipleme, Jupyter notebook'ta keşifsel analiz, özel görselleştirme gereksinimleri.
import umap
import plotly.express as px
import numpy as np

reducer = umap.UMAP(n_components=2, metric="cosine", random_state=42)
coords = reducer.fit_transform(embeddings)

fig = px.scatter(
    x=coords[:, 0], y=coords[:, 1],
    color=labels,
    hover_data={"text": texts},
    title="Embedding Kümeleri"
)
fig.show()

4.2 Sentence-Transformers Dahili Görselleştirme

  • Tür: Açık kaynak kütüphane
  • Açıklama: Sentence-transformers kütüphanesinin dahili görselleştirme fonksiyonlarıdır. Cosine similarity matrisi ve PCA projeksiyonu ile temel grafikleri doğrudan model çıktısıyla oluşturur.
  • Temel Özellikler: Cosine similarity heatmap, PCA projeksiyonu, model ile doğrudan entegrasyon
  • Avantajlar: Model ile doğrudan entegre çalışır, ek kurulum gerektirmez, hızlıdır.
  • Dezavantajlar: Gelişmiş görselleştirme yoktur, yalnızca temel grafikler sunar.
  • Kullanım Senaryosu: Model değerlendirme, embedding kalitesi kontrolü, cümle çiftleri arası benzerlik analizi.
from sentence_transformers import SentenceTransformer, util
import seaborn as sns
import matplotlib.pyplot as plt

model = SentenceTransformer("BAAI/bge-m3")
embs = model.encode(texts)

sim_matrix = util.cos_sim(embs, embs).numpy()
sns.heatmap(sim_matrix, xticklabels=texts, yticklabels=texts)
plt.title("Cosine Similarity Matrisi")
plt.show()

4.3 Weights & Biases (W&B)

  • Tür: Ticari (Ücretsiz bireysel plan mevcut)
  • Açıklama: ML deney takip aracıdır ve güçlü bir embedding görselleştirici içerir. Eğitim sürecinde embedding'lerin nasıl evrildiğini epoch bazında görebilirsiniz.
  • Temel Özellikler: 3D interaktif görselleştirme, epoch bazlı embedding evrimi, ekip paylaşım, metadata filtreleme
  • Avantajlar: 3D interaktif, eğitim sürecini adım adım izleme, ekip içi paylaşım, ücretsiz bireysel plan mevcuttur.
  • Dezavantajlar: Tam entegrasyon için kod değişikliği gerekir, ağır bir platformdur.
  • Kullanım Senaryosu: Model eğitimi sürecinde embedding kalitesini izleme, farklı modellerin A/B testi, ekip içi sonuç paylaşımı.
import wandb

wandb.init(project="turkish-embeddings")

table = wandb.Table(columns=["text", "label", "embedding"])
for t, l, e in zip(texts, labels, embeddings):
    table.add_data(t, l, wandb.Embedding(e))

wandb.log({"embeddings": table})

5. Karşılaştırma Özeti

Araç Tür Maliyet Scatter Plot Kümeleme Drift Ölçek Kurulum
Nomic Atlas Platform Freemium UMAP 2D Otomatik Yok 10M+ Kolay
TensorBoard Projector Kütüphane Ücretsiz PCA/t-SNE/UMAP 3D Manuel Yok ~100K Orta
Renumics Spotlight Kütüphane Ücretsiz UMAP 2D Otomatik Yok ~500K Kolay
Qdrant Dashboard VectorDB Ücretsiz Yok Yok Yok Sınırsız Dahili
Weaviate Console VectorDB Ücretsiz Yok Yok Yok Sınırsız Dahili
ChromaDB Visualizer VectorDB Ücretsiz UMAP 2D Yok Yok ~100K Kolay
Deep Lake Platform Freemium 2D/3D Manuel Versiyonlama Sınırsız Orta
Arize Phoenix Platform Ücretsiz UMAP 2D Otomatik Evet ~1M Orta
UMAP + Plotly Kütüphane Ücretsiz UMAP/t-SNE 2D Manuel Manuel ~100K Kolay
Sentence-Transformers Kütüphane Ücretsiz PCA 2D Yok Yok ~10K Kolay
W&B Platform Freemium 3D Manuel Epoch bazlı ~500K Orta

6. Akademik Türkçe Veri Çalışmaları İçin Önerilen Yaklaşım

Akademik Türkçe verilerle embedding kalitesini değerlendirmek için üç katmanlı bir yaklaşım önerilmektedir:

Katman 1 — Hızlı keşifsel analiz: UMAP + Plotly kombinasyonu ile Jupyter notebook'ta doğrudan çalışılabilir. Herhangi bir harici servise bağımlılık yoktur. Embedding'ler 2D'ye indirgenip renklendirildiğinde kümelerin ne kadar ayrıştığı, noise'un nerede yoğunlaştığı ve hangi kategorilerin birbirine karıştığı anında görülebilir.

Katman 2 — Kapsamlı analiz ve izleme: Arize Phoenix, en güçlü ücretsiz seçenek olarak embedding drift tespiti, otomatik kümeleme, outlier tespiti ve performans metrikleri sunar. Üretim ortamında embedding kalitesinin zaman içinde nasıl değiştiğini izlemek için kullanılabilir.

Katman 3 — Veri kalitesi kontrolü: Renumics Spotlight, yanlış etiketlenmiş örnekleri bulmak, küme sınırlarındaki belirsiz noktaları tespit etmek ve veri setini temizlemek için özellikle değerlidir. MTEB benchmark oluşturma sürecinde annotation kalitesini kontrol etmek için ideal bir araçtır.

7. Önemli Not: Boyut İndirgemenin Sınırları

VectorDB görselleştirme araçlarında her zaman bir boyut indirgeme adımı (UMAP, t-SNE, PCA) bulunur. Bu adım, 768 veya 1024 boyutlu vektörleri 2 veya 3 boyuta indirger. Bu süreçte kaçınılmaz olarak bilgi kaybı yaşanır. Görüntülenen 2D harita, gerçek vektör uzayının bir yaklaşımıdır; tamamı değildir. Bu sınırlama göz önünde bulundurularak yorumlanmalıdır.

Bu alanda henüz Tableau veya Power BI kadar olgun bir "tek araç her şeyi çözer" çözümü bulunmamaktadır. Alan hızla gelişmekte olup, önümüzdeki yıllarda daha entegre çözümlerin ortaya çıkması beklenmektedir.