SciRIFF — Bilimsel Literatür İçin Talimat İzleme Kaynağı

Kaynak: SciRIFF (Allen AI / Yale). Veri ve kod: Hugging Face — allenai/SciRIFF · GitHub — allenai/SciRIFF · Lisans: ODC-By
Üst sayfa: 35_Kaynaklar/README.md

SciRIFF (Scientific Resource for Instruction-Following and Finetuning), bilimsel literatür görevlerinde dil modellerini talimat izleyecek şekilde eğitmek ve ölçmek için bir kaynaktır. Genel talimat veri setleri bu görevlerde sıklıkla yetersiz kalır; SciRIFF uzun doküman girdisi, yapılandırılmış JSON çıktısı ve kanıt/atıf gerektiren görevleri merkeze alır. SciRIFF-Eval, eğitimden tamamen çıkarılmış 9 görevle genelleme ölçer.

Tamamlayıcı kaynaklar: SciRepEval (embedding benchmark), SPECTER2 (bilimsel doküman embedding).

---

SciRIFF — Tüm Görevler ve Veri Setleri

Toplam: 54 görev, 137K örnek, 5 görev kategorisi, 5 bilimsel alan

Genel İstatistikler

Metrik	Değer
Toplam örnek	137.000
Eğitim örneği	70.500
Değerlendirme örneği (SciRIFF-Eval)	4.100
Görev sayısı	54
Structured JSON output gerektiren	34 (%63)
Ortalama input token uzunluğu	1.242,9
Ortalama output token uzunluğu	139,6

Görev Kategorisi Dağılımı

Kategori	Görev Sayısı	Örnek Sayısı	Oran
Information Extraction (IE)	25	43.600	%46,3
Summarization	11	47.700	%20,4
Question Answering (QA)	11	16.600	%20,4
Classification	4	22.000	%7,4
Entailment (Claim Verification)	3	6.800	%5,6

Alan Dağılımı

Alan	Görev Sayısı	Örnek Sayısı	Oran
Biomedicine	27	62.600	%45,0
AI	16	51.800	%26,7
Clinical Medicine	10	28.100	%16,7
Materials Science	2	9.100	%5,0
Chemistry	3	2.800	%3,3
Miscellaneous	2	11.700	%3,3

---

1. Information Extraction — Named Entity Recognition (NER)

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
1	biored_ner	BioRED	Biomedicine	Biyomedikal makale abstract'ı	6 varlık türü: Chemical, Variant, Gene, CellLine, Disease, Species	—
2	scierc_ner	SciERC	AI	Bilgisayar bilimi abstract'ı	6 varlık türü: Task, Method, Metric, Material, OtherScientificTerm, Generic	—
3	anat_em_ner	AnatEM	Biomedicine	Biyomedikal metin	Anatomik varlıklar	CC BY
4	cdr_ner	BioCreative V CDR	Biomedicine	Biyomedikal abstract	Chemical ve Disease varlıkları	—
5	chemdner_ner	CHEMDNER	Chemistry	Kimya makalesi abstract'ı	Kimyasal varlıklar	—
6	chemprot_ner	ChemProt	Chemistry	Kimya makalesi abstract'ı	Chemical ve Protein varlıkları	—
7	chia_ner	Chia	Clinical	Klinik çalışma uygunluk kriterleri	Tıbbi varlıklar	CC BY
8	craftchem_ner	CRAFT-Chem	Biomedicine	Biyomedikal tam metin	Kimyasal varlıklar	—
9	ddi_ner	DDI	Biomedicine	İlaç etkileşimi metinleri	İlaç varlıkları	CC BY
10	genia_ner	JNLPBA	Biomedicine	Biyomedikal abstract	Gen/protein varlıkları	CC BY
11	gnormplus_ner	GNormPlus	Biomedicine	Biyomedikal metin	Gen varlıkları	—
12	linnaeus_ner	LINNAEUS	Biomedicine	Biyomedikal metin	Tür (species) isimleri	CC BY
13	medmentions_ner	MedMentions	Biomedicine	Biyomedikal abstract	UMLS konseptleri	CC 0
14	ncbi_ner	NCBI Disease	Biomedicine	Biyomedikal abstract	Hastalık varlıkları	CC 0
15	nlmchem_ner	NLM-Chem	Chemistry	Biyomedikal tam metin	Kimyasal varlıklar	CC 0
16	nlmgene_ner	NLM-Gene	Biomedicine	Biyomedikal metin	Gen varlıkları	CC 0
17	pico_ner	EBM-NLP PICO	Clinical	Klinik çalışma abstract'ı	Population, Intervention, Comparator, Outcome	—

2. Information Extraction — Relation Extraction (RE)

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
18	chemprot_re	ChemProt	Chemistry	Kimya abstract'ı	Chemical-Protein ilişkileri	—
19	scierc_re	SciERC	AI	CS abstract'ı	Varlıklar arası ilişkiler	—
20	drug_combo_extraction_re	Drug Combinations	Clinical	İlaç metni	İlaç kombinasyon ilişkileri	—
21	evidence_inference	Evidence Inference	Clinical	Klinik çalışma abstract'ı	ICO tuple'ları (Intervention, Comparator, Outcome) + etki + kanıt	MIT

3. Information Extraction — Table Extraction (TE)

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
22	discomat_te	DISCoMaT	Materials Sci.	LaTeX tablo + bağlam	Tablo hücreleri JSON formatında	CC BY-SA
23	chemtables_te	ChemTables	Chemistry	Kimya makale tablosu	Tablo hücreleri JSON formatında	GPL 3.0
24	mltables_te	AxCell	AI	ML makale sonuç tablosu	Tablo hücreleri JSON formatında	Apache 2.0

4. Information Extraction — Event Extraction

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
25	annotated_materials_syntheses_events	MatSci Text Corpus	Materials Sci.	Malzeme bilimi makale metni	Sentez olay ve parametreleri	MIT

5. Summarization — Single Document

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
26	mup_single_document_summarization	MUP	AI	ML makalesi tam metin	Hakem değerlendirmesi tarzında kısa özet	Apache 2.0
27	chemsum_single_document_summarization	ChemSum	Chemistry	Kimya makalesi tam metin	Makale özeti	—
28	scientific_lay_summarisation_elife	Lay Summarisation (eLife)	Biomedicine	Biyomedikal makale tam metin	Halk diline çevrilmiş özet	—
29	scientific_lay_summarisation_plos	Lay Summarisation (PLOS)	Biomedicine	Biyomedikal makale tam metin	Halk diline çevrilmiş özet	—
30	scientific_papers_summarization_arxiv	Scientific Papers	AI	ArXiv makalesi tam metin	Makale abstract'ı	—
31	scientific_papers_summarization_pubmed	Scientific Papers	Biomedicine	PubMed makalesi tam metin	Makale abstract'ı	—
32	scitldr_aic	SciTLDR	AI	Makale abstract + giriş	Tek cümlelik TL;DR özet	Apache 2.0

6. Summarization — Multi Document

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
33	mslr2022_cochrane_multidoc_summarization	Cochrane	Clinical	Birden fazla klinik çalışma abstract'ı	Cochrane sistematik derleme özeti	Apache 2.0
34	mslr2022_ms2_multidoc_summarization	MS²	Clinical	Birden fazla medikal çalışma	Çoklu çalışma özeti	Apache 2.0
35	multixscience_multidoc_summarization	Multi-XScience	AI	Birden fazla makale abstract'ı	İlgili çalışmalar (related work) bölümü	MIT
36	scireviewgen_multidoc_summarization	SciReviewGen	AI	Birden fazla makale	Literatür taraması metni	CC BY-NC

7. Question Answering — Yes/No

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
37	bioasq_yesno_qa	BioASQ	Biomedicine	Biyomedikal alıntılar + evet/hayır sorusu	"yes" veya "no"	CC BY
38	pubmedqa_qa	PubMedQA	Biomedicine	PubMed abstract + soru	"yes", "no", veya "maybe"	MIT

8. Question Answering — Extractive / Abstractive

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
39	bioasq_factoid_qa	BioASQ	Biomedicine	Biyomedikal alıntılar + factoid soru	Kısa cevap	CC BY
40	bioasq_list_qa	BioASQ	Biomedicine	Biyomedikal alıntılar + liste sorusu	JSON cevap listesi	CC BY
41	bioasq_general_qa	BioASQ	Biomedicine	Biyomedikal alıntılar + genel soru	Açıklayıcı paragraf	CC BY
42	qasper_abstractive_qa	Qasper	AI	NLP makalesi tam metin + soru	Cevap + kanıt paragrafları (JSON)	CC BY
43	qasper_extractive_qa	Qasper	AI	NLP makalesi tam metin + soru	Alıntılanmış cevap + kanıt (JSON)	CC BY
44	qasa_abstractive_qa	QASA	AI	Bilimsel makale bölümleri + soru	Detaylı cevap	MIT
45	covid_deepset_qa	COVID-QA	Clinical	COVID-19 makale alıntıları + soru	Alıntılanmış cevap	Apache 2.0

9. Question Answering — Multiple Choice

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
46	data_reco_mcq_mc	DataFinder	AI	Araştırma sorusu + veri seti açıklamaları	Uygun veri setleri (JSON liste)	Apache 2.0
47	data_reco_mcq_sc	DataFinder	AI	Araştırma sorusu + veri seti açıklamaları	Tek uygun veri seti	Apache 2.0

10. Classification

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
48	multicite_intent_classification	MultiCite	AI	Atıf cümlesi (citation context)	Atıf niyetleri: Background, Motivation, Uses, Extends, Similarities, Differences, FutureWork	CC BY-NC
49	acl_arc_intent_classification	ACL ARC	AI	Atıf cümlesi	Atıf niyeti sınıfı	—
50	scicite_classification	SciCite	AI	Atıf cümlesi	Atıf niyeti sınıfı	—
51	bc7_litcovid_topic_classification	LitCOVID	Biomedicine	COVID-19 makale abstract'ı	Konu etiketleri (çoklu etiket)	—

11. Entailment (Claim Verification / Fact Checking)

#	Görev Adı	Kaynak Veri Seti	Alan	Input	Output	Lisans
52	scifact_entailment	SciFact	Biomedicine	Bilimsel iddia + abstract	Verdict (SUPPORT/CONTRADICT/NEI) + kanıt cümleleri (JSON)	CC BY-NC
53	covidfact_entailment	CovidFact	Clinical	COVID-19 iddiası + abstract	Verdict + kanıt cümleleri	—
54	healthver_entailment	HealthVer	Clinical	Halk sağlığı iddiası + abstract	Verdict (SUPPORT/CONTRADICT/NEI) + kanıt cümleleri (JSON)	—

---

SciRIFF-Eval — Değerlendirme Görevleri (9 Held-Out Görev)

Bu görevler eğitimden tamamen çıkarılmış, out-of-distribution test için kullanılmıştır:

#	Görev	Tür	Input	Output	Metrik
1	BioASQ List QA	QA	Soru + biyomedikal alıntılar	Cevap varlıkları listesi	Exact match F1
2	BioRED	IE (NER)	Biyomedikal abstract	6 varlık türü (JSON)	Exact match F1
3	DiSCoMaT	IE (Table)	LaTeX tablo alıntısı	Tablo hücreleri (JSON lines)	BLEU score
4	Evidence Inference	IE (Rel)	Klinik çalışma abstract'ı	ICO tuple'ları + etki + kanıt (JSON)	String overlap F1
5	MultiCite	Classification	Atıf bağlamı	Atıf niyetleri (JSON liste)	Exact match F1
6	MuP	Summarization	ML makalesi tam metin	Hakem tarzı kısa özet	LLM judge similarity (1-5)
7	Qasper	QA	NLP makalesi + soru	Cevap + kanıt (JSON)	LLM judge similarity + Token F1
8	SciERC	IE (Rel)	CS abstract'ı	6 varlık türü (JSON)	Exact match F1
9	SciFact	Entailment	İddia + abstract	Verdict + kanıt cümleleri (JSON)	Label F1 + Token F1

---

Şablon Mühendisliği (Özet)

Yazarların önemli bulgusu: talimat şablonunun kalitesi performansı doğrudan etkiler. Üç yaklaşım raporlanmıştır:

Şablon Türü	Llama-3.1-8B	Qwen-2.5-1.5B
Uzman yazımı	62.8	57.2
Basit (FlanV2-tarzı)	42.2	33.1
Sentetik (GPT-4o)	28.0	19.1

GPT-4o ile üretilen sentetik şablonlar, bazı karmaşık JSON çıktılı görevlerde formatı doğru tarif edemediği için sıfıra yakın performans üretebilmiştir.

---

ULAKBIM Bağlamında Notlar

• SciRIFF, metadata extraction ve editoryel yardım hattındaki JSON şema + kanıt/atıf gereksinimleri için güçlü bir görev ve şablon referansıdır.
• İlgili iç üretim çalışması: 30_Deneyler/05_Qwen-Metadata-Extraction.md, Qwen-Detaylar/Rapor-v1.md.