Zapoczątkowana w kwietniu 2024 roku inicjatywa PAN-Metrics – cykl konferencji i seminariów służących prezentacji i dyskusji badań z zakresu pomiaru w naukach społecznych – ma swoją kontynuację.
Obecnie w IFiS PAN odbywają się cykliczne seminaria PAN-Metrics, gdzie zaproszeni goście prezentują wyniki swoich badań.
Do tej pory odbyły się dwa wydarzenia z tego nowego cyklu:
28 listopada 2024 roku dr Maciej Pankiewicz z University of Pennsylvania zaprezentował swoje wystąpienie pt. Innovative Applications of Large Language Models in Research: A Focus on Education.

Streszczenie wystąpienia:
In this presentation, I will explore the transformative role of Large Language Models (LLMs) in educational research. I’ll begin by discussing LLM techniques used in my research, such as prompt engineering, few-shot learning, Retrieval-Augmented Generation (RAG), and embeddings, highlighting how these methods enhance data analysis and interpretation. I’ll introduce examples using diverse data sources—including video recordings, discussion forums, and programming datasets—to demonstrate the flexibility and breadth of LLM applications. Through projects like JeepyTA, I’ll show how LLMs may be used to impact learning processes, enabling personalized learning experiences, and opening new avenues for data-driven educational studies.
Slajdy z tego wystąpienia dostępne są tutaj.
Kolejne seminarium odbyło się 28 stycznia 2025 roku, a gościem był prof. Miklós Sebők z Hungarian Research Network (HUN-REN), który zaprezentował wystąpienie pt. Leveraging Open Large Language Models for Multilingual Policy Topic Classification: The Babel Machine Approach.

Streszczenie wystąpienia:
The article presents an open-source and freely available natural language processing system for comparative policy studies. The CAP Babel Machine allows for the automated classification of input files based on the 21 major policy topics of the codebook of the Comparative Agendas Project (CAP). By using multilingual XLM-RoBERTa large language models, the pipeline can produce state-of-the-art level outputs for selected pairs of languages and domains (such as media or parliamentary speech). For 24 cases out of 41, the weighted macro F1 of our language-domain models surpassed 0.75 (and, for 6 language-domain pairs, 0.90). Besides macro F1, for most major topic categories, the distribution of micro F1 scores is also centered around 0.75. These results show that the CAP Babel machine is a viable alternative for human coding in terms of validity at less cost and higher reliability. The proposed research design also has significant possibilities for scaling in terms of leveraging new models, covering new languages, and adding new datasets for fine-tuning. Based on our tests on manifesto and sentiment data, we argue that model-pipeline frameworks such as the Babel Machine can, over time, potentially replace double-blind human coding for a multitude of comparative classification problems.
Slajdy z tego wystąpienia są dostępne tutaj.
Kolejne seminarium z cyklu PAN-Metrics planowane jest na marzec 2025.