W lutym opublikowane zostały dwie nowe publikacje:
- Detecting careless response patterns in Likert scales using supervised machine learning and Monte Carlo simulations (Artur Pokropek),
- Do You Agree? Do You Strongly Agree? The Effect of the Number of Response Categories on Response Processes and Verification of Substantive Hypotheses (Artur Pokropek, Tomasz Żółtak, Marek Muszyński).
Pierwsza z publikacji ukazała się w czasopiśmie Current Psychology, a jej tematyką jest wykrywanie respondentów udzielających nieuważnych odpowiedzi w danych samoopisowych. Autorzy analizują skuteczność podejścia opartego na danych symulowanych oraz algorytmach uczenia maszynowego – głębokich sieciach neuronowych (DNN) i maszynach wektorów nośnych (SVM) – w identyfikacji złożonych wzorców nieuważnego odpowiadania na poziomie osoby. Badanie obejmuje pięć typów wzorców: straight-lining, diagonal bouncing, odpowiadanie środkowe, naprzemienne skrajności oraz odpowiadanie losowe. Wyniki symulacji wskazują na wysoką trafność klasyfikacji obu modeli, przy czym najłatwiejszy do wykrycia okazał się wzorzec naprzemiennych skrajności, a najtrudniejszy – wzorzec losowy; najlepsze rezultaty osiągnęły modele SVM z jądrem RBF. Zastosowanie metody do danych empirycznych, zebranych w warunkach uważnego i eksperymentalnie indukowanego nieuważnego odpowiadania, wykazało istotnie częstsze występowanie diagonal bouncing, odpowiadania środkowego oraz wzorców losowych wśród respondentów nieuważnych, podczas gdy różnice dla straight-lining i naprzemiennych skrajności nie były statystycznie istotne.
Drugi z artykułów opublikowany został w International Journal of Public Opinion Research i traktuje o tym, w jaki sposób liczba oraz sposób etykietowania kategorii odpowiedzi w skalach ankietowych wpływają na zachowania respondentów, właściwości psychometryczne narzędzi oraz wnioski merytoryczne. W internetowym eksperymencie ankietowym (ponad 2 800 uczestników) respondentów losowo przypisano do wersji skal różniących się liczbą opcji odpowiedzi i formatem etykiet. Zaangażowanie, tendencje do stylów odpowiadania, rzetelność oraz trafność zbieżną oceniano z wykorzystaniem danych procesowych (np. czasy reakcji, ruchy kursora), samoopisów i modelowania psychometrycznego. Wyniki wskazują, że większa liczba kategorii odpowiedzi wiąże się z wyższą rzetelnością skal, choć efekty są umiarkowane i zależne od konkretnej skali. Skale z większą liczbą opcji wymagały dłuższego czasu wypełniania i generowały bardziej złożone wzorce zachowań, jednak liczba kategorii odpowiedzi nie wpływała na wnioski merytoryczne w prostych modelach regresji.
Oba artykuły stanowią część cyklu publikacyjnego z projektu NCN Understanding response styles in self-report data: consequences, remedies and sources (2019/33/B/HS6/00937). Osoby zainteresowane uzyskaniem pełnych wersji artykułów proszone są o kontakt z autorami.
