As trials go by: Effects of 2-AFC item repetition on statistical learning performance

One of the most popular tasks used to test statistical learning (SL) involves asking participants to identify which of two stimuli, a triplet presented during the previous familiarization phase versus a new sequence made of the same stimuli never presented together, is more familiar based on the stream presented before, that is, to perform a two-alternative forced-choice (2-AFC) task. Despite the widespread use of this task, it has come under increasing criticism in current cognitive research due to psychometric flaws. A common practice to improve SL measurement involves increasing the number of 2-AFC trials by presenting the same items (triplets and foils) several times during the test phase. This work aimed to directly analyze the effect that this practice entails by examining how the proportion of correct discriminations of three-syllable nonsense words presented during the familiarization phase of an auditory triplet embedded task changed as the number of 2-AFC item repetitions increased. We also tested whether this effect was modulated by the predictability of the "words" embedded in the auditory streams (high and low) and the conditions under which they were presented to participants (implicit and explicit). Results showed that 2-AFC item repetitions had indeed detrimental effects on SL measurement, as indexed by a significant decrease in the proportion of correct discriminations as the number of items repetitions increased, both in the 2-AFC task performed under implicit and explicit conditions, although, in the first case, only for low-predictable "words." These findings recommend caution when using this strategy to improve SL measurement.Public Significance Statement Despite the widespread use of the 2-AFC task to test SL, it has come under increasing criticism. A common practice to improve SL measurement involves increasing the number of 2-AFC trials by repeating the same items during the test phase. Here, we demonstrated this practice to introduce other sources of "noise" into the SL measurement, hence
L’une des tâches les plus populaires utilisées pour tester l’appren tissage statistique (SL) consiste à demander aux participants d’identifier lequel de deux stimuli, un triplet présenté lors de la phase de familiarisation précédente par opposition à une nouvelle séquence composée des mêmes stimuli jamais présentés ensemble, est plus familier sur la base du flux présenté auparavant, c’est-à-dire pour effectuer une tâche de choix forcé à deux alternatives (2-AFC). Malgré l’utilisation répandue de cette tâche, cette dernière a fait l’objet de critiques croissantes dans la recherche cognitive actuelle en raison de ses failles psychométriques. Une pratique courante pour améliorer la mesure de l’apprentissage statistique consiste à aug menter le nombre d’essais 2-AFC en présentant plusieurs fois les mêmes items (triplets et perturbateurs) pendant la phase de test. Ce travail visait à analyser directement l’effet que cette pratique en traîne en examinant comment la proportion de discriminations correctes de mots absurdes de trois syllabes présentés pendant la phase de familiarisation d’une tâche auditive de triplets enchâssés changeait lorsque le nombre de répétitions d’items 2-AFC augmen tait. Nous avons également testé si cet effet était modulé par la prévisibilité des « mots » intégrés dans les flux auditifs (élevée et faible) et les conditions dans lesquelles ils étaient présentés aux participants (implicite et explicite). Les résultats ont montré que les répétitions d’items de 2-AFC avaient effectivement des effets néfastes sur la mesure de l’apprentissage statistique, comme l’in dique une diminution significative de la proportion de discrimina tions correctes au fur et à mesure que le nombre de répétitions d’items augmente, à la fois dans la tâche 2-AFC réalisée dans des conditions implicites et explicites, bien que, dans le premier cas, seulement pour les « mots » de prévisibilité faible. Ces résultats recommandent la prudence dans l’utilisation de cette stratégie pour améliorer la mesure de l’apprentissage statistique.
This study was conducted at the Psychology Research Centre (PSI/01662), University of Minho, and supported by Grant POCI-01-0145-FEDER-028212 from the Portuguese Foundation for Science and Technology and the Portuguese Ministry of Science, Technology, and Higher Education through national funds. This study was cofinanced by Fundo Europeu de Desenvolvimento Regional (FEDER) through COMPETE2020 under the PT2020 Partnership Agreement.