Unveiling the impact of acute stress on reinforcement learning: a computational and neuroimaging approach

Tese de Doutoramento em Psicologia Básica
Reinforcement learning is an adaptive process through which individuals learn to make choices
that maximise rewards and minimise punishments. This type of learning is driven by prediction errors,
which are signalled by phasic dopamine responses when a choice results in a rewarding or punishing
outcome different from the expected. Although acute stress is pervasive in modern everyday life and is
thought to affect reinforcement learning and dopaminergic functioning, notably, the computational and
neural mechanisms by which acute stress affects reinforcement learning remain poorly understood.
This thesis set out to investigate how acute stress impacts the computational and neural mechanisms
of reinforcement learning, and how individual differences modulate such impact.
This thesis endeavoured to answer three outstanding research questions: 1) How does acute
stress impact reinforcement learning at the behavioural and computational levels? [Chapter 2] 2) Does
acute stress affect neural signalling of prediction errors during reinforcement learning? [Chapter 3] 3)
Do individual differences in psychopathic traits modulate the impact of acute stress on reinforcement
learning [Chapters 4] and on neural signalling of prediction errors? [Chapter 5].
The findings of this thesis suggest that 1) acute stress impairs behavioural performance
towards obtaining rewards, but not towards avoiding punishments, and this performance impairment is
accompanied by diminished learning rate for positive prediction errors; 2) acute stress blunts signalling
of prediction errors, preferentially positive prediction errors, in the dorsal striatum during reinforcement
learning; 3) individual differences in psychopathic traits modulate the impact of acute stress on
behavioural performance towards rewards and signalling of prediction errors in the dorsal striatum
during reinforcement learning. These findings are consistent with a neurobiological framework of stressinduced
dopamine disruptions and contribute to a more complete and coherent understanding of the
impact of acute stress on reinforcement learning.
A aprendizagem por reforço é um processo adaptativo através do qual os indivíduos aprendem
a fazer escolhas que levam a recompensas e a evitar escolhas que levam a punições. Este tipo de
aprendizagem ocorre através erros de predição, que são sinalizados por respostas dopaminérgicas
fásicas quando uma escolha resulta numa recompensa ou punição diferente do esperado. Apesar
do stress ser comum no dia-a-dia, e de se pensar que o stress agudo afeta a aprendizagem por reforço
e o funcionamento dopaminérgico, ainda pouco se sabe sobre os mecanismos computacionais e
neurais através dos quais o stress agudo interfere com a aprendizagem por reforço. Esta tese teve
como objetivo investigar o impacto do stress agudo nos mecanismos computacionais e neurais da
aprendizagem por reforço, e como é que diferenças individuais podem modular esse impacto.
Esta tese procurou responder a três perguntas de investigação: 1) Como é que o stress agudo
afeta a aprendizagem por reforço ao nível comportamental e computacional? [Capítulo 2] 2) O stress
agudo afeta a sinalização neural de erros de predição durante a aprendizagem por reforço? [Capítulo
3]; 3) Diferenças individuais em traços de psicopatia modulam o impacto do stress agudo na
aprendizagem por reforço [Capítulo 4] e na sinalização neural de erros de predição? [Capítulo 5].
Os resultados desta tese sugerem que 1) o stress agudo piora o desempenho na escolha de
recompensas, mas não de punições, e reduz a taxa de aprendizagem a partir de erros de predição
positivos; 2) o stress agudo reduz a sinalização de erros de predição, preferencialmente erros de
predição positivos, no estriado dorsal durante a aprendizagem por reforço; 3) diferenças individuais em
traços de psicopatia modulam o impacto do stress agudo desempenho na escolha de recompensas e
na sinalização de erros de predição no estriado dorsal durante a aprendizagem por reforço. Estes
resultados são consistentes com a nossa hipótese neurobiológica de disrupções dopaminérgicas
induzidas por stress agudo e contribuem para uma compreensão mais completa e coerente do impacto
do stress agudo na aprendizagem por reforço.
Fundação para a Ciência e Tecnologia for their doctoral grant award (PD/BD/128467/2017), co-financed by the European Social Fund through the Human Capital Operational Program, North region.