dc.contributor.author
Tonn, Jonas
dc.date.accessioned
2018-06-07T18:22:09Z
dc.date.available
2018-03-03T09:19:11.588Z
dc.identifier.uri
https://refubium.fu-berlin.de/handle/fub188/4946
dc.identifier.uri
http://dx.doi.org/10.17169/refubium-9145
dc.description.abstract
Reinforcement learning has a fundamental impact on motivationally guided
behavior and decision-making by allowing one to adjust behavior on the basis
of reward and punishment. Anhedonia, as one of the main symptoms of major
depressive disorder (MDD), is defined as the reduced ability to experience
pleasure from previously enjoyable events. It is known to be accompanied by
alterations in reinforcement learning and different neural recruitment
patterns for learning processes. Yet, previous studies on this topic are very
inconsistent and do not take into account the effect of psychotropic
medication. Computational modelling can serve as a methodological approach to
investigate dysfunctional learning by depicting prediction error (PE) signals,
which represent the difference between the expected and the actual outcome.
However, while this approach has been used in healthy individuals, it has so
far not been employed in unmedicated patients with MDD. Hence, we implemented
a model-based approach using functional magnetic resonance imaging (fMRI) to
compare the capacity for reinforcement learning in unmedicated patients with
MDD (N=28) and a group of healthy participants (N=30) in an instrumental
learning task. Monetary reinforcement was used to model each participant’s
behavior in a way of choosing stimuli with a rewarding outcome and avoiding
stimuli associated with money loss. A reinforcement learning algorithm was
applied to estimate the learning behavior, which were depicted by trial-by-
trial generated PE signals. The computed PE signals were then correlated with
the observed blood-oxygen-level-dependent (BOLD) responses measured with fMRI.
Statistical analyses focused on the point of stimulus and feedback
presentation, either reflecting the anticipation or the outcome phase of the
experiment. On the behavioral level depressive patients showed the same intact
ability of learning the linkage between the presented stimuli with reward and
punishment like healthy participants. This finding was supported by strong PE-
related activity in the ventral striatum (VS) and the anterior insula for both
groups. However, neural PE encoding in the medial orbitofrontal cortex (mOFC)
was diminished in the MDD group, and reward PE signals in the mOFC and the VS
were negatively correlated with anhedonia severity. Taken together, these
findings demonstrate that reinforcement learning in depressive patients
appears intact at the behavioral level. At the neural level, however, we found
evidence for altered learning mechanisms in the form of reduced PE signaling
in the mOFC, thus providing a link between reinforcement learning mechanism
and anhedonia in patients with MDD.
de
dc.description.abstract
Verstärkungslernen hat einen grundlegenden Einfluss auf motivationsgesteuertes
Verhalten und Entscheidungsfindungen, da es einem ermöglicht sein Verhalten
auf Grundlage von Belohnung und Bestrafung anzupassen. Anhedonie, als ein
Hauptsymptom von Patienten mit unipolarer Depression, ist definiert als die
verminderte Fähigkeit Freude bei Ereignissen zu empfinden, die vorher als
angenehm wahrgenommen wurden. Es ist bekannt, dass dies mit Veränderungen im
Verstärkungslernen und unterschiedlichen neuronalen Aktivierungsmustern bei
Lernprozessen einhergeht. Dennoch sind die Ergebnisse der bereits publizierten
Studien sehr inkonsistent und der Einfluss von psychotropen Medikamenten wird
nicht berücksichtigt. Die mathematische Modellierung von Lernprozessen kann
als methodischer Ansatz dienen, um Dysfunktionen im Lernverhalten durch das
Abbilden von Vorhersagefehlern zu untersuchen, welche den Unterschied zwischen
erwarteten und tatsächlichen Verhaltenskonsequenzen darstellen. Allerdings
wurde dieser Ansatz bisher hauptsächlich bei gesunden Individuen und noch
nicht bei unmedizierten Patienten mit unipolarer Depression gewählt. Daher
haben wir einen modellbasierten Ansatz mit funktioneller
Magnetresonanztomographie (fMRT) implementiert, um 28 unmedizierte, depressive
Patienten und eine Gruppe von 30 gesunden Kontrollprobanden in einer
instrumentellen Lernaufgabe im Hinblick auf ihre Fähigkeit für
Verstärkungslernen zu vergleichen. Monetäre Verstärkung wurde genutzt, um das
Verhalten der Teilnehmer so zu beeinflussen, dass möglichst Stimuli gewählt
wurden, die mit Geldgewinn verbunden waren und Stimuli zu meiden, die zu einem
Geldverlust führten. Ein Lernalgorithmus wurde angewandt, um das Lernverhalten
abzuschätzen, welches durch die für jeden Durchgang neu berechneten
Vorhersagefehler abgebildet wurde. Die ermittelten Vorhersagefehler wurden
dann für eine Korrelation mit den beobachteten fMRT- Signalen verwendet. Die
statistische Analyse konzentrierte sich auf den Zeitpunkt der Präsentation des
Stimulus und des monetären Feedbacks, welche die Antizipation oder die
Belohnungs- bzw. Bestrafungsphase des Experimentes repräsentierten. Auf der
Verhaltensebene zeigten depressive Patienten die gleiche intakte Fähigkeit die
Kopplung zwischen präsentierten Stimuli mit Belohnung und Bestrafung zu
erlernen, wie die gesunde Kontrollgruppe. Diese Beobachtung wird durch die
starke neuronale Aktivität im ventralen Striatum (VS) und der anterioren Insel
in beiden Gruppen bestätigt. Jedoch waren die Vorhersagefehler-Signale im
medialen orbitofrontalen Kortex (mOFC) in der Patientengruppe vermindert und
es zeigte sich eine negative Korrelation von Vorhersagefehler-Signalen im mOFC
und VS mit zunehmenden Schweregrad der Anhedonie. Zusammengefasst zeigen diese
Ergebnisse, dass auf der Verhaltensebene das Verstärkungslernen bei
depressiven Patienten zwar intakt erscheint, auf der neuronalen Ebene jedoch
Veränderungen von Lernmechanismen in der Form reduzierter Vorhersagefehler-
Signale im mOFC nachweisbar sind. Diese stehen mit der klinisch beobachtbaren
Anhedonie in Zusammenhang und könnten eine wichtige Rolle bei der Entstehung
spielen.
de
dc.rights.uri
http://www.fu-berlin.de/sites/refubium/rechtliches/Nutzungsbedingungen
dc.subject
model-based functional MRI
dc.subject.ddc
600 Technik, Medizin, angewandte Wissenschaften::610 Medizin und Gesundheit
dc.title
Neural mechanisms of reinforcement learning in unmedicated patients with major
depressive disorder
dc.contributor.contact
jonastonn@gmail.com
dc.contributor.firstReferee
N.N.
dc.contributor.furtherReferee
N.N.
dc.date.accepted
2018-03-02
dc.identifier.urn
urn:nbn:de:kobv:188-fudissthesis000000105883-5
dc.title.translated
Neuronale Grundlagen des Verstärkungslernens bei unmedizierten, depressiven
Patienten
de
refubium.affiliation
Charité - Universitätsmedizin Berlin
de
refubium.mycore.fudocsId
FUDISS_thesis_000000105883
refubium.mycore.derivateId
FUDISS_derivate_000000022751
dcterms.accessRights.dnb
free
dcterms.accessRights.openaire
open access