Мы празднуем нашу победу над невзгодами, но давайте посмотрим правде в глаза: мы предпочли бы вообще не испытывать трудностей. Новое исследование связывает эту поведенческую склонность с обучением: когда исследователи добавили немного конфликта, чтобы усложнить учебную задачу, этот дополнительный конфликт привел к предвзятому обучению, уменьшив влияние вознаграждения и увеличив влияние отвращения к наказанию.
Эта недавно обнаруженная взаимосвязь между конфликтом и обучением с подкреплением предполагает, что контуры лобной коры, которые вычисляют степень конфликта, усилия и сложность действий, интегрированы с управляемыми дофамином контурами, которые управляют восприятием вознаграждения и наказания в другой части тела. мозг, полосатое тело. В двух сериях экспериментов, опубликованных в Nature Communications, ученые из Университета Брауна и Университета Нью-Мексико собрали доказательства связи несколькими способами, включая сканирование ЭЭГ, генетические тесты, манипуляции с низкой дозой препарата, связанного с дофамином, и даже отслеживание глаза моргают.
"Сигналы в коре головного мозга, которые реагируют на конфликт, действуют, чтобы вызвать аверсивный обучающий сигнал в ваших базовых системах обучения с подкреплением," сказал когнитивист из Университета Брауна Майкл Франк, соавтор исследования, проведенного бывшим студентом Джеймсом Кавана, ныне доцентом Университета Нью-Мексико.
Сложная задача
Конфликт в экспериментальном обучении был просто вопросом необходимости использовать левую руку, чтобы указать выбор стимула на правой стороне экрана, или наоборот. Этот простой случай пространственного конфликта хорошо известен в когнитивной психологии. В этом исследовании он замедлял ответы всего примерно на 12 миллисекунд, но вызывал надежные сигналы мозга ЭЭГ, обычно связанные с вызванным конфликтом "тревожный звонок."
Вот как работала задача: на этапе обучения 83 взрослых добровольца просто должны были нажать левую кнопку на игровой панели, когда они увидели синюю фигуру, или правую кнопку, когда они увидели желтую. Всего было четыре фигуры (назовите их A, B, C и D), которые могли появляться по обе стороны экрана. У каждой формы была разная вероятность получения вознаграждения в один балл, когда учащиеся нажимали правильную кнопку. A всегда вознаграждался, D вознаграждался редко. B и C были равно вознаграждены в 50% случаев, но B никогда не давал очков, когда он появлялся на стороне, противоположной кнопке, а награда C возникала только тогда, когда она появлялась на стороне, противоположной кнопке.
Таким образом, наказание (отсутствие очков) для B стало связано с конфликтом противоположной стороны, как и награда C (одно очко).
После фазы обучения, наполненной конфликтом, люди затем переходили ко второй фазе, где им показывали пары этих ранее наблюдаемых форм и они должны были указать свои предпочтения в отношении того, какая из них, по их мнению, была более полезной.
Все узнали, что A приносит вознаграждение, а D – нет, но усвоенное восприятие B и C было искажено одним из двух способов для каждого участника. Для тех, кто лучше учится на вознаграждении, конфликт снижает ценность полученного вознаграждения, что приводит к предпочтению B перед C. Для тех, кто лучше учится избегать наказания, конфликт повлиял на усиление испытанной ценности наказания, что привело к большему избеганию B. По сути, последний эффект похож на "добавление оскорбления к травме," где конфликт сделал получение очков еще более неприятным.
Поведение в мозгу
Исследователи полагались не только на поведенческие наблюдения, чтобы получить информацию для своего исследования. Датчики ЭЭГ контролировали кору среднего мозга, которую предыдущие исследования определили как место, где мозг определяет затраты на усилия, трудности и конфликты в действии. Датчики измеряли силу мозговых волн тета- и дельта-частоты, пока люди выполняли фазы задания.
"Степень, в которой конфликт уменьшал связанную с вознаграждением тета / дельта-активность C по сравнению с B, была связана с предпочтениями B, а степень, в которой конфликт усиливал связанную с наказанием тета-активность B по сравнению с C, была связана с избеганием B," авторы написали. "Эти результаты показывают, что конфликт действовал как на уменьшение ценности вознаграждения, так и на усиление уклонения от наказания в корковых системах, связанных с интерпретацией важности обратной связи."
Итак, как сигнал коркового конфликта на самом деле влияет на понимание ценности вознаграждения?? Исследователи обратились к генам добровольцев, в частности к гену под названием DARPP-32, который определяет, как дофамин обрабатывается в нижних областях мозга. Это связано с тем, что исследования показали, что люди с некоторыми вариантами гена более чувствительны к обучению вознаграждению, в то время как люди с другими вариантами более чувствительны к обучению избеганию наказания, что согласуется с тем, как этот ген влияет на функцию дофамина в нейронах, чувствительных к вознаграждениям и наказаниям. полосатое тело.
Генотипирование подтвердило, что то, стали ли люди предвзятыми в пользу B или C, было связано с их генетической предрасположенностью учиться большему за счет вознаграждения или избегания наказания.
Во второй серии экспериментов с 30 добровольцами Кавана, Фрэнк и их соавторы активно манипулировали функцией дофамина в этой области ниже по течению (i.е., полосатое тело). Они давали испытуемым безопасные низкие дозы каберголина, который временно снижает восприимчивость к дофамину. Предыдущие исследования показали, что этот тонкий эффект заставляет людей больше учиться у избегания наказания, чем из вознаграждения. Конечно, это было. Без препарата (в группе плацебо) добровольцы в целом слегка отдавали предпочтение B по сравнению с C, но с препаратом это привело к значительно большему смещению в отношении C по сравнению с B, что согласуется с уроками по избеганию наказания.
Они даже заметили, что степень, в которой этот наркотик повлиял на изучение конфликтных ценностей, была связана с его влиянием на частоту моргания глаз, что было связано с активностью дофамина.
Кавана сказал, что надеется применить полученные знания для лучшего понимания процесса обучения у людей с обсессивно-компульсивным расстройством и другими тревожными расстройствами, у которых усиливаются сигналы конфликта в тета-диапазоне.
"Заставляет ли их учиться на «наказаниях» больше, чем на вознаграждении??" он сказал. "Какое отношение имеет последствия этого хорошо известного изменения тревожности к тому, как они учатся у окружающего мира??"