Желательные трудности: почему лёгкое обучение хуже

Два инженера разбираются с Kafka. Первый открывает документацию на втором мониторе, читает раздел про consumer groups, тут же копирует пример конфигурации в свой сервис, правит имена топиков, запускает, всё работает. Полтора часа, ноль запинок, приятное ощущение продуктивного вечера. Второй читает тот же раздел, закрывает вкладку, пытается на бумаге нарисовать, что произойдёт при добавлении третьего консьюмера в группу из двух, ошибается в распределении партиций, лезет проверять, ошибается ещё раз в поведении при ребалансировке, к концу вечера имеет черновик с двумя зачёркнутыми схемами и раздражение. Три часа, постоянные запинки, ощущение, что вечер потрачен зря.

Через месяц в проде происходит ребалансировка, консьюмер зависает на обработке одного сообщения дольше max.poll.interval.ms, группа перераспределяется, сообщение обрабатывается дважды. Первый инженер видит в этом магию. Второй видит ровно тот сценарий, на котором он в тот вечер ошибся.

Это не притча про усердие. Это описание эффекта, у которого есть название, тридцать лет экспериментов и вполне конкретные границы применимости. Условия обучения, которые ухудшают то, как идёт само занятие, часто улучшают то, что остаётся через недели и что переносится на новую задачу. Robert Bjork назвал такие условия желательными трудностями (desirable difficulties). Про них написано много глупостей — от «страдай, и научишься» до «ставьте себе невыполнимые задачи», — поэтому начнём с того, что именно утверждается.

Что именно утверждается — и чего не утверждается

Формулировка, за которой стоят данные:

Некоторые манипуляции с условиями обучения замедляют усвоение и ухудшают показатели во время занятия, но улучшают отложенное удержание и перенос на новые задачи.

Три уточнения, без которых утверждение превращается в лозунг.

Это не «чем труднее, тем лучше». Bjork и Bjork явным образом вводят и противоположный класс — нежелательные трудности (undesirable difficulties). Трудность полезна не сама по себе, а тогда, когда она запускает обработку, нужную для запоминания и понимания, и когда обучающийся способен эту обработку выполнить. Нечитаемый шрифт тоже трудность, а пользы от него нет (разбор ниже — на этом примере теория чуть не поехала).

Это не про мотивацию и не про характер. Речь о свойствах расписания и формата занятия — интервалы, порядок задач, наличие или отсутствие подсказки перед попыткой, частота обратной связи. Не о силе воли.

Это про расхождение двух измерений. Ключевая рамка сформулирована в обзоре Nicholas Soderstrom и Robert Bjork Learning Versus Performance: An Integrative Review (Perspectives on Psychological Science, 2015): производительность во время тренировки и обучение — разные величины, и вмешательство может двигать их в разные стороны. Всё содержание этой главы — следствие этого разделения. Основная рамка трека уже введена в главе Что значит понимать и в Иллюзии понимания; здесь мы смотрим на неё со стороны конструирования занятия.

Откуда взялось понятие и на чём оно держится

Термин ввёл Robert Bjork в главе Memory and Metamemory Considerations in the Training of Human Beings (в сборнике Metcalfe и Shimamura Metacognition: Knowing about Knowing, MIT Press, 1994). Наиболее читаемое изложение — Elizabeth Bjork и Robert Bjork, Making Things Hard on Yourself, But in a Good Way: Creating Desirable Difficulties to Enhance Learning (в сборнике Psychology and the Real World, 2011); это двадцать страниц, и их стоит прочитать в оригинале.

Механизм, которым авторы объясняют эффект, — «новая теория неиспользования» (Bjork и Bjork, 1992). В ней у элемента памяти два независимых параметра:

• прочность извлечения (retrieval strength) — насколько легко достать элемент прямо сейчас;
• прочность хранения (storage strength) — насколько прочно он усвоен в долгую.

Ключевое предположение теории: прирост прочности хранения тем больше, чем труднее далось успешное извлечение. Если элемент только что был перед глазами, извлечение тривиально и почти ничего не добавляет. Если он частично забыт и его пришлось доставать с усилием — добавляет много. Отсюда вся конструкция: любая манипуляция, которая повышает трудность успешного извлечения, работает на хранение и против сиюминутного результата.

Эта идея старше термина. Robert Bjork сформулировал её в работе Retrieval as a Memory Modifier (1975): акт извлечения не читает память, а изменяет её. Экспериментальную проверку конкретно «гипотезы усилия извлечения» вели Mary Pyc и Katherine Rawson (Testing the Retrieval Effort Hypothesis, Journal of Memory and Language, 2009): при равном итоговом успехе более трудные условия извлечения давали лучшее последующее удержание. Родственная линия — уровни обработки Fergus Craik и Robert Lockhart (1972): глубина обработки важнее числа повторов.

Каталог: какие именно трудности проверены

Это не все известные эффекты, но те, что воспроизводились независимо и про которые можно честно сказать, на чём их проверяли.

Ниже — три пункта, у которых нет своей главы в треке.

Генерация: попытаться сформулировать до того, как прочитать ответ

Norman Slamecka и Peter Graf (The Generation Effect: Delineation of a Phenomenon, JEP: Human Learning and Memory, 1978) сравнили две группы: одна читала пары слов целиком, другая порождала второе слово по правилу и фрагменту. Порождённое запоминалось лучше прочитанного. Эффект многократно воспроизводился на вербальном материале.

Как это выглядит у инженера: прежде чем открыть раздел документации, напишите свой ответ на вопрос, за которым идёте. «Как в Postgres ведёт себя SELECT ... FOR UPDATE при конфликте с другой транзакцией?» — сформулируйте гипотезу в две строки, потом читайте. Разница между вашей гипотезой и текстом — самое ценное, что вы получите за это чтение, и она существует только если гипотеза была записана.

Цена: минута-две на каждый вопрос и неприятное ощущение, когда гипотеза не строится вовсе. Когда не окупается: когда вы вообще не знаете предметной области — генерировать не из чего, и вы просто гадаете. Подробнее об этом в разделе про границы.

Неудачная попытка перед объяснением

Более сильная версия того же. Nate Kornell, Matthew Hays и Robert Bjork (Unsuccessful Retrieval Attempts Enhance Subsequent Learning, JEP: LMC, 2009) показали: если испытуемому дать вопрос, на который он заведомо не может ответить, дать ему помучиться несколько секунд, а потом показать ответ — итог лучше, чем если сразу показать ответ и дать столько же времени на его изучение. Lindsey Richland, Nate Kornell и Liche Kao (The Pretesting Effect, JEP: Applied, 2009) получили тот же результат на текстах.

Обратите внимание на условие: ответ показывается обязательно. Это не «мучайся, пока не додумаешься» — это «попробуй, потом посмотри». Обзор Janet Metcalfe Learning from Errors (Annual Review of Psychology, 2017) сводит линию исследований про обучение на ошибках: ошибка полезна при условии корректирующей обратной связи, и вредна без неё.

Инженерная форма: перед тем как смотреть, почему упал тест, сформулируйте предположение. Перед тем как открыть чужой PR с решением — попробуйте решить сами хотя бы на уровне подхода. Перед тем как спросить модель — напишите свою версию. Про последнее подробно в главе Учиться с ИИ; здесь важно, что дешёвый мгновенный ответ убивает именно этот эффект.

Смена контекста

Steven Smith, Arthur Glenberg и Robert Bjork (Environmental Context and Human Memory, Memory & Cognition, 1978) показали, что изучение одного материала в двух разных помещениях даёт лучшее последующее воспроизведение, чем два занятия в одном. Объяснение: память привязывается к контексту, и разнообразие контекстов делает след менее зависимым от обстановки.

Честно про размер и границы: эффект небольшой, показан на списках слов, и превращать его в ритуал «учу в трёх кофейнях» — карго-культ. Практически полезная версия для инженера — не менять кофейни, а менять представление материала: та же идея в виде схемы, кода, текста и объяснения вслух. Это ближе к вариативности из главы Перемежение, чем к географии.

Трудность, которая не сработала: история про шрифт

Это лучшая прививка от лозунга «трудно — значит полезно», и её стоит знать целиком.

В 2011 году Connor Diemand-Yauman, Daniel Oppenheimer и Erikka Vaughan опубликовали в Cognition работу Fortune Favors the Bold (and the Italicized): Effects of Disfluency on Educational Outcomes. Идея красивая: если набрать учебный материал плохо читаемым шрифтом, читатель будет обрабатывать его медленнее и внимательнее — то есть получит желательную трудность бесплатно, одной настройкой вёрстки. Результаты были положительными, в том числе в полевой части со школьными классами. Идею немедленно растащили по блогам.

Что было дальше:

• Carole Yue, Alan Castel и Robert Bjork (When Disfluency Is — and Is Not — a Desirable Difficulty, Memory & Cognition, 2013) показали, что плохо читаемый шрифт действительно снижает субъективную оценку собственного усвоения — но не улучшает память.
• Andrew Meyer, Shane Frederick и большая группа соавторов (Disfluent Fonts Don’t Help People Solve Math Problems, JEP: General, 2015) провели серию репликаций на выборках в тысячи человек и не нашли эффекта.
• Последующие сводки эффект не подтверждают; средняя оценка близка к нулю. Конкретный метаанализ я по памяти назвать не берусь — если тема нужна вам предметно, ищите обзоры по ключевому слову disfluency effect сами, а не по этому тексту.

Мораль не в том, что «желательные трудности не работают». Мораль в том, что трудность — не действующее вещество. Действующее вещество — та обработка, которую трудность вынуждает выполнить. Интервал вынуждает извлекать частично забытое. Перемежение вынуждает выбирать метод, а не применять заранее известный. Плохой шрифт вынуждает разбирать буквы — и это ровно то усилие, которое ничего не даёт содержанию.

Инженерный перевод: сложность вашего инструментария не является обучением. Настраивать окружение три часа, потому что «так глубже разберёшься», — это трудность про буквы, а не про содержание. Если бы дело было в трудности как таковой, лучшим способом выучить алгоритмы было бы читать их описания в тумане.

Критерий: когда трудность желательна

Bjork формулирует условие так: трудность желательна, если она (а) вызывает обработку, поддерживающую цель обучения, и (б) обучающийся способен эту обработку успешно выполнить. Второй пункт игнорируют чаще, чем первый.

Граница снизу: эффект разворота экспертизы

Самая частая ошибка применения — давать новичку трудность, рассчитанную на подготовленного.

John Sweller и Graham Cooper (The Use of Worked Examples as a Substitute for Problem Solving, Cognition and Instruction, 1985) показали обратную картину для новичков: разбор полностью решённых примеров давал больше, чем самостоятельное решение задач при равном времени. Slava Kalyuga, Paul Ayres, Paul Chandler и John Sweller (The Expertise Reversal Effect, Educational Psychologist, 2003) обобщили: приём, полезный на одном уровне подготовки, на другом уровне даёт нулевой или отрицательный эффект. Проработанные примеры хороши для новичка и вредны для того, кто уже умеет решать: ему они добавляют лишнюю обработку.

Объяснение со стороны теории когнитивной нагрузки (John Sweller, 1988): рабочая память мала, и её тратят три вещи — сама задача, посторонний шум и построение схемы в долговременной памяти. У новичка сама задача съедает почти всё; добавленная трудность вытесняет как раз построение схемы. У подготовленного задача обходится дёшево, и свободный ресурс есть куда направить.

Это выглядит как противоречие между двумя школами — Bjork говорит «усложняйте», Sweller говорит «снижайте нагрузку». Противоречие снимается, если помнить про два разных параметра: снижать нужно постороннюю нагрузку, повышать — связанную с задачей обработку, и точка равновесия сдвигается по мере роста подготовки. Практическое следствие для самообучения: последовательность «прочитал разобранный пример → повторил его → решил похожую → решил непохожую» не является слабостью, это правильный порядок. Ошибка — застрять на первых двух шагах навсегда.

Граница сверху: трудность, с которой вы не справляетесь

Если попытка извлечения проваливается систематически и коррекции нет, вы не учитесь, а тратите время. Полезной является преодолимая трудность.

Про оптимальный уровень ошибок часто цитируют работу Robert Wilson, Amitai Shenhav, Mark Straccia и Jonathan Cohen The Eighty Five Percent Rule for Optimal Learning (Nature Communications, 2019): при обучении на градиенте ошибки скорость максимальна около 85% правильных ответов. Читайте эту работу аккуратно: это теоретический результат для класса обучающихся алгоритмов, сопоставленный с данными по простому перцептивному обучению. Это не измеренная константа для человека, изучающего распределённые системы. Как эвристика «доля ошибок 15–20% — нормальный рабочий режим, 60% — материал не по зубам, 2% — вы тренируете уже освоенное» она разумна; как число, на которое можно ссылаться, — нет.

Почему это ощущается как ухудшение — и почему это опасно

Самое неприятное свойство желательных трудностей: они систематически ощущаются как менее эффективные. Это измеряли неоднократно.

• Baddeley и Longman (1978), The Influence of Length and Frequency of Training Session on the Rate of Learning to Type, Ergonomics. Британская почта обучала сотрудников печати на клавиатуре по разным расписаниям. Наиболее эффективным по числу часов оказалось самое растянутое — один час в день. Наименее эффективным — самое интенсивное. При этом сотрудники предпочитали интенсивное расписание и оценивали его выше: оно быстрее заканчивалось и субъективно шло бодрее.
• Kornell и Bjork (2008), Learning Concepts and Categories: Is Spacing the Enemy of Induction?, Psychological Science. Испытуемые учились узнавать стиль художников: одни смотрели картины блоками по автору, другие вперемешку. Перемежение дало лучший результат на новых картинах — и при этом большинство участников после эксперимента утверждали, что блоки помогали им больше. Люди ошибались в оценке метода, результат которого только что видели.
• Deslauriers, McCarty, Miller, Callaghan, Kestin (2019), Measuring Actual Learning Versus Feeling of Learning in Response to Being Actively Engaged in the Classroom, PNAS. Студенты физики проходили одинаковое содержание в двух форматах: лекция и активное занятие. Объективные тесты показали больший прирост у активного формата; субъективные оценки «сколько я усвоил» были выше у лекции. Гладкое изложение хорошего лектора ощущается как понимание.

Практическое следствие жёсткое: выбирать метод обучения по ощущению нельзя. Ощущение измеряет беглость обработки, а не прочность памяти. Это тот же класс ошибки, что и оценка собственной продуктивности при работе с ИИ — в контролируемом эксперименте METR (2025) опытные разработчики выполняли задачи с ИИ-инструментами медленнее, чем без них, и при этом были уверены в обратном; разбор — в главе Учиться с ИИ. Единственный способ узнать, работает ли ваш метод, — отложенная проверка. Как её строить, разбирает глава Обратная связь.

Как это выглядит у инженера на практике

Ниже — приёмы, каждый с описанием обработки, которую он вынуждает выполнить, и с ценой. Прямых контролируемых исследований на инженерных задачах для большинства из них нет; это перенос лабораторных результатов плюс отраслевой опыт, и относиться к ним нужно соответственно.

Закрыть источник и воспроизвести

Прочитали раздел, закрыли вкладку, написали по памяти конфигурацию, схему или сигнатуру функции. Потом открыли и сравнили.

• Обработка: извлечение из памяти, ровно то, что даёт прирост хранения.
• Цена: примерно вдвое медленнее, чем скопировать. Стабильно неприятно первые недели.
• Когда не надо: когда результат нужен один раз и никогда не понадобится в голове. Флаги tar не заслуживают вашей памяти.

Предсказать до запуска

Перед запуском теста, скрипта, запроса — записать ожидаемый результат. Одна строка. Потом запустить.

# Мини-инструмент для практики предсказаний.
# Показывает фрагмент, требует записать ожидание, только потом выполняет.

import io
import contextlib

SNIPPETS = [
    # (описание, код)
    ("замыкание в цикле", "fs = [lambda: i for i in range(3)]\nprint([f() for f in fs])"),
    ("изменяемый аргумент по умолчанию", "def add(x, acc=[]):\n    acc.append(x)\n    return acc\nprint(add(1)); print(add(2))"),
    ("сравнение float", "print(0.1 + 0.2 == 0.3)"),
]


def run_snippet(code: str) -> str:
    """Выполняет фрагмент и возвращает то, что он напечатал."""
    buf = io.StringIO()
    with contextlib.redirect_stdout(buf):
        exec(code, {})          # намеренно: это учебный стенд, а не продакшн
    return buf.getvalue().strip()


def practice() -> None:
    for title, code in SNIPPETS:
        print(f"\n=== {title} ===\n{code}\n")
        guess = input("Что напечатает? Ответ обязателен, пустой не принимается: ").strip()
        if not guess:
            print("Пропуск попытки убирает весь смысл упражнения.")
            continue
        actual = run_snippet(code)
        verdict = "совпало" if guess == actual else "РАСХОЖДЕНИЕ"
        print(f"{verdict}\n  ваше предсказание: {guess}\n  фактический вывод: {actual}")


if __name__ == "__main__":
    practice()

Ценность здесь не в скрипте, а в правиле «ответ обязателен до запуска». Как только предсказание становится необязательным, упражнение схлопывается в обычное чтение вывода. Это же правило — основа связи с TDD: тест, написанный до кода, есть записанное предсказание поведения; см. TDD и BDD.

• Обработка: генерация и проверка модели поведения системы.
• Цена: десятки секунд на итерацию, ощутимо мешает в потоке.
• Когда не надо: во время инцидента. Инцидент — не занятие.

Переписать свой же модуль с нуля

Берёте компонент, который вы писали месяц назад, оставляете тесты, стираете реализацию, восстанавливаете. Потом сравниваете с оригиналом.

# 1. Сохранить эталон вне рабочего дерева
cp internal/ratelimit/bucket.go /tmp/reference.go

# 2. Стереть реализацию, оставив тесты и сигнатуры
git switch -c practice/ratelimit
: > internal/ratelimit/bucket.go

# 3. Восстанавливать до зелёных тестов, не подглядывая
go test ./internal/ratelimit/...

# 4. Сравнить решения (интересен не стиль, а разошедшиеся решения)
diff -u /tmp/reference.go internal/ratelimit/bucket.go

# 5. Ветку выбросить: артефакт здесь не код, а обнаруженные расхождения
git switch - && git branch -D practice/ratelimit

• Обработка: извлечение плюс восстановление структуры решения, а не отдельных фактов.
• Цена: час-два, и результат идёт в мусор. Именно поэтому это трудно делать в рабочее время.
• Когда не надо: если тестов нет — сначала тесты, иначе нет коррекции.

Объяснить механизм без заметок

Вслух, коллеге или в письменном виде — но без открытых источников. Затем свериться. Наличие слушателя не обязательно; обязательно отсутствие подсказки перед вами.

• Обработка: извлечение плюс построение связного объяснения, что вскрывает дыры, невидимые при чтении.
• Цена: 15–30 минут и публичная демонстрация того, чего вы не знаете.
• Когда не надо: если вы объясняете, читая с экрана, — вы не делаете упражнение, вы читаете вслух.

Отложить подсказку инструмента

Отключить автодополнение и автогенерацию на время учебной сессии по новому языку. Это чистая аналогия с урежённой обратной связью из моторных исследований (Richard Schmidt с коллегами, 1989; Carolee Winstein и Richard Schmidt, 1990): там реже подаваемая подсказка ухудшала тренировку и улучшала отложенное удержание.

Скажу прямо: контролируемых исследований про автодополнение и обучение программированию я не знаю. Перенос с моторных навыков на программирование — гипотеза, а не результат. Механизм правдоподобен: инструмент, дописывающий за вас, снимает ровно ту попытку извлечения, ради которой вы сели заниматься. Но правдоподобие — не доказательство, и подавать это как установленный факт нечестно.

• Цена: заметно медленнее; на рабочих задачах не окупается.
• Когда не надо: всегда, кроме специально выделенной учебной сессии.

Возвращаться к теме позже, а не «закрывать» её

Разбить изучение на 3–4 подхода с интервалами вместо одного длинного вечера. Ощущение незавершённости при этом никуда не денется, и это нормально. Механика интервалов — глава 05; организация самих подходов в календаре — соседний трек, фокус и рабочие сессии.

Чего это не означает: трудность в практике и трудность в артефактах

Самое вредное искажение этой темы в инженерной среде звучит так: «пусть код будет посложнее, зато люди научатся». Или: «не буду писать документацию, пусть разберутся сами — так глубже усвоят».

Это переносит трудность не туда. Желательная трудность — свойство вашей учебной практики, которую вы выбираете добровольно и на ограниченное время. Код, документация, онбординг, API и сообщения об ошибках — это артефакты, которыми пользуются под давлением сроков и в состоянии стресса. Там трудность — посторонняя: она тратит рабочую память на разбор формы вместо содержания, ровно как шрифт из истории выше.

Практический вывод: усложняйте своё упражнение, но не чужой рабочий процесс. Документация должна быть максимально гладкой — это тема отдельного трека портала про техническое письмо. Сообщение об ошибке должно называть причину, а не тренировать читателя в дедукции. А вот ревью кода — интересный промежуточный случай: вопрос «а что произойдёт, если сюда придёт пустой список?» вместо готового замечания создаёт извлечение у автора. Об этом в главах Учиться на чужом коде и Обратная связь.

Что известно конкретно про обучение программированию

Есть небольшая, но реальная область исследований — computer science education, и там встречаются работы именно про наш материал.

• Задачи Парсонса — программу нужно собрать из перемешанных готовых строк, а не написать с нуля. Это осознанное снижение трудности, и оно тоже проверялось: Barbara Ericson с коллегами (публикации 2017–2018 годов на конференциях Koli Calling и ICER) сравнивали такие задачи с написанием и починкой кода и получили сопоставимый учебный результат при меньших затратах времени. Это иллюстрация границы снизу: для новичка снятая трудность полезнее добавленной. За точными формулировками результатов идите в оригиналы — я передаю суть, а не цифры.
• Подцелевые метки (subgoal labels) — разметка примера по смысловым шагам вместо сплошного кода. Lauren Margulieux, Mark Guzdial и Richard Catrambone (ICER, 2012) показали улучшение результата и переноса у новичков при обучении разработке мобильных приложений.
• Чего нет: контролируемых исследований, где практикующие инженеры учат архитектуру, конкурентность или отладку одним способом против другого, и через год измеряется качество их решений. Такой эксперимент дорог, долог и невыносимо шумен. Всё, что говорится в этой главе про инженерную практику, — экстраполяция.

Оценивать подобные утверждения полезно с инструментарием трека Логика и аргументация, особенно раздел про подмену корреляции причиной.

Цена и когда всё это не окупается

Желательные трудности — не бесплатный приём, и у них есть отчётливые условия неприменимости.

Прямая цена времени. То же содержание занимает в полтора-два раза дольше. Если у вас на изучение технологии есть один вечер до старта задачи — читайте быстро и копируйте примеры, это рациональный выбор.

Цена в ощущениях. Вы будете постоянно чувствовать, что идёте медленнее, чем могли бы, и это не иллюзия — вы действительно идёте медленнее сейчас. Единственная защита — понимать, что вы платите за отложенный результат, и проверять его отложенно.

Когнитивная нагрузка не бесконечна. Приёмы, съедающие рабочую память, требуют ресурса, которого нет в конце тяжёлого дня. Это не про дисциплину — это про то, что трудное занятие на исходе сил превращается в имитацию. См. внимание и энергия и выгорание. Оптимизировать метод обучения при истощении бессмысленно.

Когда трудность не нужна вовсе:

• Разовое знание. Настроить один раз и забыть — не тренируйте, просто сделайте.
• Знание с коротким сроком жизни. Флаги утилиты, которую заменят через год.
• Материал, который вы применяете ежедневно. Работа уже даёт вам извлечение и интервалы бесплатно; добавлять сверху упражнения — трата.
• Инцидент, дедлайн, дежурство. Учебный режим и боевой режим несовместимы. В бою пользуйтесь всеми подсказками, какие есть.
• Полное отсутствие базы. Сначала проработанные примеры и обзорное чтение, потом трудности. Порядок обратный не работает.
• Нет способа проверить себя. Трудность без коррекции закрепляет ошибки. Стройте проверку первой.

Типичные ошибки применения

1. Считать трудность целью. Признак: вы выбираете способ по тому, насколько он неприятен. Правильный вопрос — какую обработку способ вынуждает выполнить.
2. Оставлять трудность без коррекции. Попытка вспомнить без последующей сверки — половина приёма, и худшая половина.
3. Применять к материалу, который вам не нужен. Самая дорогая ошибка: безупречно организованное обучение не той теме. План и приоритеты — глава 15; карта пробелов относительно позиций — раздел карты карьеры на портале.
4. Путать «трудно» и «непонятно». Плохо написанная книга не является желательной трудностью. Смените источник; критерии выбора — Чтение технических текстов.
5. Пропускать этап проработанных примеров, потому что «это слишком просто». Разворот экспертизы работает в обе стороны, и снизу он больнее.
6. Строить ритуал вместо практики. Идеально настроенная система заметок и колода карточек, в которой вы ничего не извлекаете, — это трудность администрирования. Честный разбор инструментов — глава 13 и раздел про инструменты в соседнем треке, где прямо сказано, что контролируемых исследований по системам заметок нет.
7. Оценивать результат в конце занятия. Это измерение прочности извлечения, а не хранения. Единственная осмысленная точка измерения — через дни или недели, на новой задаче.

Мини-итог

• Утверждение с данными: некоторые условия обучения ухудшают показатели во время занятия и улучшают отложенное удержание и перенос. Термин ввёл Robert Bjork (1994), рамка — расхождение тренировки и обучения (Soderstrom и Bjork, 2015).
• Механизм по теории неиспользования (Bjork и Bjork, 1992): прирост прочности хранения тем больше, чем труднее далось успешное извлечение.
• Проверенный набор: интервалы, извлечение, перемежение, генерация до подсказки, неудачная попытка перед объяснением, урежённая обратная связь, смена контекста. Проверялись преимущественно на вербальном материале, у студентов, с горизонтом в недели.
• «Трудно» — не критерий. История с нечитаемым шрифтом (Diemand-Yauman и др., 2011 → Yue и др., 2013 → Meyer и др., 2015) показывает, как гипотеза «любая трудность полезна» ломается при репликации.
• Критерий: трудность вынуждает нужную обработку и обучающийся способен с ней справиться. Ниже базы работают проработанные примеры (Sweller и Cooper, 1985); эффект разворота экспертизы (Kalyuga и др., 2003) означает, что оптимум сдвигается по мере роста подготовки.
• Желательные трудности систематически ощущаются как менее эффективные — это измерено (Baddeley и Longman, 1978; Kornell и Bjork, 2008; Deslauriers и др., 2019). Поэтому выбирать метод по ощущению нельзя, а проверять надо отложенно.
• Трудность — свойство вашей практики, а не ваших артефактов. Усложнять код, документацию и онбординг «ради обучения других» — перенос не туда.
• Не окупается: разовое знание, короткий срок жизни материала, боевой режим, отсутствие базы, отсутствие проверки, исчерпанный ресурс внимания.

Источники

• Robert A. Bjork. Memory and Metamemory Considerations in the Training of Human Beings. В сб.: Metcalfe, Shimamura (ред.), Metacognition: Knowing about Knowing. MIT Press, 1994.
• Elizabeth L. Bjork, Robert A. Bjork. Making Things Hard on Yourself, But in a Good Way: Creating Desirable Difficulties to Enhance Learning. В сб.: Psychology and the Real World. Worth Publishers, 2011. PDF на сайте лаборатории Bjork
• Robert A. Bjork, Elizabeth L. Bjork. A New Theory of Disuse and an Old Theory of Stimulus Fluctuation. 1992.
• Robert A. Bjork. Retrieval as a Memory Modifier. В сб.: Solso (ред.), Information Processing and Cognition: The Loyola Symposium, 1975.
• Nicholas Soderstrom, Robert Bjork. Learning Versus Performance: An Integrative Review. Perspectives on Psychological Science, 2015.
• Mary Pyc, Katherine Rawson. Testing the Retrieval Effort Hypothesis. Journal of Memory and Language, 2009.
• Fergus Craik, Robert Lockhart. Levels of Processing: A Framework for Memory Research. Journal of Verbal Learning and Verbal Behavior, 1972.
• Norman Slamecka, Peter Graf. The Generation Effect: Delineation of a Phenomenon. JEP: Human Learning and Memory, 1978.
• Nate Kornell, Matthew Hays, Robert Bjork. Unsuccessful Retrieval Attempts Enhance Subsequent Learning. JEP: Learning, Memory, and Cognition, 2009.
• Lindsey Richland, Nate Kornell, Liche Kao. The Pretesting Effect: Do Unsuccessful Retrieval Attempts Enhance Learning? JEP: Applied, 2009.
• Janet Metcalfe. Learning from Errors. Annual Review of Psychology, 2017.
• Steven Smith, Arthur Glenberg, Robert Bjork. Environmental Context and Human Memory. Memory & Cognition, 1978.
• John Shea, Robyn Morgan. Contextual Interference Effects on the Acquisition, Retention, and Transfer of a Motor Skill. JEP: Human Learning and Memory, 1979.
• Richard Schmidt, Douglas Young, Stephan Swinnen, Diane Shapiro. Summary Knowledge of Results for Skill Acquisition: Support for the Guidance Hypothesis. JEP: LMC, 1989.
• Carolee Winstein, Richard Schmidt. Reduced Frequency of Knowledge of Results Enhances Motor Skill Learning. JEP: LMC, 1990.
• Alan Baddeley, Douglas Longman. The Influence of Length and Frequency of Training Session on the Rate of Learning to Type. Ergonomics, 1978.
• Nate Kornell, Robert Bjork. Learning Concepts and Categories: Is Spacing the Enemy of Induction? Psychological Science, 2008.
• Louis Deslauriers, Logan McCarty, Kelly Miller, Kristina Callaghan, Greg Kestin. Measuring Actual Learning Versus Feeling of Learning in Response to Being Actively Engaged in the Classroom. PNAS, 2019. PNAS
• Connor Diemand-Yauman, Daniel Oppenheimer, Erikka Vaughan. Fortune Favors the Bold (and the Italicized): Effects of Disfluency on Educational Outcomes. Cognition, 2011.
• Carole Yue, Alan Castel, Robert Bjork. When Disfluency Is — and Is Not — a Desirable Difficulty. Memory & Cognition, 2013.
• Andrew Meyer, Shane Frederick и др. Disfluent Fonts Don’t Help People Solve Math Problems. JEP: General, 2015.
• John Sweller, Graham Cooper. The Use of Worked Examples as a Substitute for Problem Solving in Learning Algebra. Cognition and Instruction, 1985.
• John Sweller. Cognitive Load During Problem Solving: Effects on Learning. Cognitive Science, 1988.
• Slava Kalyuga, Paul Ayres, Paul Chandler, John Sweller. The Expertise Reversal Effect. Educational Psychologist, 2003.
• Robert Wilson, Amitai Shenhav, Mark Straccia, Jonathan Cohen. The Eighty Five Percent Rule for Optimal Learning. Nature Communications, 2019. Nature Communications
• Lauren Margulieux, Mark Guzdial, Richard Catrambone. Subgoal-Labeled Instructional Material Improves Performance and Transfer in Learning to Develop Mobile Applications. ICER, 2012.
• Peter Brown, Henry Roediger, Mark McDaniel. Make It Stick: The Science of Successful Learning. Harvard University Press, 2014 — глава про желательные трудности написана с участием самих исследователей.

Что дальше

Из всего каталога желательных трудностей одна заслуживает отдельного разбора: порядок, в котором вы берёте задачи. Блоками по одной теме — привычно, приятно и создаёт ощущение растущей беглости. Вперемешку — медленно, сбивчиво и работает лучше, причём именно там, где инженеру больнее всего: в умении выбрать подходящий метод, когда никто не подсказал, к какой теме относится задача.

Перемежение и вариативность: против иллюзии беглости