Извлечение из памяти: главный рабочий приём

В предыдущей главе мы разобрали, почему перечитывание, подсветка маркером и просмотр чужого решения дают ощущение знания, но не знание. Естественный следующий вопрос — что делать вместо этого.

Ответ у психологии обучения есть, и он неожиданно узкий. Не «учиться правильно», не «найти свой стиль», не «понимать, а не зубрить». Один конкретный приём: пытаться достать информацию из головы, а не заносить её туда повторно. По-английски это называется retrieval practice, или testing effect, по-русски — практика извлечения.

Это единственная тема в треке, где я могу опереться на действительно большой корпус экспериментов: сотни контролируемых исследований, несколько мета-анализов, повторения в реальных классах. Поэтому глава устроена иначе, чем остальные. Сначала — что именно показали, на ком и в каких условиях. Потом — где эти данные заканчиваются и начинается экстраполяция, потому что от текстов про бобров до отладки распределённой системы дистанция немаленькая. И только затем — как это выглядит у инженера и сколько стоит.

Что такое извлечение и чем оно не является

Интуитивная модель памяти — библиотека. Учить значит класть книги на полку, вспоминать значит подходить и читать корешок. При такой модели проверка знаний — это измерительная процедура: термометр не греет воду, тест не учит.

Модель неверна. Попытка вспомнить не считывает след памяти, а изменяет его. Извлечение — это операция записи, а не чтения.

Отсюда практическое различение, на котором держится вся глава:

Ключевое слово — без опоры на источник. Если открытая вкладка с документацией лежит рядом и вы туда заглядываете, это не извлечение, а повторный ввод с лишними шагами. Граница проходит ровно здесь, и её проще всего нарушить незаметно.

Ещё одно уточнение. Извлечение — не обязательно письменное и не обязательно вслух. Smith, Roediger и Karpicke (2013, «Covert retrieval practice benefits retention as much as overt retrieval practice») сравнили условия, где испытуемые проговаривали ответ и где вспоминали молча, и не нашли разницы в удержании. То есть механизм даёт мысленная попытка вспомнить, а не артефакт на бумаге. Артефакт нужен по другой причине — чтобы поймать себя на ошибке, к этому вернёмся в разделе про обратную связь.

И третье. Извлечение — не проверка знаний в смысле оценки. Экзамен измеряет; практика извлечения учит. Одна и та же процедура в разных ролях. Инженеру это различение даётся тяжело, потому что почти весь его опыт «тестирования себя» — это собеседования, то есть ситуация оценки со ставками. Из-за этого приём инстинктивно откладывают на «когда уже выучу».

Базовый эксперимент, который стоит знать целиком

Самая цитируемая работа — Roediger и Karpicke (2006), «Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention», Psychological Science (doi:10.1111/j.1467-9280.2006.01693.x).

Устройство простое. Студенты читают научно-популярный текст на пару страниц. Дальше группы расходятся:

• SSSS — четыре подхода к чтению одного и того же текста;
• SSST — три чтения и одна попытка вспомнить текст на чистом листе;
• STTT — одно чтение и три попытки вспомнить.

Итоговый тест на свободное воспроизведение — через 5 минут, через 2 дня или через неделю, у разных подгрупп.

Результат в двух частях, и вторая важнее первой.

Через пять минут перечитывание выигрывает. Группа, читавшая четыре раза, воспроизвела больше. Логично: текст только что был перед глазами.

Через неделю всё переворачивается. Перечитывавшие теряют примерно половину, извлекавшие — заметно меньше. Разрыв в районе 15 процентных пунктов в пользу извлечения.

Теперь главное следствие, ради которого эту работу вообще стоит помнить. Если бы вы сами ставили на себе эксперимент и оценивали результат сразу после сессии — вы бы выбрали перечитывание. Оно и правда лучше по немедленному показателю. Разница между «как хорошо я сейчас справляюсь» и «сколько я буду знать через месяц» — не косметическая: эти две величины могут расходиться в разные стороны.

Роберт Бьорк с коллегами назвал это разведением производительности (performance) и научения (learning). Обзор — Soderstrom и Bjork (2015), «Learning versus Performance: An Integrative Review», Perspectives on Psychological Science. Тезис обзора: наблюдаемая во время тренировки производительность — ненадёжный индикатор того, что усвоено; условия, повышающие производительность сейчас, часто снижают удержание и перенос, и наоборот.

Для инженера это буквально знакомая ситуация. Производительность — это latency на прогретом кэше. Научение — это latency после рестарта. Оптимизировать первое, думая, что оптимизируешь второе, — классическая ошибка бенчмарка.

Второй эксперимент: что можно выбросить

Roediger и Karpicke показали, что извлечение помогает. Karpicke и Roediger (2008), «The Critical Importance of Retrieval for Learning», Science (doi:10.1126/science.1152408), показали кое-что более резкое — что именно в связке «учить + проверять» несёт нагрузку.

Материал — пары слов суахили и английского. Четыре условия отличаются тем, что происходит с уже угаданной парой:

• пара остаётся и в повторении, и в проверках;
• пара убирается из повторений, но продолжает проверяться;
• пара убирается из проверок, но продолжает повторяться;
• пара убирается отовсюду.

Через неделю: там, где сохранялись проверки, воспроизведение около 80 %. Там, где проверки убрали, оставив повторения, — около 35 %. Убирание повторений почти не навредило; убирание проверок обрушило результат.

Вывод, который отсюда следует, довольно жёсткий: повторный просмотр уже усвоенного материала не даёт почти ничего, а повторное извлечение даёт почти всё. Не «оба полезны, извлечение чуть больше». Асимметрия.

И вторая находка той же работы, менее известная и более неприятная. Испытуемых просили предсказать, сколько они вспомнят через неделю. Прогнозы во всех четырёх условиях оказались примерно одинаковыми — то есть люди не заметили разницы, которая в реальности отличалась вдвое. Собственное ощущение выученности не различает эти условия вообще.

Третий эксперимент: против «более осмысленных» методов

Возражение, которое возникает сразу: ладно, зубрёжка карточками бьёт зубрёжку перечитыванием, но настоящее обучение — это построение связей, схемы, концепт-карты.

Karpicke и Blunt (2011), «Retrieval Practice Produces More Learning than Elaborative Studying with Concept Mapping», Science (doi:10.1126/science.1199327) проверили ровно это. Условия: перечитывание, построение концепт-карты при открытом тексте, практика извлечения. Итоговый тест через неделю содержал не только вопросы на факты, но и вопросы на вывод — такие, ответа на которые в тексте прямо нет.

Извлечение выиграло у концепт-карт и на фактических вопросах, и на выводных. Более того, в дополнительном эксперименте оно выиграло даже тогда, когда итоговым тестом было построение концепт-карты — то есть у соперника на его же поле.

И снова метакогнитивная часть: студенты предсказывали, что концепт-карты дадут лучший результат.

Осторожность здесь всё же нужна. Речь не о том, что схемы бесполезны, а о том, что построение схемы при открытом источнике проигрывает извлечению. Восстановление схемы по памяти — это уже извлечение, и в главе про перенос знания мы вернёмся к тому, где схемы действительно работают.

Что говорят мета-анализы

Отдельные эксперименты убеждают слабо — нужен агрегированный взгляд.

Dunlosky, Rawson, Marsh, Nathan, Willingham (2013), «Improving Students’ Learning With Effective Learning Techniques», Psychological Science in the Public Interest — обзор десяти популярных учебных приёмов с рейтингом полезности (открытый доступ). Высокую оценку получили ровно два: практика извлечения и распределённая практика. Низкую — подчёркивание, перечитывание, мнемонические ключевые слова, обобщение (в смысле пересказа своими словами при открытом тексте). Это самый удобный документ, чтобы одной ссылкой закрыть спор о приоритетах.

Rowland (2014), «The Effect of Testing Versus Restudy on Retention: A Meta-Analytic Review of the Testing Effect», Psychological Bulletin — около двухсот сравнений, средний размер эффекта в районе g ≈ 0,50. Эффект сильнее при наличии обратной связи и при отсроченном итоговом тесте.

Adesope, Trevisan, Sundararajan (2017), «Rethinking the Use of Tests: A Meta-Analysis of Practice Testing», Review of Educational Research — сопоставимый порядок эффекта, плюс данные о форматах: задания на воспроизведение и короткий ответ в среднем дают больше, чем выбор из вариантов.

Agarwal, Nunes, Blunt (2021), «Retrieval Practice Consistently Benefits Student Learning: A Systematic Review of Applied Research in Schools and Classrooms», Educational Psychology Review — систематический обзор исследований не в лаборатории, а в настоящих школах и вузах. Эффект воспроизводится, но с оговоркой, которую авторы делают сами: в классе извлечение почти всегда идёт в связке с обратной связью и распределением во времени, поэтому чистый вклад одного компонента выделить трудно.

Порядок величины 0,5 стандартного отклонения — это существенно по меркам образовательных вмешательств, но это не удвоение результата и не «в разы». Уместная формулировка: приём с самой надёжной базой среди учебных приёмов, с умеренным по абсолютной величине эффектом.

Почему это работает: механизм и честная неопределённость

Практика опережает теорию. Эффект воспроизводится надёжно, объяснение обсуждается до сих пор.

Наиболее употребимая рамка — новая теория неиспользования Bjork и Bjork (1992). В ней у элемента памяти два параметра:

• сила хранения (storage strength) — насколько прочно элемент встроен, растёт и практически не убывает;
• сила извлечения (retrieval strength) — насколько он сейчас доступен, быстро растёт и быстро падает.

Перечитывание поднимает силу извлечения (материал только что перед глазами — вот и ощущение знания), но слабо влияет на силу хранения. Успешная попытка вспомнить, особенно трудная, поднимает силу хранения сильнее. И ключевой контринтуитивный пункт: чем ниже сила извлечения в момент попытки — то есть чем больше вы успели забыть — тем больше прирост при успешном вспоминании.

Квадрант 2 — самая опасная зона и главный сюжет главы про иллюзию понимания. Квадрант 4 — зона, где приём окупается лучше всего, и одновременно та, куда неприятнее всего заходить.

Что касается механизма на уровне процессов, конкурируют как минимум две гипотезы. Гипотеза уточняющего извлечения (elaborative retrieval, Carpenter, 2009): попытка вспомнить активирует смежные признаки и создаёт дополнительные пути доступа. Эпизодически-контекстная гипотеза (Karpicke, Lehman, Aue, 2014): извлечение обновляет контекстную метку следа, и потому его легче найти в будущем контексте. Спор не закрыт.

Для практики это неважно ровно до того момента, когда вы начинаете достраивать рекомендации из механизма («значит, надо делать вот так»). Тогда — важно, потому что достраивать пока не из чего.

Границы: где данные заканчиваются

Раздел, ради которого стоит читать эту главу целиком. Дальше — четыре ограничения, о которых популярные пересказы обычно молчат.

1. На чём это проверяли

Подавляющее большинство экспериментов — это пары слов иностранного языка, короткие научно-популярные тексты, факты из биологии и истории, студенты и школьники, горизонт от одного дня до нескольких недель. Это ровно тот тип материала, который удобно измерять и который слабо похож на «уметь спроектировать очередь с гарантией доставки».

Ближе всего к нужному нам — работы про перенос. Butler (2010), «Repeated Testing Produces Superior Transfer of Learning Relative to Repeated Studying», JEP: Learning, Memory, and Cognition, показал преимущество извлечения на вопросах, требующих вывода в новой предметной области. Это обнадёживает, но масштаб задачи всё равно другой.

2. Перенос есть, но слабее самого эффекта

Pan и Rickard (2018), «Transfer of Test-Enhanced Learning: Meta-Analytic Review and Synthesis», Psychological Bulletin — самый трезвящий документ по теме. Обобщая: перенос эффекта существует, но он условен и меньше базового эффекта. Он надёжен, когда меняется формат вопроса или порядок, и заметно слабее для материала, который не извлекали, и для по-настоящему новых выводов.

Практический перевод: извлечение хорошо закрепляет то, что вы извлекали. Оно не превращается автоматически в умение решать соседние задачи. Это отдельная работа — глава про перенос знания целиком об этом.

3. На сложном материале эффект может проседать

Van Gog и Sweller (2015), «Not New, but Nearly Forgotten: The Testing Effect Decreases or Even Disappears as the Complexity of Learning Materials Increases», Educational Psychology Review, утверждают: с ростом взаимодействия элементов материала (когда части нельзя понять по отдельности — а это ровно случай инженерных систем) эффект убывает и в пределе исчезает.

Karpicke и Aue (2015), «The Testing Effect Is Alive and Well with Complex Materials», в том же журнале, возражают: эффект держится, а в проанализированных случаях дело в устройстве конкретных экспериментов.

Спор не разрешён. Честная позиция для нас: на сложном взаимосвязанном материале, каким является инженерное знание, размер эффекта неизвестен и может быть меньше лабораторного. Это не повод не применять — но повод не обещать себе лабораторных цифр.

4. На программировании контролируемых исследований почти нет

Я не могу назвать вам работу, где практику извлечения проверяли бы на промышленной разработке с нормальным контролем. Всё, что вы прочитаете дальше про формы приёма у инженера, — это перенос механизма по аналогии плюс отраслевой опыт, а не данные. Механизм правдоподобен, риск невелик, цена умеренная — поэтому применять разумно. Но если кто-то говорит «доказано, что программисты, использующие Anki, растут быстрее» — доказательства он вам не покажет.

Смежное поле, где данные есть: обучение медицине, где практику извлечения изучали на клинических случаях, и изучение языков. Оба ближе к инженерии, чем пары слов суахили, но всё же не она.

Как это выглядит у инженера

Ниже — формы приёма, отсортированные по тому, насколько дёшево их встроить в обычную рабочую неделю. Для каждой: что делать, чего стоит, когда не окупается.

Пустая страница после чтения

Что делать. Прочитали раздел документации или главу — закройте её и запишите на пустом листе всё, что помните: тезисы, имена, ограничения, случаи, когда штука не работает. Потом откройте и сверьте.

Цена. 5–10 минут на раздел, плюс неприятное ощущение провала на первых попытках. Ощущение никуда не денется — это сигнальная особенность приёма, а не признак того, что вы плохо читали.

Когда не окупается. Когда вы читаете справочный материал ради одноразовой задачи. Список флагов tar вспоминать не нужно, его нужно уметь искать.

Предсказание перед выполнением

Самая дешёвая форма, потому что не требует отдельного времени вообще.

Что делать. Перед тем как запустить код, прочитать логи, посмотреть план запроса или открыть ответ ИИ — вслух или письменно сформулируйте, что ожидаете увидеть. Одна фраза. Потом смотрите.

Это извлечение с немедленной и бесплатной обратной связью — редкое сочетание. И у него есть побочный эффект: несовпадение предсказания с реальностью показывает, где ваша модель системы неверна, а это самая ценная информация при отладке.

Цена. 10–20 секунд на итерацию и сопротивление привычки: гораздо приятнее просто нажать «запустить».

Когда не окупается. Когда вы работаете в режиме перебора вариантов и заведомо не имеете модели («попробую так, вдруг»). Тогда сначала нужна модель.

Восстановление кода по памяти

Что делать. Разобрали реализацию — закройте и напишите эквивалент сам. Не построчно наизусть, а функционально: те же гарантии, те же граничные случаи.

Классический материал для этого — короткие алгоритмы с коварными краями. Двоичный поиск подходит идеально: все его «знают», и почти все ошибаются в границах, когда пишут по памяти.

Сначала псевдокод — извлекать надо структуру, а не синтаксис:

двоичный_поиск(a, x):
    lo <- 0
    hi <- len(a)                  # полуинтервал [lo, hi)
    пока lo < hi:
        mid <- lo + (hi - lo) // 2   # без переполнения
        если a[mid] < x:
            lo <- mid + 1
        иначе:
            hi <- mid
    вернуть lo                    # первая позиция, где a[pos] >= x

Затем реализация:

def lower_bound(a: list[int], x: int) -> int:
    """Первый индекс, где a[i] >= x. Если такого нет — len(a).

    Инвариант цикла: ответ всегда лежит в полуинтервале [lo, hi).
    Именно инвариант нужно уметь восстановить, а не расстановку +1.
    """
    lo, hi = 0, len(a)
    while lo < hi:
        mid = lo + (hi - lo) // 2      # эквивалент (lo + hi) // 2 без переполнения
        if a[mid] < x:
            lo = mid + 1               # a[mid] точно не ответ
        else:
            hi = mid                   # a[mid] может быть ответом, границу не теряем
    return lo

Сложность: O(log n) по времени, O(1) по памяти — итеративная версия не расходует стек.

Обратная связь встроена: набор тестов сразу показывает, что именно вы вспомнили неправильно.

def check() -> None:
    assert lower_bound([], 5) == 0                    # пустой вход
    assert lower_bound([1, 3, 3, 3, 7], 3) == 1       # первое из дубликатов
    assert lower_bound([1, 3, 3, 3, 7], 4) == 4       # значения нет — точка вставки
    assert lower_bound([1, 3, 3, 3, 7], 0) == 0       # меньше всех
    assert lower_bound([1, 3, 3, 3, 7], 9) == 5       # больше всех
    assert lower_bound([2], 2) == 0                   # один элемент, попадание

Разбор самого алгоритма — в треке алгоритмов. Здесь он нужен как пример упражнения: короткое, с однозначным критерием правильности, с типичной ошибкой, которую вы сделаете ровно один раз, если поймаете её сами.

Цена. 15–40 минут на одну реализацию.

Когда не окупается. Для кода, который вы никогда не будете писать с нуля. Восстанавливать по памяти реализацию TLS-хендшейка бессмысленно; восстанавливать порядок его фаз и назначение каждой — осмысленно.

Восстановление архитектуры на бумаге

Что делать. Раз в несколько недель возьмите систему, с которой работаете, и нарисуйте по памяти: сервисы, хранилища, направление вызовов, что синхронно, что через очередь, где транзакционная граница, где ретраи. Потом откройте настоящую схему и сравните.

Это единственная известная мне форма, где расхождения полезны дважды. Половина расхождений — ваши пробелы. Другая половина — места, где схема устарела, а вы помните, как на самом деле. Оба открытия ценны, второе иногда дороже.

Цена. 20–30 минут. Хорошо ложится на недельный обзор, если он у вас есть — см. трек тайм-менеджмента.

Когда не окупается. В первую неделю в компании — вспоминать ещё нечего, сначала нужен первый проход.

Разбор собственной задачи без открытого диффа

Что делать. Задача закрыта — до того, как открывать PR, ответьте себе: что было причиной, какие гипотезы вы проверили и в каком порядке, какая из них оказалась ложной и почему вы в неё поверили, что в системе позволило багу дожить до продакшна. Потом откройте дифф и сверьте.

Это извлечение по эпизодической памяти, а не по фактической. Данных именно по такому формату у меня нет; предположение основано на том, что механизм тот же.

Цена. 10 минут на задачу. Реально мешает не время, а то, что после закрытия тикета голова уже в следующем.

Когда не окупается. На потоке мелких однотипных задач — там нечего извлекать.

Ревью как извлечение

Что делать. Открыв чужой PR, до чтения комментариев и до просмотра тестов сформулируйте: что здесь может сломаться. Потом читайте остальное.

Побочная польза: это ровно то умение, которое нужно при работе с кодом, сгенерированным моделью — см. проверку кода от ИИ. Читать сгенерированный код «сверху вниз, соглашаясь» — это перечитывание в чистом виде, со всеми его свойствами.

Цена. Пара минут на ревью.

Когда не окупается. На косметических диффах.

Карточки

Единственная форма, требующая инфраструктуры, и потому переоценённая.

Что делать. Заводить карточку только на то, что должно быть в голове в момент, когда искать некогда или негде: смысл понятия, различие между двумя близкими вещами, порядок фаз протокола, что означает конкретный код ошибки в вашей системе. Не на синтаксис, который подскажет IDE.

Формулировка карточки решает больше, чем выбор приложения. «Что такое идемпотентность» — плохая карточка: ответ можно промямлить и засчитать. «При каком условии повторная отправка платежа безопасна» — хорошая: ответ либо есть, либо нет.

Цена. Ведение колоды — это ежедневная привычка. Пропустили две недели — получили очередь из трёхсот повторений и бросили. Оценивайте не время создания карточки, а обязательство на месяцы вперёд.

Когда не окупается. Быстро устаревающее знание (версии, API конкретной библиотеки), знание, которое вы и так применяете каждый день, и знание, которое нужно раз в год — там дешевле хороший runbook. Разбор классов инструментов для хранения знания есть в главе про инструменты; режим повторений — в следующей главе.

Обратная связь: без неё приём меняет знак

Извлечение без проверки закрепляет то, что вы вспомнили, — включая неправильное.

Это не гипотеза. Roediger и Marsh (2005) и Butler с Roediger (2008, «Feedback Enhances the Positive Effect and Reduces the Negative Effect of Multiple-Choice Testing», Memory & Cognition) описали отрицательный эффект тестирования: выбранный неверный вариант из теста с вариантами ответа впоследствии всплывает как «знание». Обратная связь этот отрицательный эффект убирает.

Есть и приятная сторона. Butterfield и Metcalfe (2001) описали эффект гиперкоррекции: ошибки, сделанные с высокой уверенностью, после исправления запоминаются лучше, чем ошибки, сделанные наугад. Пойманное «я был уверен, и я был неправ» — самое ценное событие в сессии, а не самое обидное.

У инженера с обратной связью, по сравнению с большинством других профессий, ситуация исключительно хорошая: компилятор, тесты, прод. Подробнее — в главе про обратную связь.

Отдельный сюжет — модель в роли экзаменатора. Работает, но только в одном порядке.

Разница между двумя половинами диаграммы — это разница между извлечением и перечитыванием, только источник текста другой. Модель усиливает второй сценарий по умолчанию, потому что она отвечает мгновенно и связно. Это делает соблазн сильнее, чем с книгой.

Дополнительное предупреждение: модель уверенно ошибается в деталях. Как экзаменатор по фактам она ненадёжна — сверяйте с документацией. Как генератор вопросов и как оппонент («найди дыру в моём рассуждении») — полезнее. Механику этого разбирает глава про учёбу с ИИ, а как устроены сами модели — трек ai-basics.

Сколько раз извлекать

Ответ «до состояния, когда получается легко» неверен — как раз лёгкость означает, что вы в квадранте 2 и прирост минимален.

Rawson и Dunlosky (2011), «Optimizing Schedules of Retrieval Practice for Durable and Efficient Learning: How Much Is Enough?», JEP: General, сравнивали разное число успешных воспроизведений в рамках одной сессии и разное число сессий. Их вывод: доводить до трёх успешных воспроизведений в сессии и затем возвращаться к материалу в последующих сессиях эффективнее, чем гонять один и тот же элемент десять раз подряд за один присест. Число «три» — результат конкретных условий, а не универсальная константа; ценен принцип: выигрыш даёт распределение по сессиям, а не долбёжка внутри одной.

Отсюда естественный мост к следующей главе, потому что расстояние между попытками — отдельный параметр со своей доказательной базой.

Читать диаграмму стоит с одного места: Effortful — не промежуточная стадия по пути к Fluent, а рабочая зона. Материал, который вспоминается с усилием, приносит больше всего при каждом извлечении. Материал в Fluent тренировать почти бесполезно, при этом именно его приятнее всего повторять.

Антипаттерны

Список составлен из того, как приём ломается на практике. Данных о частоте этих ошибок у меня нет — это наблюдение, не измерение.

Отдельно назову три ошибки, которые чаще всего маскируются под работу.

Извлечение сразу после чтения. Через минуту после прочтения абзаца вы воспроизводите его из рабочей памяти. Ощущается как успех, стоит почти ничего. Нужен разрыв — хотя бы час, лучше день.

Пересказ при открытом тексте. В обзоре Dunlosky и коллег (2013) обобщение оценено низко именно потому, что обычно выполняется с материалом перед глазами. Закройте — и та же процедура переходит в высокую категорию.

Оптимизация оболочки вместо приёма. Выбор приложения для карточек, вёрстка шаблона, настройка синхронизации. Ощущается продуктивно, к извлечению отношения не имеет. Это тот же механизм, что и с системами заметок, разобранный в главе про инструменты.

Цена приёма

Раздел, которого обычно нет в статьях про retrieval practice.

Субъективно тяжелее. Это не издержка, а свойство: приём работает через усилие. Но переносить его вы будете хуже, чем перечитывание, и в дни высокой нагрузки он выпадет первым. Про распределение внимания и энергии — первая глава трека тайм-менеджмента.

Требует обратной связи. Без источника истины приём меняет знак. Это значит, что подготовка материала для извлечения — отдельная работа, и на неизученной территории, где вы сами не знаете правильного ответа, приём применять нельзя.

Медленнее на входе. Прочитать главу быстрее, чем прочитать и восстановить. Если ваша задача — разово сориентироваться в чужой библиотеке перед одноразовой интеграцией, извлечение не нужно. Оно окупается на горизонте месяцев.

Может подавлять смежное. Anderson, Bjork и Bjork (1994) описали вызванное извлечением забывание: активная тренировка части элементов категории временно ухудшает доступ к неизвлекавшимся элементам той же категории. Эффект небольшой и обратимый, но практический вывод есть: тренируйте всю значимую часть темы, а не три любимых вопроса из неё.

Не окупается на устаревающем. Всё, что меняется от версии к версии, дешевле держать в документации. Извлекать стоит инварианты: почему устроено так, какие гарантии даёт, при каких условиях ломается.

Три мифа, которые прицепляются к этой теме

«Извлечение — это зубрёжка, а нужно понимать». Зубрёжка — многократный повторный ввод без попытки достать. Ровно то, что во всех перечисленных экспериментах проигрывало. Противопоставление «зубрить или понимать» тут не работает: извлечение — способ проверить, что понимание вообще есть, а не альтернатива ему. Что такое понимание и чем оно отличается от узнавания — в главе 02.

«Мне это не подойдёт, я визуал». Гипотеза стилей обучения — что материал надо подавать в соответствии с предпочитаемой модальностью — не подтверждена. Pashler, McDaniel, Rohrer, Bjork (2009), «Learning Styles: Concepts and Evidence», Psychological Science in the Public Interest (SAGE): корректных проверок с нужным дизайном почти нет, а те, что есть, гипотезу не поддерживают. Willingham, Hughes и Dobolyi (2015), «The Scientific Status of Learning Styles Theories», Teaching of Psychology, приходят к тому же. Люди действительно предпочитают разные форматы — это правда; что подстройка под предпочтение улучшает результат — не подтверждено.

«Я просто плохо оцениваю свои знания, это же эффект Даннинга-Крюгера». В популярной подаче этот эффект искажён почти до неузнаваемости: «глупые люди считают себя умными». В исходной работе Kruger и Dunning (1999) речь о калибровке — расхождении между самооценкой и результатом, — а часть наблюдаемой картины объясняется статистически (регрессия к среднему), что подробно разобрано, например, у Gignac и Zajenkowski (2020) в Intelligence. Ссылаться на Даннинга-Крюгера здесь и не требуется: промах самооценки в экспериментах по извлечению объясняется проще — беглость восприятия текста ошибочно принимается за доступность знания. Разбор когнитивных искажений в целом — в треке по логике.

Про «10 000 часов» — тоже искажённый пересказ, но он относится к осознанной практике, и им занимается глава 08.

Протокол на две недели

Минимальная версия, которую можно начать завтра. Без обещаний результата — это способ проверить приём на себе, а не программа.

1. Одно предсказание в день. Перед запуском кода, чтением логов или ответом модели — одна фраза о том, что ожидаете. Стоимость около нуля.
2. Одна пустая страница в неделю. После существенного чтения — восстановить содержание по памяти, потом сверить. 10 минут.
3. Одна архитектурная схема за две недели. По памяти, потом сверка. 20 минут.
4. Журнал расхождений. Каждое место, где ожидание не совпало с реальностью, — одной строкой. Это и есть ваш список пробелов; он же — вход в главу про план обучения.

Собрать список тем, по которым вообще имеет смысл извлекать, помогает карта карьеры портала (/career/): она показывает пробелы относительно роли, а не относительно абстрактного идеала.

Что считать признаком, что приём работает — не «стало легче», а обратное: вы стали чаще ловить себя на том, что не знали того, что считали известным. Это и есть первый измеримый результат.

Мини-итог

• Извлечение из памяти — попытка воспроизвести без опоры на источник — имеет самую надёжную доказательную базу среди учебных приёмов. Ключевые работы: Roediger и Karpicke (2006), Karpicke и Roediger (2008), Karpicke и Blunt (2011); обобщения — Dunlosky и др. (2013), Rowland (2014), Adesope и др. (2017).
• Размер эффекта умеренный, порядка 0,5 стандартного отклонения, а не «в разы».
• Немедленная производительность и долгосрочное удержание расходятся. Метод, который ощущается лучше сразу, часто хуже через неделю.
• Повторный ввод уже усвоенного даёт мало; повторное извлечение — много. Асимметрия, а не градация.
• Границы: проверяли в основном на простом материале и коротких горизонтах; перенос существует, но слабее самого эффекта; на сложном взаимосвязанном материале эффект оспаривается; на промышленной разработке контролируемых данных практически нет.
• Без обратной связи приём закрепляет ошибки — это документированный отрицательный эффект, а не теоретическая опасность.
• Цена: субъективная тяжесть, необходимость источника истины, медленный вход, риск подавления смежного материала. Не окупается на одноразовом и быстро устаревающем знании.

Источники

• Roediger H. L., Karpicke J. D. (2006). Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention. Psychological Science, 17(3). doi:10.1111/j.1467-9280.2006.01693.x
• Karpicke J. D., Roediger H. L. (2008). The Critical Importance of Retrieval for Learning. Science, 319. doi:10.1126/science.1152408
• Karpicke J. D., Blunt J. R. (2011). Retrieval Practice Produces More Learning than Elaborative Studying with Concept Mapping. Science, 331. doi:10.1126/science.1199327
• Dunlosky J., Rawson K. A., Marsh E. J., Nathan M. J., Willingham D. T. (2013). Improving Students’ Learning With Effective Learning Techniques. Psychological Science in the Public Interest, 14(1). Открытый доступ
• Rowland C. A. (2014). The Effect of Testing Versus Restudy on Retention: A Meta-Analytic Review of the Testing Effect. Psychological Bulletin, 140(6).
• Adesope O. O., Trevisan D. A., Sundararajan N. (2017). Rethinking the Use of Tests: A Meta-Analysis of Practice Testing. Review of Educational Research, 87(3).
• Agarwal P. K., Nunes L. D., Blunt J. R. (2021). Retrieval Practice Consistently Benefits Student Learning: A Systematic Review of Applied Research in Schools and Classrooms. Educational Psychology Review, 33.
• Pan S. C., Rickard T. C. (2018). Transfer of Test-Enhanced Learning: Meta-Analytic Review and Synthesis. Psychological Bulletin, 144(7).
• Van Gog T., Sweller J. (2015). Not New, but Nearly Forgotten: The Testing Effect Decreases or Even Disappears as the Complexity of Learning Materials Increases. Educational Psychology Review, 27.
• Karpicke J. D., Aue W. R. (2015). The Testing Effect Is Alive and Well with Complex Materials. Educational Psychology Review, 27.
• Soderstrom N. C., Bjork R. A. (2015). Learning versus Performance: An Integrative Review. Perspectives on Psychological Science, 10(2).
• Bjork R. A., Bjork E. L. (1992). A New Theory of Disuse and an Old Theory of Stimulus Fluctuation. Материалы лаборатории — bjorklab.psych.ucla.edu
• Butler A. C. (2010). Repeated Testing Produces Superior Transfer of Learning Relative to Repeated Studying. JEP: Learning, Memory, and Cognition, 36(5).
• Butler A. C., Roediger H. L. (2008). Feedback Enhances the Positive Effect and Reduces the Negative Effect of Multiple-Choice Testing. Memory & Cognition, 36(3).
• Butterfield B., Metcalfe J. (2001). Errors Committed with High Confidence Are Hypercorrected. JEP: Learning, Memory, and Cognition, 27(6).
• Rawson K. A., Dunlosky J. (2011). Optimizing Schedules of Retrieval Practice for Durable and Efficient Learning: How Much Is Enough? JEP: General, 140(3).
• Smith M. A., Roediger H. L., Karpicke J. D. (2013). Covert Retrieval Practice Benefits Retention as Much as Overt Retrieval Practice. JEP: Learning, Memory, and Cognition, 39(6).
• Anderson M. C., Bjork R. A., Bjork E. L. (1994). Remembering Can Cause Forgetting: Retrieval Dynamics in Long-Term Memory. JEP: Learning, Memory, and Cognition, 20(5).
• Pashler H., McDaniel M., Rohrer D., Bjork R. (2009). Learning Styles: Concepts and Evidence. Psychological Science in the Public Interest, 9(3). SAGE
• Willingham D. T., Hughes E. M., Dobolyi D. G. (2015). The Scientific Status of Learning Styles Theories. Teaching of Psychology, 42(3).
• Kruger J., Dunning D. (1999). Unskilled and Unaware of It. Journal of Personality and Social Psychology, 77(6); критический разбор — Gignac G. E., Zajenkowski M. (2020). The Dunning-Kruger Effect Is (Mostly) a Statistical Artefact. Intelligence, 80.
• Прикладные материалы и подборки исследований: retrievalpractice.org, learningscientists.org

Что дальше

Мы разобрали, что делать: доставать из головы, а не заносить туда повторно. Осталось решить, когда это делать. Оказывается, момент попытки — отдельный параметр, и оптимальный момент наступает не тогда, когда материал свеж, а тогда, когда вы его уже начали забывать.

Интервальное повторение: забывание как инструмент