Иллюзия понимания: почему перечитывание не работает

Вы читаете статью про Raft. Первый проход — тяжело: термины, роли, таймауты. Второй проход — уже легче: знакомые слова, знакомая схема, всё логично. Третий — почти приятно, текст течёт, каждый абзац подтверждает предыдущий. Вы закрываете вкладку с ощущением «разобрался».

Через неделю коллега спрашивает: «а что произойдёт, если лидер отправил AppendEntries, получил подтверждение большинства, но упал до того, как сообщил об этом фолловерам?» И вы обнаруживаете, что не можете ответить. Не «забыли деталь» — вы не можете даже начать рассуждать, потому что у вас нет модели, из которой ответ выводится. У вас есть память о том, что текст был понятным.

Это не про плохую память и не про то, что вы недостаточно старались. Наоборот: вы старались ровно тем способом, который надёжнее всего производит ощущение понимания при минимальном приросте знания. Эта статья — про механизм такой подмены, про то, что о ней действительно показали эксперименты, и про то, как поймать её у себя, пока она не превратилась в неверное архитектурное решение.

Предыдущая глава — https://courses.digitable.life/post/learning/02-what-is-understanding/ — разобрала три разных уровня: узнавание, воспроизведение, перенос. Здесь мы смотрим на них с другой стороны: не «что такое понимание», а «почему вы не можете достоверно определить, есть ли оно у вас».

Проблема не в памяти, а в приборе

Учась, вы постоянно принимаете решения: читать ли дальше, вернуться ли к разделу, считать ли тему закрытой, идти ли писать код. Все эти решения опираются на одну величину — субъективную оценку собственного знания. В когнитивной психологии её называют суждением о выучивании (judgment of learning, JOL), а всю область — метапознанием.

Отсюда простая инженерная формулировка проблемы: обучение — это система с обратной связью, где датчик врёт систематически, а не случайно. Случайный шум усредняется. Систематическое смещение — нет: оно двигает все решения в одну сторону. Про то, почему смещённый датчик хуже шумного, есть отдельный разговор в https://courses.digitable.life/post/systems-thinking/03-feedback-loops/; здесь важно следствие: пока вы не откалибруете прибор, любые усилия по учёбе распределяются неправильно.

Ключ на схеме — пунктирные стрелки. Суждение строится по признаку, который доступен прямо сейчас (легко ли идёт обработка), а предсказать оно пытается то, что произойдёт потом и в других условиях. Это не поломка, а разумное эвристическое решение: в большинстве бытовых ситуаций лёгкость и знание коррелируют. Ломается эвристика ровно там, где лёгкость можно получить дёшево — например, не убирая ответ с экрана.

Часть 1. Из чего собирается ложное чувство знания

Беглость обработки

Основной источник — беглость (fluency): субъективная лёгкость, с которой мозг обрабатывает поступающий стимул. Беглость растёт от повторной встречи с материалом независимо от того, запомнился ли материал.

Самая наглядная демонстрация того, что беглость подменяет знание: Rhodes и Castel (2008, Memory predictions are influenced by perceptual information, Journal of Experimental Psychology: General) показывали слова разным шрифтом. Слова, набранные крупно, участники оценивали как более запоминающиеся — и ошибались: на реальное воспроизведение размер шрифта не влиял. Единственное, на что влиял крупный шрифт, — на лёгкость восприятия. Прибор среагировал на оформление.

Для инженера это означает неприятное: аккуратно свёрстанная документация с подсветкой синтаксиса и хорошей типографикой систематически завышает вашу оценку того, насколько вы её усвоили, по сравнению с тем же содержанием в виде плохо отформатированного RFC. Разница в усвоении при этом может быть нулевой или обратной.

Ответ на экране: foresight bias

Второй источник обнаружили Koriat и Bjork (2005, Illusions of competence in monitoring one’s knowledge during study, JEP: Learning, Memory, and Cognition). Когда вы изучаете пару «вопрос — ответ», ответ находится перед вами. В этот момент связь выглядит очевидной: конечно, ETag относится к условным запросам, что тут запоминать. Авторы назвали это foresight bias — смещение предвидения: на этапе изучения вы находитесь в условиях, принципиально отличных от условий проверки, потому что при проверке ответа рядом не будет.

Инженерная форма этого смещения встречается ежедневно. Вы читаете разбор бага в чужом пул-реквесте: «race condition из-за того, что проверка и запись не атомарны». Очевидно же. Чувство очевидности возникает потому, что диагноз стоит рядом с симптомом. Через месяц вы встречаете тот же класс бага в своём коде — без подписанного диагноза — и он не выглядит очевидным вообще.

Гладкое объяснение чужими словами

Третий источник — беглость чужой речи. Carpenter, Wilford, Kornell и Mullaney (2013, Appearing smart, Psychonomic Bulletin & Review) показывали участникам одну и ту же лекцию в двух подачах: уверенной, плавной — и запинающейся, с паузами и чтением по бумажке. Слушатели уверенной версии предсказывали, что запомнят существенно больше. На фактическом тесте разницы между группами не было.

Похожий по духу результат старше: Salomon (1984, Television is “easy” and print is “tough”, Journal of Educational Psychology) обнаружил, что материал, воспринимаемый как «лёгкий по природе носителя», получает меньше вложенного умственного усилия — и хуже усваивается, хотя субъективно кажется понятным.

Практический вывод про конференционные доклады: хороший спикер — это оптимизация вашей оценки собственного понимания, а не вашего понимания. Доклад — отличный способ узнать, что тема существует, и плохой способ ею овладеть.

Готовый ответ под рукой

Четвёртый источник самый свежий и для нашей аудитории самый важный. Fisher, Goddu и Keil (2015, Searching for explanations: How the Internet inflates estimates of internal knowledge, JEP: General) показали в серии экспериментов: люди, которые перед вопросом «насколько хорошо вы понимаете, как работает X» имели возможность что-то поискать в интернете, оценивали своё внутреннее знание выше — включая знание тем, которые они не искали. Ward (2021, People mistake the internet’s knowledge for their own, PNAS) воспроизвёл и уточнил эффект: люди затрудняются отделить «я знаю» от «у меня был доступ к знанию».

Честная оговорка: обе работы про поисковики, а не про языковые модели. Прямых контролируемых исследований, показывающих ровно тот же эффект от диалога с ИИ, на момент написания мало, и переносимость строго не доказана. Но механизм, который они описывают — смешение внутреннего и внешнего источника, — от природы источника не зависит, а ИИ доставляет ответ в более гладкой, более персонализированной и более уверенной форме, чем список ссылок. Ожидать меньшего смещения оснований нет. Подробнее об этом — https://courses.digitable.life/post/learning/14-learning-with-ai/.

Отложенное суждение калибруется лучше

Есть и хорошая новость про прибор. Nelson и Dunlosky (1991, The “delayed-JOL effect”, Psychological Science) показали: если попросить оценить своё знание не сразу после изучения, а спустя некоторое время и без материала перед глазами, точность предсказания резко возрастает.

Механизм понятен: сразу после чтения материал ещё «на поверхности», и суждение считывает доступность в кратковременной памяти. Через час доступность падает, и суждению приходится опираться на что-то более похожее на реальное состояние долговременного следа.

Это первое, что стоит внедрить: никогда не решайте «тема закрыта» в момент, когда закрыли текст. Такое решение принимается на следующий день, по результату попытки восстановить материал без источника.

Часть 2. Четыре сигнала, которые инженер принимает за понимание

Четвёртая строка требует пояснения, потому что она самая коварная. Фраза «Kafka гарантирует порядок в пределах партиции» — это не понимание, это сжатая формула, выученная как единица. Проверка глубины: почему в пределах партиции, а не топика; что именно ломается при max.in.flight.requests.per.connection больше единицы с включёнными ретраями; что произойдёт при смене лидера партиции. Если на этих вопросах модель заканчивается — у вас есть строка, а не механизм.

Разница между «есть ярлык» и «есть механизм» подробно разбирается в https://courses.digitable.life/post/learning/10-mental-models-and-transfer/; там же — почему знание, хранящееся ярлыками, не переносится на новые задачи.

Часть 3. Что показали эксперименты про перечитывание

Теперь к главному обещанию заголовка. Утверждение «перечитывание не работает» звучит слишком громко, поэтому разберём его аккуратно: что именно сравнивали, что получили и чего из этого не следует.

Хронология исследований

Что именно сравнивали

Типичный дизайн: участники читают текст, затем одна группа читает его ещё раз (иногда несколько), другая вместо этого проходит проверку — пытается воспроизвести содержание по памяти. Время работы с материалом уравнивается. Затем обе группы тестируют — сразу, через два дня или через неделю.

Важная деталь дизайна: сравнивают не «перечитывание против ничего», а перечитывание против другого использования того же времени. Это и есть инженерно осмысленный вопрос: время ограничено, и вопрос всегда «на что его потратить», а не «делать ли что-нибудь».

Результат первый: момент проверки решает всё

Rawson и Kintsch (2005, Rereading effects depend on time of test, Journal of Educational Psychology) показали, что выгода перечитывания сильно зависит от того, когда мерить. Перечитывание подряд, сразу вторым проходом, давало прирост на немедленной проверке — и почти не давало на отсроченной. Перечитывание с интервалом было заметно полезнее для отсроченной проверки.

Callender и McDaniel (2009, The limited benefits of rereading educational texts, Contemporary Educational Psychology) взяли реалистичные учебные тексты и разные виды проверки — и в серии экспериментов не обнаружили значимой выгоды от немедленного перечитывания.

Roediger и Karpicke (2006, Test-enhanced learning, Psychological Science, https://doi.org/10.1111/j.1467-9280.2006.01693.x) получили классическую инверсию: на проверке через пять минут группа «читал — перечитал» была лучше, на проверке через неделю — заметно хуже группы «читал — проверял себя». Конкретные проценты смотрите в самой статье; здесь важна форма зависимости, а не числа.

Результат второй: предсказания участников инвертированы

Самое неприятное для нас — не разница в результате, а разница в уверенности. В том же исследовании 2006 года участники предсказывали, что перечитывание сработает лучше. В работе Karpicke и Roediger (2008, The critical importance of retrieval for learning, Science, https://doi.org/10.1126/science.1152408) предсказания участников практически не различались между условиями, тогда как реальные результаты через неделю различались кратно.

Karpicke, Butler и Roediger (2009, Metacognitive strategies in student learning, Memory) опросили студентов о том, как они учатся сами: перечитывание оказалось самой популярной стратегией, самопроверку называло явное меньшинство. То есть люди массово выбирают приём, который хуже, потому что он даёт более сильный сигнал «получается».

Это ядро проблемы. Приём не просто менее эффективен — он активно вводит в заблуждение, и потому самоподдерживается: чем больше вы перечитываете, тем увереннее себя чувствуете, тем меньше оснований что-то менять.

Результат третий: сводная оценка приёмов

Dunlosky, Rawson, Marsh, Nathan и Willingham (2013, Improving Students’ Learning With Effective Learning Techniques, Psychological Science in the Public Interest, https://doi.org/10.1177/1529100612453266) разобрали десять популярных приёмов по критериям доказанности и обобщаемости. Итог, огрублённо:

Метаанализ по эффекту проверки — Rowland (2014, The effect of testing versus restudy on retention, Psychological Bulletin) — даёт средний размер эффекта порядка половины стандартного отклонения в пользу проверки над повторным изучением. Это существенно по меркам образовательных вмешательств, но это не «в два раза больше знаний»: размер эффекта сильно зависит от того, была ли обратная связь, каков интервал и какого типа финальный тест.

Чего из этого НЕ следует

Здесь легко перегнуть, и перегибают часто. Аккуратно:

Не следует, что читать не надо. Первое чтение — это ввод информации, без него извлекать нечего. Ни один эксперимент не сравнивал «проверять себя» с «прочитать хотя бы раз»; сравнивали второй, третий и четвёртый проход с альтернативным использованием того же времени.

Не следует, что любой второй проход бесполезен. Разнесённое во времени перечитывание работает лучше, чем подряд. И второй проход с другой целью — первый раз ради структуры, второй ради деталей реализации — это уже не то условие, которое проверяли в экспериментах. Про многопроходное чтение технических текстов есть отдельный разговор в https://courses.digitable.life/post/learning/11-reading-technical-texts/.

Не следует, что перечитывание нужно запретить. Оно уместно там, где текст был непонятен по существу: если вы не поняли фразу, никакая самопроверка не создаст понимание из ничего. Перечитывание — инструмент понимания, а не запоминания. Ошибка в том, чтобы применять его как средство закрепления.

Границы: на ком и на чём это проверяли

Обязательная часть, без которой предыдущие абзацы — реклама.

Что переносится с высокой уверенностью: сам факт, что беглость обманывает, и что оценивать себя надо отложенно и без материала перед глазами. Метакогнитивные иллюзии воспроизводились в десятках работ на разных материалах.

Что переносится хуже: конкретные размеры выигрыша. Для запоминания API, команд, синтаксиса и терминологии база применима почти напрямую — это близко к тому, что измеряли. Для проектных навыков — умения выбрать архитектуру, найти узкое место, спроектировать схему данных — прямых данных нет, и любой, кто говорит вам обратное, экстраполирует. Признаём это открыто.

Часть 4. Иллюзия глубины объяснения

Отдельный, очень практичный для инженера эффект. Rozenblit и Keil (2002, The misunderstood limits of folk science: an illusion of explanatory depth, Cognitive Science) просили людей оценить, насколько хорошо они понимают устройство обычных вещей — молнии на куртке, велосипеда, унитаза. Затем просили написать подробное пошаговое объяснение механизма. После этого просили оценить себя ещё раз. Оценки падали.

Ключевой момент: они падали именно после попытки породить объяснение, а не после того, как человеку сообщали правильный ответ. Достаточно было попробовать.

Отсюда самая дешёвая диагностическая процедура из всех известных: попробуйте объяснить механизм до конца, вслух или письменно, никуда не подглядывая. Не тезис, не название — цепочку причин. Место, где вы останавливаетесь или переходите на слова «ну там оно как-то само», и есть граница вашего понимания.

Инженерные вопросы, на которых процедура срабатывает особенно часто:

• Что конкретно делает git rebase с объектной базой и почему хеши коммитов меняются?
• Почему SELECT * FROM t WHERE status <> 'done' не возвращает строки, где status равен NULL?
• Что происходит между docker run и первой строкой лога приложения?
• Почему в HTTPS сертификат подтверждает подлинность, а шифрование обеспечивается не им?
• Что именно гарантирует уровень изоляции REPEATABLE READ и от чего он не защищает?

Родственный, но самостоятельный результат: Chi, Bassok, Lewis, Reimann и Glaser (1989, Self-explanations, Cognitive Science) обнаружили, что студенты, которые сами себе проговаривали разбираемые примеры, усваивали материал существенно лучше тех, кто просто читал примеры. Обзор 2013 года относит объяснение себе к приёмам умеренной полезности — то есть направление устойчивое, но данных меньше, чем по проверке и распределению.

И ещё старше — Glenberg, Wilkinson и Epstein (1982, The illusion of knowing, Memory & Cognition): читатели уверенно сообщали, что поняли текст, в котором они не заметили встроенных логических противоречий. Прямая аналогия — чтение чужого дизайн-документа: ощущение «всё логично» не означает, что вы проверили логику. Инструментарий для настоящей проверки аргументации есть в https://courses.digitable.life/post/logic/11-scientific-and-engineering-reasoning/.

Часть 5. Почему профессия усиливает эффект

У инженера четыре дополнительных усилителя иллюзии, которых нет у студента с учебником.

Узнавание тренируется, воспроизведение — нет. Код читается многократно чаще, чем пишется с нуля. Ежедневная практика — узнать конструкцию в чужом коде. Именно этот навык и растёт; способность породить решение с чистого листа тренируется на порядок реже. Отсюда классический разрыв: человек уверенно ревьюит код с паттерном, который сам написать не сможет. Контролируемых исследований именно про этот разрыв у инженеров я не знаю — это наблюдение отрасли, а не результат эксперимента, и относиться к нему надо соответственно.

«Оно работает» — очень плохая обратная связь. Зелёный прогон не отличает «понял» от «подобрал». Конфигурация, которая заработала после четвёртой попытки, даёт ровно тот же сигнал успеха, что и конфигурация, выведенная из модели. Про то, почему такая обратная связь закрепляет ошибки, — https://courses.digitable.life/post/learning/09-feedback/.

Инструменты снимают нагрузку с памяти. Автодополнение, подсказки типов, шаблоны, генерация кода — всё это уменьшает необходимость извлекать что-либо из памяти. Уменьшение усилия при работе почти всегда полезно; проблема в том, что то же уменьшение усилия во время обучения убирает ровно тот процесс, который создаёт прочное знание.

Отсрочка проверки измеряется месяцами. Студента проверяют на экзамене через две недели. Инженера проверяет инцидент через полгода — когда связь между «я тогда невнимательно прочитал про идемпотентность ретраев» и «мы задублировали платежи» уже не восстанавливается. Про длинные петли обратной связи и их коварство — https://courses.digitable.life/post/systems-thinking/05-delays/.

Практическая ценность этой картинки — во втором квадранте. Именно оттуда приходят решения, которые дорого стоят: человек не сомневается, поэтому не проверяет, поэтому не узнаёт, что ошибся, пока не станет поздно. Четвёртый квадрант, наоборот, почти безвреден: недооценка знания приводит к лишней перепроверке, а не к аварии.

Часть 6. Даннинг-Крюгер: что там на самом деле

Эффект Даннинга-Крюгера — самая цитируемая и самая искажённая вещь в этой теме, поэтому разберём её отдельно и по возможности точно.

Что было сделано. Kruger и Dunning (1999, Unskilled and unaware of it, Journal of Personality and Social Psychology) провели серию исследований, где участники выполняли задания (грамматика, логика, чувство юмора) и оценивали свою результативность в процентилях относительно других. Наблюдение: у людей из нижнего квартиля самооценка была заметно выше фактического результата, у людей из верхнего — немного ниже фактического.

Что говорят в интернете. «Некомпетентные считают себя экспертами, эксперты сомневаются в себе», и обязательно график с «пиком глупости» и «долиной отчаяния» по оси опыта.

Разница. Она принципиальная, минимум по трём пунктам.

Первое. Кривой с пиком и долиной в работе нет. Ось X у Крюгера и Даннинга — не «опыт» и не «время изучения темы», а квартиль фактической результативности участника. Никакой динамики во времени там не измеряли вообще: это поперечный срез, а не траектория обучения. Популярная кривая — интернет-фольклор, у которого нет источника данных.

Второе. Слабые участники не считали себя лучшими. Их самооценка была выше их реального результата, но всё равно ниже самооценки сильных участников. То есть люди частично чувствовали различия — просто недостаточно.

Третье, самое важное. Значительная часть картинки объясняется статистикой, а не психологией. Когда вы строите график «самооценка против результата» и сравниваете группы, отобранные по крайним значениям результата, регрессия к среднему и обычный шум измерения сами по себе порождают именно такую картину — даже если никакой связи между компетентностью и точностью самооценки нет. Gignac и Zajenkowski (2020, The Dunning-Kruger effect is (mostly) a statistical artefact, Intelligence) показали это на реальных данных с корректной методикой. Nuhfer с соавторами в серии работ в журнале Numeracy (2016–2017) продемонстрировали похожий вывод через симуляции со случайными числами: характерный «эффект» воспроизводится на выдуманных данных. Механику регрессии к среднему разбирает https://courses.digitable.life/post/logic/09-causal-probabilistic-statistical-fallacies/.

Что остаётся после вычитания артефактов. Осторожное утверждение: калибровка самооценки в среднем несколько хуже у людей с более слабым результатом, а переоценка себя — общечеловеческое свойство, а не свойство новичков. Это заметно менее эффектно, чем «Mount Stupid», и заметно ближе к истине.

Практический вывод. Даннинг-Крюгер не годится как объяснение чужого поведения — в этой роли он работает как удобное оскорбление, замаскированное под науку, и как аргумент от авторитета науки (см. https://courses.digitable.life/post/logic/07-relevance-and-position-fallacies/). Единственная полезная выжимка — та, что и без него верна: разрыв между уверенностью и результатом существует у всех, измеряется только проверкой и не определяется по ощущению.

Заодно два соседних мифа, которые в этой теме всплывают постоянно:

• «Стили обучения» — деление на визуалов, аудиалов и кинестетиков. Идея популярна, но проверки её не подтверждают: гипотеза требует, чтобы совпадение способа подачи с «типом» давало прирост, и именно этого совпадения в экспериментах не находят. Ключевой разбор — Pashler, McDaniel, Rohrer и Bjork (2008, Learning Styles: Concepts and Evidence, Psychological Science in the Public Interest). Практический вывод: способ подачи выбирают под материал, а не под себя. Схему рисуют потому, что материал пространственный, а не потому, что вы «визуал».
• «10 000 часов» — искажённый пересказ работ Эрикссона. У него речь не о часах вообще, а об осознанной практике в областях с чёткими критериями и быстрой обратной связью, и число 10 000 в его работах не было порогом мастерства. Подробный разбор — в https://courses.digitable.life/post/learning/08-deliberate-practice/.

Оба мифа держатся по той же причине, что и перечитывание: они приятны, объясняют неудачу внешними обстоятельствами и не требуют неприятной проверки.

Часть 7. Пробы: как поймать иллюзию у себя

Иллюзию нельзя заметить изнутри — по определению, она ощущается как понимание. Её можно только измерить. Ниже — пробы, каждая с ценой и границей применимости.

Последняя колонка — не формальность. Все эти пробы стоят времени, и применять их ко всему подряд — верный способ ничего не успеть. Правило распределения простое: глубина проверки пропорциональна цене ошибки и частоте будущего использования. То, что вы будете применять еженедельно в проде, проверяйте жёстко. То, что нужно один раз для разовой миграции, — не проверяйте вовсе, просто сделайте и сохраните конспект в https://courses.digitable.life/post/learning/13-notes-and-external-memory/.

Проба «предскажи вывод»

Самая дешёвая и самая обидная. Правило: прежде чем нажать «выполнить», запишите ожидаемый результат. Именно запишите — держать в голове не считается, память задним числом подстроится под увиденное.

# Проба 1. Замыкания в цикле.
# Запишите ответ, потом запустите.
funcs = [lambda: i for i in range(3)]
print([f() for f in funcs])

# Проба 2. Изменяемое значение по умолчанию.
def collect(item, bucket=[]):
    bucket.append(item)
    return bucket

print(collect(1))
print(collect(2))

# Проба 3. Порядок вычисления и целочисленное кеширование.
a = 256; b = 256
c = 257; d = 257
print(a is b, c is d)

Смысл не в самих загадках — их разбирали тысячу раз, и вы, скорее всего, «знаете про замыкания в цикле». Смысл в том, что узнавание темы («а, это про позднее связывание») и способность выдать конкретный вывод — разные вещи, и проба разводит их за десять секунд. Третий пример вдобавок показывает, где проходит граница между знанием языка и знанием деталей конкретной реализации CPython — и что не всякий разрыв надо закрывать.

То же самое работает на SQL, где ошибка стоит дороже:

-- Что вернёт запрос, если в таблице есть строки со status IS NULL?
SELECT count(*) FROM tasks WHERE status <> 'done';

-- А этот?
SELECT count(*) FROM tasks WHERE status NOT IN ('done', 'failed');

-- А этот, если подзапрос возвращает хотя бы один NULL?
SELECT count(*) FROM tasks WHERE id NOT IN (SELECT parent_id FROM tasks);

Все три вопроса про трёхзначную логику. Большинство инженеров уверенно скажут «да, знаю про NULL» — и меньшинство правильно предскажет третий результат.

Проба «восстановление по памяти»

После чтения технического текста закройте его и заполните шаблон. Пустые места в шаблоне и есть результат измерения — не повод для расстройства, а список того, что читать дальше.

## Raft, попытка восстановить 2026-07-16, источник закрыт

**Задача, которую решает:** ...
**Ключевые роли и переходы:** ...
**Что именно гарантируется:** ...
**Что НЕ гарантируется:** ...
**Режимы отказа, которые я могу назвать:** ...
**Место, где я остановился и не могу продолжить:** ...
**Вопросы к следующему проходу:** ...

Строка «место, где я остановился» — самая ценная часть. Она превращает расплывчатое «надо ещё раз посмотреть Raft» в конкретную задачу вида «разобраться, что происходит с незакоммиченными записями предыдущего лидера». Механику самого приёма разбирает https://courses.digitable.life/post/learning/04-retrieval/, планирование повторов — https://courses.digitable.life/post/learning/05-spaced-repetition/.

Правильный цикл вместо неправильного

Левая петля субъективно приятнее: каждый её виток повышает уверенность. Правая субъективно хуже: каждый её виток обнаруживает новые дыры и снижает уверенность. Именно поэтому без сознательного решения выбирается левая — и именно это делает тему главой трека, а не абзацем.

Почему трудность здесь работает в плюс, при каких условиях и где проходит граница между полезной и вредной трудностью — https://courses.digitable.life/post/learning/06-desirable-difficulties/.

Оптимистичная деталь напоследок: ошибка, сделанная с высокой уверенностью, после получения обратной связи исправляется особенно прочно. Butterfield и Metcalfe (2001, Errors committed with high confidence are hypercorrected, JEP: LMC) описали этот эффект, названный гиперкоррекцией. Практический смысл: момент, когда вы уверенно ошиблись и сразу узнали об этом, — не унижение, а самая продуктивная точка всего процесса обучения.

Часть 8. Чего мы не знаем

Раздел, обязательный для честности трека.

• Насколько эффекты переносятся на профессиональную работу. Почти вся база — лабораторные и аудиторные исследования на студентах, на текстах, с горизонтом недель. Полевые исследования в классах есть, исследований на практикующих инженерах — практически нет.
• Как иллюзия ведёт себя на сложном системном материале. Запомнить определение и построить модель распределённой системы — разные задачи. Эксперименты про перечитывание касались первого.
• Как именно взаимодействует иллюзия с ИИ-ассистентами. Есть надёжные данные про поисковики (Fisher и соавторы, 2015; Ward, 2021) и есть механизм, который логично распространяется на диалоговые модели. Прямых контролируемых результатов на диалоге с моделью мало, и говорить о размере эффекта преждевременно.
• Насколько устойчива идея «затруднить восприятие, чтобы улучшить обучение». Гипотеза про трудные шрифты выглядела красиво, но в дальнейших проверках вела себя нестабильно; например, Meyer с соавторами (2015, Journal of Experimental Psychology: General) не воспроизвели влияние затруднённого шрифта на задачи когнитивной рефлексии на большой выборке. Из «трудность помогает» не следует, что помогает любая трудность.
• Индивидуальные различия. Насколько сильно калибровка зависит от человека, тренируется ли она как отдельный навык и переносится ли между областями — вопросы с неполными ответами.

Если вам встретится источник, который по любому из этих пунктов говорит уверенно и без оговорок, — это повод усомниться в источнике, а не в разделе.

Типичные ошибки при попытке исправиться

Превратить всё в карточки. Реакция «раз перечитывание не работает, оцифрую весь материал в вопросы» приводит к системе, которую невозможно поддерживать. Проверка себя стоит времени; её надо тратить на то, что дорого и часто используется. Границы разумного объёма — в https://courses.digitable.life/post/learning/05-spaced-repetition/.

Спутать трудность с пользой. Плохо написанная документация трудна, но эта трудность не полезная. Полезна трудность извлечения и вариативности, а не трудность расшифровки.

Отказаться от чтения. Обратная крайность: «читать бесполезно, надо только практиковаться». Практика без ввода информации переизобретает велосипеды и закрепляет случайные решения.

Использовать главу как аргумент в споре. «У тебя иллюзия компетентности» — не аргумент, а нападение на личность; в отличие от проверяемого вопроса «покажи, как ты это проверял». Разбор таких приёмов — https://courses.digitable.life/post/logic/07-relevance-and-position-fallacies/.

Пытаться поймать иллюзию усилием воли. Не работает: изнутри иллюзия неотличима от знания. Работает только внешняя процедура — проба и сверка.

Мини-итог

• Решения об учёбе принимаются по субъективной оценке знания, а эта оценка систематически смещена в сторону лёгкости обработки материала.
• Беглость возникает от повторной встречи с текстом, от гладкого чужого объяснения, от ответа, который стоит рядом с вопросом, и от доступного внешнего источника. Ни один из этих признаков не связан с прочностью вашего знания.
• Немедленное перечитывание даёт слабый и краткосрочный прирост и при этом сильно повышает уверенность. Из-за второго оно самоподдерживается: приём, который вводит в заблуждение, выбирают чаще, чем приём, который работает.
• Перечитывание не запрещено. Оно инструмент понимания непонятного, а не инструмент закрепления.
• Иллюзию нельзя заметить изнутри — только измерить: восстановление без источника, объяснение механизма до конца, предсказание вывода до запуска, отложенное суждение о собственном знании.
• Даннинг-Крюгер в популярной подаче — миф: кривой с «пиком глупости» в первоисточнике нет, а значительная часть эффекта объясняется регрессией к среднему.
• Глубина проверки должна быть пропорциональна цене ошибки и частоте будущего использования. Проверять всё одинаково жёстко — способ ничего не выучить.

Источники

• Dunlosky J., Rawson K. A., Marsh E. J., Nathan M. J., Willingham D. T. (2013). Improving Students’ Learning With Effective Learning Techniques. Psychological Science in the Public Interest, 14(1). https://doi.org/10.1177/1529100612453266
• Roediger H. L., Karpicke J. D. (2006). Test-Enhanced Learning. Psychological Science, 17(3). https://doi.org/10.1111/j.1467-9280.2006.01693.x
• Karpicke J. D., Roediger H. L. (2008). The Critical Importance of Retrieval for Learning. Science, 319(5865). https://doi.org/10.1126/science.1152408
• Karpicke J. D., Butler A. C., Roediger H. L. (2009). Metacognitive strategies in student learning: Do students practise retrieval when they study on their own? Memory, 17(4).
• Callender A. A., McDaniel M. A. (2009). The limited benefits of rereading educational texts. Contemporary Educational Psychology, 34(1).
• Rawson K. A., Kintsch W. (2005). Rereading effects depend on time of test. Journal of Educational Psychology, 97(1).
• Koriat A., Bjork R. A. (2005). Illusions of competence in monitoring one’s knowledge during study. JEP: Learning, Memory, and Cognition, 31(2).
• Rhodes M. G., Castel A. D. (2008). Memory predictions are influenced by perceptual information. JEP: General, 137(4).
• Nelson T. O., Dunlosky J. (1991). The “delayed-JOL effect”. Psychological Science, 2(4).
• Glenberg A. M., Wilkinson A. C., Epstein W. (1982). The illusion of knowing. Memory & Cognition, 10(6).
• Rozenblit L., Keil F. (2002). The misunderstood limits of folk science: an illusion of explanatory depth. Cognitive Science, 26(5).
• Chi M. T. H., Bassok M., Lewis M. W., Reimann P., Glaser R. (1989). Self-explanations. Cognitive Science, 13(2).
• Carpenter S. K., Wilford M. M., Kornell N., Mullaney K. M. (2013). Appearing smart. Psychonomic Bulletin & Review, 20(6).
• Salomon G. (1984). Television is “easy” and print is “tough”. Journal of Educational Psychology, 76(4).
• Rowland C. A. (2014). The effect of testing versus restudy on retention: a meta-analytic review of the testing effect. Psychological Bulletin, 140(6).
• Kruger J., Dunning D. (1999). Unskilled and unaware of it. Journal of Personality and Social Psychology, 77(6).
• Gignac G. E., Zajenkowski M. (2020). The Dunning-Kruger effect is (mostly) a statistical artefact. Intelligence, 80.
• Nuhfer E. и соавторы (2016–2017). Серия работ о самооценке и случайном шуме в журнале Numeracy.
• Pashler H., McDaniel M., Rohrer D., Bjork R. (2008). Learning Styles: Concepts and Evidence. Psychological Science in the Public Interest, 9(3).
• Fisher M., Goddu M. K., Keil F. C. (2015). Searching for explanations. JEP: General, 144(3).
• Ward A. F. (2021). People mistake the internet’s knowledge for their own. PNAS, 118(43).
• Butterfield B., Metcalfe J. (2001). Errors committed with high confidence are hypercorrected. JEP: Learning, Memory, and Cognition, 27(6).
• Bjork R. A., Bjork E. L. (1992). A new theory of disuse and an old theory of stimulus fluctuation.
• Slamecka N. J., Graf P. (1978). The generation effect: Delineation of a phenomenon. JEP: Human Learning and Memory, 4(6).

Большинство перечисленных работ находится по названию и авторам; часть выложена авторами в открытый доступ на страницах лабораторий — в частности, лаборатории Bjork Learning and Forgetting Lab (UCLA) и лаборатории Генри Рёдигера в Университете Вашингтона в Сент-Луисе.

Что дальше

Мы разобрали, почему субъективное чувство понимания нельзя использовать как измерительный прибор, и вскользь назвали приём, который в исследованиях устойчиво выигрывает у перечитывания. Дальше — подробно про него: как устроено извлечение из памяти, почему оно работает, в каких формах применяется у инженера и где перестаёт окупаться.

Извлечение из памяти: главный рабочий приём