Очень начитанная машина

Почему нейросеть отвечает ерундой — и четыре слова, которые всё меняют

Она отвечает вам уверенно, по делу и красиво — и при этом не понимает ни слова из того, что написала. Это не метафора и не преувеличение. Это буквальная инженерная правда о том, как устроен каждый чат-бот на основе большой языковой модели. И именно это противоречие — ключ ко всему, что вы сейчас услышите.

Внутри нет мыслящего существа. Есть очень сложная математическая машина, которая разбивает любой текст на кусочки — их называют токенами, это может быть часть слова, целое слово или знак препинания — и на каждом шаге решает один-единственный вопрос: какой кусочек будет следующим? Не «что я хочу сказать», а буквально: какое продолжение наиболее вероятно, исходя из всего, что шло до него?

Представьте человека, который прочитал несколько сотен миллиардов слов — книги, статьи, форумы, научные журналы, чаты, инструкции, рецепты, законы, романы, комментарии к роликам. Всё подряд, без разбора. И теперь, когда вы пишете ему фразу, он не думает в обычном смысле — он мгновенно чувствует, как эта фраза обычно продолжается в текстах, которые он читал. Вот это и есть языковая модель. Невероятно начитанная. Без глаз, без рук, без памяти о вас после окончания разговора — и без понимания в том смысле, в каком понимаете вы.

Сейчас у кого-нибудь из вас, возможно, мелькнула мысль: «Но она же отвечает так, будто понимает!» Да. Именно поэтому мы тут и разговариваем. Потому что разница между «звучит как понимание» и «является пониманием» — не очевидна снаружи, и она имеет серьёзные практические последствия.

Из этого сразу следует одна важная вещь. Модель не хранит готовый ответ где-то внутри и не «достаёт» его, когда вы спрашиваете. Она строит его прямо сейчас, слово за словом, шаг за шагом. Поэтому один и тот же вопрос при разных настройках даст разные ответы — и это не сбой, это конструктивная особенность.

Эту особенность инженеры назвали температурой генерации. Звучит технически, но идея простая. Представьте ручку регулировки: повернули влево — машина выбирает самый безопасный, самый предсказуемый следующий токен. Повернули вправо — она рискует, выбирает менее очевидные варианты. При низкой температуре ответы стабильны и однообразны. При высокой — неожиданны: иногда блестящи, иногда совершенно мимо. Когда чат-бот выдаёт вам что-то по-настоящему неожиданное и точное — скорее всего, температура была чуть выше среднего. Когда несёт ерунду с большой уверенностью — тоже. Это одна и та же ручка, и она работает в обе стороны.

Теперь — самое важное для тех, кто хочет получать от этих машин пользу, а не красивый туман.

Промпт. Слово, которое вы наверняка уже слышали. Некоторые думают, что это заклинание: произнеси правильные слова в правильном порядке — и машина откроет все двери. Это не так. Промпт — это бриф. Техническое задание. Инструкция для исполнителя. И чем точнее бриф, тем точнее результат. Ровно как в жизни: если вы просите строителя «сделать что-нибудь с ванной», не удивляйтесь результату.

Есть четыре вещи, которые стоит включить в любую серьёзную просьбу к нейросети. Первое — роль: кем должна быть машина в этом разговоре? Редактором, юристом, школьным учителем, другом с медицинским образованием? Второе — контекст: что уже известно, для кого это, зачем? Третье — конкретика: что именно вы хотите получить — список, текст, таблицу, краткое или развёрнутое? Четвёртое — пример или критерий: как выглядит хороший результат в вашем представлении?

Возьмём живой пример. Вы хотите написать открытку бабушке на день рождения и просите нейросеть помочь. Пишете: «Напиши поздравление с днём рождения». И получаете: «Дорогая именинница! Пусть каждый день приносит радость, здоровье и тепло близких!» Формально — поздравление. По сути — заготовка, которую рассылают всем подряд. Потому что машина не знала ничего: ни кто бабушка, ни сколько ей лет, ни какой у вас с ней характер отношений.

А теперь тот же запрос с брифом: «Ты помогаешь писать личные послания. Мне нужна короткая поздравительная открытка для бабушки. Ей исполняется восемьдесят лет, она любит юмор, мы с ней давно не виделись, тон должен быть тёплым, немного шутливым, без пафоса, три-четыре предложения.» Результат будет живым, с характером — именно тем, что вы имели в виду. Та же машина, тот же момент — разница только в брифе.

Или другой пример. Просите: «Напиши смешную песню про кота». Получаете куплет с рифмой «кот-живёт». Нормально, но скучно. Просите иначе: «Ты автор детских песен. Напиши весёлую песенку про рыжего кота, который боится пылесоса. Три куплета, простой ритм, рифмовка через строчку, для детей четырёх-шести лет.» Это — уже работа. Точка опоры изменила всё.

Самая распространённая ошибка в запросах — противоречивые инструкции. «Объясни кратко, но очень подробно». «Без терминов, но технически точно». «По-простому, как в энциклопедии». Машина не спорит — она пытается выполнить обе инструкции одновременно, и получается каша. Вторая ошибка — слишком широкий вопрос без границ: машина заполняет пространство универсальным общим текстом, потому что не понимает, какой именно угол вас интересует. Третья — отсутствие критерия результата: если не сказать, что нужен список из пяти пунктов, а не эссе — скорее всего, будет эссе.

И ещё одна тонкость, которую замечают не сразу. Одна и та же формулировка может дать разные результаты в зависимости от того, что написано рядом с ней в диалоге. Модель воспринимает весь накопленный контекст разговора — и иногда добавление одной, казалось бы, уточняющей фразы сдвигает вероятности в сторону другого шаблона и делает ответ хуже. Это не интуитивно. И это правда так работает.

Теперь про галлюцинации. Это слово вошло в обиход быстро, потому что явление оказалось массовым и коварным именно там, где его меньше всего ждут.

Модель не лжёт в том смысле, в каком лжёт человек — намеренно, зная правду. Она оптимизирует правдоподобный текст, а не проверенную истину. Если в её обучающих данных или в текущем контексте не хватает опоры для ответа — она всё равно продолжает строить текст наиболее вероятными словами. И этот текст выглядит точно так же, как правдивый: уверенно, гладко, с нужными оборотами речи.

В две тысячи двадцать третьем в американских судах разразился показательный скандал. Юристы подали документы, в которых ссылались на судебные прецеденты. Прецеденты были оформлены правильно, в правильном юридическом стиле, с реквизитами — и при этом не существовали. Их сгенерировал ChatGPT. Судья обнаружил это при проверке. Юристы оказались в крайне неловком положении. Этот случай разобрали как учебниковый пример: красивый юридический текст не равен проверенной юридической информации.

Особенно опасны запросы, где нужна точная цифра, конкретная дата, точная цитата, ссылка на источник, медицинская рекомендация, финансовый расчёт. Именно в этих случаях модель звучит наиболее уверенно — и именно в этих случаях ошибается незаметно для читателя. Текст выглядит как нормальная энциклопедическая проза. Ошибка замечается только при проверке по первоисточнику.

Кто-то сейчас думает: «Хорошо, но ведь нейросеть часто говорит правильно?» Да, часто. Именно это делает её ненадёжность особенно трудной для обнаружения. Когда человек говорит ерунду, у него обычно что-то меняется в голосе или поведении. У модели — нет. Уверенный тон при правильном ответе и уверенный тон при вымышленном ответе звучат одинаково.

Практическое правило одно: чем выше цена ошибки — тем меньше доверяйте ответу без внешней проверки. Особое внимание — на слова «точно», «гарантированно», «официально». Если модель ссылается на конкретный документ — проверьте, существует ли он, прежде чем на него опираться.

Есть простой приём для проверки прямо в диалоге. Если модель называет конкретную цифру, имя или ссылку — спросите её: «Откуда это? Можешь указать источник?» Хорошая модель скажет честно: «Я не могу гарантировать точность, проверьте по первоисточнику». Плохая — уверенно назовёт источник, которого нет. Это тоже сигнал, который стоит уметь считывать.

Отдельный разговор — голосовые подделки. Это уже другой, но технологически родственный класс инструментов: они умеют имитировать голос конкретного человека по нескольким секундам записи. Здравый скептицизм к голосовым сообщениям с незнакомых номеров — уже разумная привычка, а не паранойя.

Вернёмся к температуре, о которой говорили раньше. При высоких её значениях модель иногда выдаёт формулировку, до которой вы сами бы не додумались: неожиданную связку идей, нестандартный угол, образ, который точнее вашего собственного. Именно поэтому её используют в творческих задачах — написать концепцию, придумать название, найти неочевидный подход. Но та же высокая температура в задаче, где нужна фактическая точность, — это риск. Факт, который «звучит правдиво», может оказаться конструктом из знакомых шаблонов, за которым нет реального основания.

Сейчас большие языковые модели быстро движутся в сторону «уметь действовать по инструкциям и опираться на внешние проверенные источники». Растёт и дисциплина верификации: компании и пользователи всё чаще требуют не просто красивый ответ, а ответ с возможностью проследить, откуда взята каждая деталь. Это правильное направление, и оно уже меняет то, как разработчики думают о следующем поколении этих систем.

Но пока эти инструменты такие, какие они есть — невероятно полезные и принципиально ненадёжные в одних и тех же местах — самое честное, что можно сказать, звучит так. С этой машиной разговаривают именно как с умным, очень начитанным, но незрячим и забывчивым помощником: уважительно, конкретно, с хорошим брифом — и с пониманием, что последнее слово в любом случае остаётся за вами.

Это была совместная рубрика «О, Мой Гид» и «Ого» — сервиса, где всё из этой лекции можно попробовать руками: картинки, песни, видео и голоса. А у нас закажите аудиоэкскурсию про любое место или явление на земле — и проверьте четыре кита из этой лекции на живом собеседнике.