Урок 1. Как работают LLM: токены, контекст, температура, галлюцинации

Зачем это L&D-специалисту

Если вы прошли Модуль 1, вы уже знаете как отправлять API-запросы. Но отправить запрос и получить полезный ответ — разные вещи. Одна и та же модель может выдать сухой справочный текст или креативную идею для курса. Разница — в настройках, которые вы передаёте в запросе.

LLM — это не магия. Это инструмент с ручками и рычагами: температура, контекстное окно, системный промпт, токены. Если вы не знаете, как они работают, — вы гадаете. Если знаете — вы управляете.

Этот урок — про то, чтобы заглянуть под капот. После него вы будете не просто «пользоваться ChatGPT», а осознанно настраивать модель под свою задачу: фасилитацию, генерацию контента, аналитику, код.

Что такое LLM

LLM (Large Language Model — большая языковая модель) — это программа, которая предсказывает следующее слово в тексте. Не думает, не понимает, не имеет мнения. Она смотрит на то, что вы написали, и вычисляет: какое слово вероятнее всего должно идти дальше.

Вы пишете: «Столица Франции — ...» Модель перебирает варианты: «Париж» — 99.7%, «Лион» — 0.1%, «Марсель» — 0.05%. Выбирает самый вероятный. Потом предсказывает следующее слово. И следующее. Так рождается ответ.

Токены

Модель не работает с буквами или словами напрямую. Она разбивает текст на токены — смысловые кусочки. Слово может быть одним токеном, а может — несколькими.

Почему это важно: вы платите за токены. И входные (ваш запрос), и выходные (ответ модели) считаются. Ограничение max_tokens в параметрах запроса задаёт максимум выходных токенов.

Как считать: В OpenRouter Playground количество токенов показывается под полем ввода. Правило большого пальца: 1 токен ≈ 0.75 слова на английском, ≈ 0.5 слова на русском. Точнее — через токенизатор OpenAI (platform.openai.com/tokenizer).

Контекстное окно

Контекстное окно — это сколько токенов модель может «видеть» одновременно. Всё, что в окне, модель учитывает при генерации следующего слова. Всё, что за окном, — не существует.

Важно: большой контекст = больше токенов = дороже запрос. Не гонитесь за максимумом. Для большинства L&D-задач (анализ вакансии, генерация карточки курса, ревью программы) хватает 8–16K.

И ещё: модели хуже «читают» середину длинного контекста (проблема lost-in-the-middle). Самое важное — в начало или конец запроса.

Температура

Температура (temperature) — параметр от 0 до 2, который управляет «креативностью» ответа. Технически: насколько модель готова выбирать не самое вероятное слово, а менее вероятные варианты.

Галлюцинации

Галлюцинация — когда модель выдаёт уверенный, складный, но ложный ответ. Не потому что «врёт», а потому что предсказала неправильное слово и дальше достроила логичную, но вымышленную картину.

5 способов снизить галлюцинации

1. Системный промпт. Добавьте в system-сообщение: «Если ты не знаешь точного ответа — скажи об этом. Не придумывай факты, цифры, исследования и имена, которых нет в предоставленных материалах». Это снижает галлюцинации на 30–40%.
2. T=0 или низкая температура. Для фактологических задач (даты, цифры, нормативы) — только детерминированный режим. Креативность здесь вредит.
3. Внешний источник. Не спрашивайте модель «Какие KPI у L&D в IT-компаниях?» — дайте ей статью или исследование и попросите извлечь данные. Модель работает с тем, что вы положили в контекст, а не со своей «памятью».
4. Самопроверка. Попросите модель: «Проверь свой ответ. Найди в нём утверждения, которые нельзя подтвердить, и отметь их». Или используйте две модели: одна генерирует, вторая проверяет.
5. Формат вывода. Для фактов просите JSON или таблицу с обязательным полем "source" — это дисциплинирует модель и делает пробелы видными сразу.

Когда галлюцинации допустимы: мозговой штурм, идеи, сторителлинг, черновики постов. Если модель «придумала» несуществующий кейс для поста — не страшно. Вы проверите и поправите.

Когда галлюцинации критичны: цифры для отчёта, ссылки на закон, медицинские данные, статистика для руководства. Здесь — только T=0 + внешние источники + проверка.

После практики

Чек-лист готовности

Артефакт урока

После урока в вашем проекте должны появиться:

ваш-проект/
└── module-02/
    ├── llm-дневник.md          ← наблюдения по упражнениям
    ├── exercise-02-temp/       ← скриншоты/заметки по температуре
    └── exercise-05-hallucinations/  ← скриншоты галлюцинаций

Что дальше

В следующем материале — RAG (Retrieval-Augmented Generation). Вы научитесь подключать к модели внешние источники: документы, базы знаний, курсы. Модель будет отвечать не «из головы», а по вашим материалам. Это фундамент для AI-ассистента методиста.