Few-shot prompting: как обучать нейросеть примерами

Few-shot полезен, когда одного описания правил недостаточно: категории похожи, стиль трудно передать словами или ответ должен иметь строгую структуру. Примеры не превращают модель в обученную на вашей базе систему и работают только в пределах текущего контекста.

Что такое few-shot prompting

В запрос добавляют несколько демонстраций нужного поведения, а после них — новую задачу. Модель продолжает обнаруженный шаблон.

Запишите критерий правильного ответа до выбора демонстраций.

Сравните результат с zero-shot на одном тестовом наборе.

Пример. Для обращений показывают вопрос, категорию и краткую причину выбора.

Чем zero-shot отличается от few-shot

Zero-shot опирается только на инструкцию. Few-shot добавляет образцы, когда границу категории или стиль проще показать.

Сначала испытайте короткую инструкцию, затем добавляйте примеры только для подтверждённых ошибок.

Считайте прирост качества и расход контекста.

Пример. Ясное извлечение даты может работать без примеров, а различение жалобы и запроса возврата — требовать их.

Как выбирать примеры

Набор должен отражать частые случаи, важные исключения и реальные варианты языка. Пять почти одинаковых образцов создают ложную уверенность.

Покройте разные длины, формулировки и классы, сохранив баланс.

Проверьте, нет ли в примере признака, который случайно выдаёт ответ.

Пример. Если все жалобы длинные, модель может принять длину за категорию.

Как оформлять примеры в промпте

Единый разделитель и одинаковые поля помогают отличить демонстрации от нового входа.

Используйте явные метки INPUT, OUTPUT и отдельный блок TASK.

Подайте текст с похожими разделителями и убедитесь, что структура не ломается.

Пример. JSON-пример проверяют валидатором до добавления в рабочий запрос.

Сколько примеров нужно

Количество определяется сложностью границы и размером контекста. Каждый образец должен добавлять новую информацию.

Добавляйте по одному примеру и прекращайте, когда качество на отложенном наборе перестало расти.

Следите за стоимостью, задержкой и долей обрезанного входа.

Пример. Три разных примера часто полезнее десяти вариантов одной фразы.

Как избежать утечки ответа

Тестовые данные не должны повторять демонстрации или содержать их слегка изменённые копии.

Разделите примеры по источникам и времени до настройки промпта.

Проверяйте уникальность и близость формулировок.

Пример. Шаблон с заменённым именем остаётся тем же примером и не годится для честного теста.

Как тестировать few-shot prompt

Нужны обычные, редкие, неоднозначные и ошибочные входы. Метрика задаётся до просмотра результата.

Сохраняйте ответ, ожидаемый класс и причину расхождения.

Повторяйте прогон после смены модели или порядка примеров.

Пример. Если перестановка демонстраций меняет половину ответов, процесс нестабилен.

Когда примеры вредят

Устаревший образец закрепляет старое правило, чувствительные данные попадают в контекст, а противоречащие примеры запутывают модель.

Назначьте владельца набора и дату проверки.

Удаляйте пример только после регрессии без него.

Пример. Старый тариф в демонстрации способен появиться в новом ответе, даже если инструкция обновлена.

Когда нужно дообучение или поиск по базе

Few-shot не хранит знания между запросами и плохо подходит для большого меняющегося справочника.

Для фактов используйте поиск по источникам, а дообучение рассматривайте для устойчивого поведения на большом наборе.

Отделяйте качество знаний от качества формата.

Пример. Ответ по текущему регламенту берётся из базы, а few-shot задаёт форму цитирования.

Какие материалы продолжат работу

Соседние задачи раскрыты отдельно: промпт-инжиниринг, основа промпта, системный промпт, промпты для маркетолога, проверка фактов, генеративный ИИ. Такое разделение сохраняет один поисковый интент у страницы и даёт читателю следующий шаг без повторения целых инструкций.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «что такое few-shot prompting» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «чем zero-shot отличается от few-shot» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «как выбирать примеры» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «как оформлять примеры в промпте» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «сколько примеров нужно» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «как избежать утечки ответа» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «как тестировать few-shot prompt» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «когда примеры вредят» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «когда нужно дообучение или поиск по базе» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «что такое few-shot prompting» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «чем zero-shot отличается от few-shot» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «как выбирать примеры» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «как оформлять примеры в промпте» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «сколько примеров нужно» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «как избежать утечки ответа» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «как тестировать few-shot prompt» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «когда примеры вредят» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «когда нужно дообучение или поиск по базе» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «что такое few-shot prompting» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «чем zero-shot отличается от few-shot» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «как выбирать примеры» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «как оформлять примеры в промпте» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «сколько примеров нужно» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «как избежать утечки ответа» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «как тестировать few-shot prompt» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «когда примеры вредят» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «когда нужно дообучение или поиск по базе» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «что такое few-shot prompting» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «чем zero-shot отличается от few-shot» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «как выбирать примеры» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «как оформлять примеры в промпте» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «сколько примеров нужно» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Добавляйте отрицательный пример только с правильным ожидаемым действием, иначе он обучает ошибке. Этот контроль относится к этапу «как избежать утечки ответа» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Не оценивайте стиль и точность одной общей отметкой: улучшение одного свойства может скрыть провал другого. Этот контроль относится к этапу «как тестировать few-shot prompt» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Синтетические примеры должны сохранять структуру реальной ошибки, иначе тест получится слишком лёгким. Этот контроль относится к этапу «когда примеры вредят» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Храните примеры как версионируемый набор, а не внутри личного документа автора. Этот контроль относится к этапу «когда нужно дообучение или поиск по базе» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Практическая проверка. Порядок демонстраций тоже влияет на ответ, поэтому фиксируйте его в тесте. Этот контроль относится к этапу «что такое few-shot prompting» и должен завершаться записанным решением, владельцем и датой следующей проверки.

Чек-лист