Оптимизация промпта — это последовательное улучшение уже существующего запроса по найденной ошибке и тестовым примерам. Сначала фиксируют исходный ответ, затем меняют один элемент: цель, контекст, д
Коротко. Оптимизация промпта — это управляемое сравнение версий, а не попытка сразу написать идеальную инструкцию. Сохраните исходный запрос и ответ, назовите один дефект, измените только связанное с ним условие и прогоните одинаковый набор примеров. Побеждает версия, которая стабильно проходит заранее записанные критерии и требует меньше ручных исправлений.
Граница материала. Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья.
Основной запрос. оптимизация промпта.
Зафиксируйте исходный промпт
Сохраните запрос, модель, настройки и фактический ответ. Без исходной версии невозможно понять, какое изменение улучшило результат.
Факт для «Зафиксируйте исходный промпт». Событие «ответ на тестовом примере» подтверждает завершение этапа «Зафиксируйте исходный промпт». Метрика «доля пройденных критериев» получает одинаковое окно, а рядом с «доля пройденных критериев» остаются знаменатель, источник и час среза. Так вывод по «Зафиксируйте исходный промпт» можно проверить отдельно от сезонности и общей динамики базы.
Малый сценарий «Зафиксируйте исходный промпт». Результат этапа «Зафиксируйте исходный промпт» сначала сопоставляют с объектом «журнал изменений». Риск «регрессия на сложном случае» служит стоп-сигналом для «Зафиксируйте исходный промпт»: команда возвращает подтверждённое состояние, находит изменённое условие и лишь затем повторяет этап «Зафиксируйте исходный промпт».
Итог этапа «Зафиксируйте исходный промпт». Объект «контрольная версия» хранит факт этапа «Зафиксируйте исходный промпт», величину отклонения, объяснение и следующий ход. Фразы вроде «получилось хорошо» в «контрольная версия» недостаточно: укажите изменение, место эффекта и порог пересмотра именно для этапа «Зафиксируйте исходный промпт».
Граница этапа «Зафиксируйте исходный промпт». Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья. Метрика этапа «Зафиксируйте исходный промпт» остаётся внутри этой рамки. Соседняя задача получает самостоятельный объект, собственный источник и отдельную дату проверки.
Назовите один главный дефект
Отметьте конкретную проблему: фактическую ошибку, пропущенный формат, лишнюю длину или неверный тон. Не переписывайте одновременно весь запрос.
Факт для «Назовите один главный дефект». Событие «ответ на тестовом примере» подтверждает завершение этапа «Назовите один главный дефект». Метрика «доля пройденных критериев» получает одинаковое окно, а рядом с «доля пройденных критериев» остаются знаменатель, источник и час среза. Так вывод по «Назовите один главный дефект» можно проверить отдельно от сезонности и общей динамики базы.
Малый сценарий «Назовите один главный дефект». Результат этапа «Назовите один главный дефект» сначала сопоставляют с объектом «контрольная версия». Риск «регрессия на сложном случае» служит стоп-сигналом для «Назовите один главный дефект»: команда возвращает подтверждённое состояние, находит изменённое условие и лишь затем повторяет этап «Назовите один главный дефект».
Итог этапа «Назовите один главный дефект». Объект «карточка версии промпта» хранит факт этапа «Назовите один главный дефект», величину отклонения, объяснение и следующий ход. Фразы вроде «получилось хорошо» в «карточка версии промпта» недостаточно: укажите изменение, место эффекта и порог пересмотра именно для этапа «Назовите один главный дефект».
Граница этапа «Назовите один главный дефект». Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья. Метрика этапа «Назовите один главный дефект» остаётся внутри этой рамки. Соседняя задача получает самостоятельный объект, собственный источник и отдельную дату проверки.
Добавьте необходимый контекст
Передайте только сведения, без которых задача неоднозначна: аудиторию, продукт, исходные данные и ограничения. Длинная справка без приоритета может ухудшить ответ.
Факт для «Добавьте необходимый контекст». Событие «ответ на тестовом примере» подтверждает завершение этапа «Добавьте необходимый контекст». Метрика «доля пройденных критериев» получает одинаковое окно, а рядом с «доля пройденных критериев» остаются знаменатель, источник и час среза. Так вывод по «Добавьте необходимый контекст» можно проверить отдельно от сезонности и общей динамики базы.
Малый сценарий «Добавьте необходимый контекст». Результат этапа «Добавьте необходимый контекст» сначала сопоставляют с объектом «карточка версии промпта». Риск «регрессия на сложном случае» служит стоп-сигналом для «Добавьте необходимый контекст»: команда возвращает подтверждённое состояние, находит изменённое условие и лишь затем повторяет этап «Добавьте необходимый контекст».
Итог этапа «Добавьте необходимый контекст». Объект «журнал изменений» хранит факт этапа «Добавьте необходимый контекст», величину отклонения, объяснение и следующий ход. Фразы вроде «получилось хорошо» в «журнал изменений» недостаточно: укажите изменение, место эффекта и порог пересмотра именно для этапа «Добавьте необходимый контекст».
Граница этапа «Добавьте необходимый контекст». Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья. Метрика этапа «Добавьте необходимый контекст» остаётся внутри этой рамки. Соседняя задача получает самостоятельный объект, собственный источник и отдельную дату проверки.
Сформулируйте проверяемую задачу
Замените просьбу «сделай лучше» на наблюдаемый результат: таблицу с колонками, план из пяти шагов или текст заданного объёма для определённого читателя.
Факт для «Сформулируйте проверяемую задачу». Событие «ответ на тестовом примере» подтверждает завершение этапа «Сформулируйте проверяемую задачу». Метрика «доля пройденных критериев» получает одинаковое окно, а рядом с «доля пройденных критериев» остаются знаменатель, источник и час среза. Так вывод по «Сформулируйте проверяемую задачу» можно проверить отдельно от сезонности и общей динамики базы.
Малый сценарий «Сформулируйте проверяемую задачу». Результат этапа «Сформулируйте проверяемую задачу» сначала сопоставляют с объектом «журнал изменений». Риск «регрессия на сложном случае» служит стоп-сигналом для «Сформулируйте проверяемую задачу»: команда возвращает подтверждённое состояние, находит изменённое условие и лишь затем повторяет этап «Сформулируйте проверяемую задачу».
Итог этапа «Сформулируйте проверяемую задачу». Объект «контрольная версия» хранит факт этапа «Сформулируйте проверяемую задачу», величину отклонения, объяснение и следующий ход. Фразы вроде «получилось хорошо» в «контрольная версия» недостаточно: укажите изменение, место эффекта и порог пересмотра именно для этапа «Сформулируйте проверяемую задачу».
Граница этапа «Сформулируйте проверяемую задачу». Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья. Метрика этапа «Сформулируйте проверяемую задачу» остаётся внутри этой рамки. Соседняя задача получает самостоятельный объект, собственный источник и отдельную дату проверки.
Задача
Проверяемый ориентир
Зафиксируйте исходный промпт
Сохраните запрос, модель, настройки и фактический ответ. Без исходной версии невозможно понять, какое изменение улучшило результат.
Назовите один главный дефект
Отметьте конкретную проблему: фактическую ошибку, пропущенный формат, лишнюю длину или неверный тон. Не переписывайте одновременно весь запрос.
Добавьте необходимый контекст
Передайте только сведения, без которых задача неоднозначна: аудиторию, продукт, исходные данные и ограничения. Длинная справка без приоритета может ухудшить ответ.
Сформулируйте проверяемую задачу
Замените просьбу «сделай лучше» на наблюдаемый результат: таблицу с колонками, план из пяти шагов или текст заданного объёма для определённого читателя.
Задайте формат ответа
Укажите структуру, обязательные поля, язык и допустимую длину. Если результат будет читать программа, приложите схему и пример корректного объекта.
Факт для «Задайте формат ответа». Событие «ответ на тестовом примере» подтверждает завершение этапа «Задайте формат ответа». Метрика «доля пройденных критериев» получает одинаковое окно, а рядом с «доля пройденных критериев» остаются знаменатель, источник и час среза. Так вывод по «Задайте формат ответа» можно проверить отдельно от сезонности и общей динамики базы.
Малый сценарий «Задайте формат ответа». Результат этапа «Задайте формат ответа» сначала сопоставляют с объектом «контрольная версия». Риск «регрессия на сложном случае» служит стоп-сигналом для «Задайте формат ответа»: команда возвращает подтверждённое состояние, находит изменённое условие и лишь затем повторяет этап «Задайте формат ответа».
Итог этапа «Задайте формат ответа». Объект «карточка версии промпта» хранит факт этапа «Задайте формат ответа», величину отклонения, объяснение и следующий ход. Фразы вроде «получилось хорошо» в «карточка версии промпта» недостаточно: укажите изменение, место эффекта и порог пересмотра именно для этапа «Задайте формат ответа».
Граница этапа «Задайте формат ответа». Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья. Метрика этапа «Задайте формат ответа» остаётся внутри этой рамки. Соседняя задача получает самостоятельный объект, собственный источник и отдельную дату проверки.
Добавьте релевантный пример
Один хороший пример полезен, когда показывает правило и границы. Не заставляйте модель копировать случайные детали и явно отделяйте образец от новых входных данных.
Факт для «Добавьте релевантный пример». Событие «ответ на тестовом примере» подтверждает завершение этапа «Добавьте релевантный пример». Метрика «доля пройденных критериев» получает одинаковое окно, а рядом с «доля пройденных критериев» остаются знаменатель, источник и час среза. Так вывод по «Добавьте релевантный пример» можно проверить отдельно от сезонности и общей динамики базы.
Малый сценарий «Добавьте релевантный пример». Результат этапа «Добавьте релевантный пример» сначала сопоставляют с объектом «карточка версии промпта». Риск «регрессия на сложном случае» служит стоп-сигналом для «Добавьте релевантный пример»: команда возвращает подтверждённое состояние, находит изменённое условие и лишь затем повторяет этап «Добавьте релевантный пример».
Итог этапа «Добавьте релевантный пример». Объект «журнал изменений» хранит факт этапа «Добавьте релевантный пример», величину отклонения, объяснение и следующий ход. Фразы вроде «получилось хорошо» в «журнал изменений» недостаточно: укажите изменение, место эффекта и порог пересмотра именно для этапа «Добавьте релевантный пример».
Граница этапа «Добавьте релевантный пример». Диагностика и последовательное улучшение уже существующего запроса по результату и тестовым примерам. Создание промпта с нуля раскрывает базовая статья. Метрика этапа «Добавьте релевантный пример» остаётся внутри этой рамки. Соседняя задача получает самостоятельный объект, собственный источник и отдельную дату проверки.
Опишите ограничения
Запишите, чего нельзя выдумывать, какие источники использовать и когда нужно признать недостаток данных. Ограничения не заменяют последующую проверку человеком.
Соберите набор тестов
Проверьте обычный, сложный и пограничный случаи. Один удачный ответ не доказывает устойчивость промпта, особенно если реальные входные данные сильно различаются.
Задача
Проверяемый ориентир
Задайте формат ответа
Укажите структуру, обязательные поля, язык и допустимую длину. Если результат будет читать программа, приложите схему и пример корректного объекта.
Добавьте релевантный пример
Один хороший пример полезен, когда показывает правило и границы. Не заставляйте модель копировать случайные детали и явно отделяйте образец от новых входных данных.
Опишите ограничения
Запишите, чего нельзя выдумывать, какие источники использовать и когда нужно признать недостаток данных. Ограничения не заменяют последующую проверку человеком.
Соберите набор тестов
Проверьте обычный, сложный и пограничный случаи. Один удачный ответ не доказывает устойчивость промпта, особенно если реальные входные данные сильно различаются.
Сравните версии по критериям
Оценивайте точность, полноту, формат и число ручных исправлений. Выберите версию до просмотра красивого единичного результата, чтобы не подгонять решение.
Внедряйте с контролем
Храните версию промпта, дату, модель и журнал ошибок. После изменения модели или данных повторяйте тесты и оставляйте возможность быстро вернуть предыдущую версию.
Практическая работа: Оптимизация промпта
Для темы «Оптимизация промпта» ниже собрана прикладная проверка. Каждый шаг «U802» использует исходные данные статьи, фиксирует решение «Зафиксируйте исходный промпт» и передаёт подтверждённый результат к пункту «Назовите один главный дефект».
Раздел «Зафиксируйте исходный промпт» лучше начинать с контрольной точки. Редактор берёт объект «рабочий сценарий «Оптимизация промпта»» и до любых действий собирает исходное значение для пункта «Зафиксируйте исходный промпт», источник и время проверки. Затем выполняется один проход, а исходное состояние остаётся в документе «карточка применения «Оптимизация промпта»». Для аудитории «читатель материала «Оптимизация промпта»» удачный итог формулируется заранее: подтверждённый переход от «Зафиксируйте исходный промпт» к «Назовите один главный дефект». Если появляется риск «решение по «Зафиксируйте исходный промпт» без сопоставимой контрольной точки», эксперимент останавливают. Переход к «Назовите один главный дефект» разрешён только после повторения результата другим сотрудником.
Остался вопрос по теме статьи? Напишите его в предложку блога — отвечаю лично: задать вопрос в MAX. Частые вопросы разбираю отдельными статьями и присылаю ссылку тому, кто спросил.
