Семантический поиск: как находить документы по смыслу

Запрос «не приходит код» должен найти инструкцию «проблемы с подтверждением входа», хотя слова не совпадают. Для этого запрос и документы сравнивают по смысловому представлению. Однако точные номера, имена и артикулы часто лучше ищутся обычным полнотекстовым способом.

Векторная база данных хранит представления и ускоряет поиск соседей. Здесь рассматривается вся пользовательская цепочка: от формулировки запроса до клика, исправления и метрик релевантности.

Математику представления текста разбирает статья про эмбеддинги, а доступные индексы — статья про векторную базу. Конкретный алгоритм оценивайте на собственной разметке запросов.

Соберите запросы пользователей

Сначала очертите рабочий объект: реальные формулировки вместе с успешным результатом. Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Ошибка «команда придумывает удобные примеры» здесь означает, что действие «выгрузить и обезличить поисковые сессии» запускают без исходного доказательства «эталонный набор».

• Рабочее действие: выгрузить и обезличить поисковые сессии.
• Сохраняемый артефакт: эталонный набор.
• Контрольная ситуация: разговорный запрос связан с официальной статьёй.
• Показатель решения: покрытие типов намерения.

До настройки сохраните эталонный набор для объекта «реальные формулировки вместе с успешным результатом». Затем выполните «выгрузить и обезличить поисковые сессии» и разберите случай «разговорный запрос связан с официальной статьёй». Этап «Соберите запросы пользователей» принят, если аналитик поиска подтверждает показатель «покрытие типов намерения», а риск «команда придумывает удобные примеры» не проявляется на пограничной выборке.

За этот участок отвечает аналитик поиска. В журнале он связывает объект «реальные формулировки вместе с успешным результатом» с артефактом «эталонный набор», записывает версию входных данных, условия запуска и принятое решение. Если показатель «покрытие типов намерения» улучшается ценой нового риска «команда придумывает удобные примеры», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «выгрузить и обезличить поисковые сессии» должен воспроизводиться на примере «разговорный запрос связан с официальной статьёй».

Разберите пример отдельно: разговорный запрос связан с официальной статьёй. Полезно попросить второго специалиста повторить шаг «выгрузить и обезличить поисковые сессии» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «реальные формулировки вместе с успешным результатом» владелец «аналитик поиска» сверяет артефакт «эталонный набор» с метрикой «покрытие типов намерения».

Определите единицу результата

Этап «Определите единицу результата» рассматривает страница, товар, абзац или действие. Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Сбой возникает, когда выдача возвращает слишком крупный документ; поэтому сначала готовят правила индексации, а затем выполняют «выбрать полезную гранулярность».

• Рабочее действие: выбрать полезную гранулярность.
• Сохраняемый артефакт: правила индексации.
• Контрольная ситуация: в справке показывается нужный шаг.
• Показатель решения: доля результатов без лишнего чтения.

Раздел «Определите единицу результата» проверяют обратным порядком: сначала фиксируют риск «выдача возвращает слишком крупный документ», затем воспроизводят «в справке показывается нужный шаг» и только после этого выполняют «выбрать полезную гранулярность». Вывод опирается на правила индексации; метрику «доля результатов без лишнего чтения» подписывает владелец контента.

За этот участок отвечает владелец контента. В журнале он связывает объект «страница, товар, абзац или действие» с артефактом «правила индексации», записывает версию входных данных, условия запуска и принятое решение. Если показатель «доля результатов без лишнего чтения» улучшается ценой нового риска «выдача возвращает слишком крупный документ», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «выбрать полезную гранулярность» должен воспроизводиться на примере «в справке показывается нужный шаг».

Разберите пример отдельно: в справке показывается нужный шаг. Полезно попросить второго специалиста повторить шаг «выбрать полезную гранулярность» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «страница, товар, абзац или действие» владелец «владелец контента» сверяет артефакт «правила индексации» с метрикой «доля результатов без лишнего чтения».

Нормализуйте запрос

Для раздела «Нормализуйте запрос» рабочая граница — опечатки, раскладка, формы слов и служебные символы. Риск формулируется как «исправление меняет редкий термин». Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Проверяемый ход — сохранять оригинал и нормализованную версию, результат фиксируется в артефакте «журнал преобразований».

• Рабочее действие: сохранять оригинал и нормализованную версию.
• Сохраняемый артефакт: журнал преобразований.
• Контрольная ситуация: артикул не исправляется как обычное слово.
• Показатель решения: точность нормализации.

Для объекта «опечатки, раскладка, формы слов и служебные символы» соберите обычный, крайний и ошибочный вход. Действие «сохранять оригинал и нормализованную версию» должно дать проверяемый журнал преобразований. В сценарии «артикул не исправляется как обычное слово» роль лингвист принимает решение по значению «точность нормализации» и отдельно записывает, возник ли риск «исправление меняет редкий термин».

За этот участок отвечает лингвист. В журнале он связывает объект «опечатки, раскладка, формы слов и служебные символы» с артефактом «журнал преобразований», записывает версию входных данных, условия запуска и принятое решение. Если показатель «точность нормализации» улучшается ценой нового риска «исправление меняет редкий термин», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «сохранять оригинал и нормализованную версию» должен воспроизводиться на примере «артикул не исправляется как обычное слово».

Разберите пример отдельно: артикул не исправляется как обычное слово. Полезно попросить второго специалиста повторить шаг «сохранять оригинал и нормализованную версию» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «опечатки, раскладка, формы слов и служебные символы» владелец «лингвист» сверяет артефакт «журнал преобразований» с метрикой «точность нормализации».

Получите семантических кандидатов

Исходная точка пункта «Получите семантических кандидатов»: ближайшие документы в пространстве эмбеддингов. До изменения сохраните кривая полноты. Если сразу перейти к шагу «измерить recall при разных k», может проявиться ошибка «малое k теряет правильный ответ». Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов.

• Рабочее действие: измерить recall при разных k.
• Сохраняемый артефакт: кривая полноты.
• Контрольная ситуация: правильный документ появляется на пятнадцатом месте.
• Показатель решения: recall@k.

Приёмка этапа «Получите семантических кандидатов» начинается с независимого повтора. Второй специалист получает кривая полноты, применяет «измерить recall при разных k» к контуру «ближайшие документы в пространстве эмбеддингов» и сверяет «recall@k». Случай «правильный документ появляется на пятнадцатом месте» считается обязательным; ошибка «малое k теряет правильный ответ» останавливает выпуск.

За этот участок отвечает ML-инженер. В журнале он связывает объект «ближайшие документы в пространстве эмбеддингов» с артефактом «кривая полноты», записывает версию входных данных, условия запуска и принятое решение. Если показатель «recall@k» улучшается ценой нового риска «малое k теряет правильный ответ», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «измерить recall при разных k» должен воспроизводиться на примере «правильный документ появляется на пятнадцатом месте».

Разберите пример отдельно: правильный документ появляется на пятнадцатом месте. Полезно попросить второго специалиста повторить шаг «измерить recall при разных k» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «ближайшие документы в пространстве эмбеддингов» владелец «ML-инженер» сверяет артефакт «кривая полноты» с метрикой «recall@k».

Добавьте лексический сигнал

В задаче «Добавьте лексический сигнал» ожидаемый объект — точные совпадения важных терминов. Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Команда отдельно записывает опасение «семантика отодвигает код ошибки», выполняет «объединить два списка кандидатов» и оставляет сравнение гибридных весов для повторной проверки.

• Рабочее действие: объединить два списка кандидатов.
• Сохраняемый артефакт: сравнение гибридных весов.
• Контрольная ситуация: точный артикул получает дополнительный балл.
• Показатель решения: nDCG по точным запросам.

Не демонстрируйте раздел «Добавьте лексический сигнал» на одном удобном примере. Возьмите «точный артикул получает дополнительный балл», сохраните сравнение гибридных весов и попросите роль поисковый инженер выполнить «объединить два списка кандидатов». Решение по объекту «точные совпадения важных терминов» принимают по метрике «nDCG по точным запросам», учитывая риск «семантика отодвигает код ошибки».

За этот участок отвечает поисковый инженер. В журнале он связывает объект «точные совпадения важных терминов» с артефактом «сравнение гибридных весов», записывает версию входных данных, условия запуска и принятое решение. Если показатель «nDCG по точным запросам» улучшается ценой нового риска «семантика отодвигает код ошибки», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «объединить два списка кандидатов» должен воспроизводиться на примере «точный артикул получает дополнительный балл».

Разберите пример отдельно: точный артикул получает дополнительный балл. Полезно попросить второго специалиста повторить шаг «объединить два списка кандидатов» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «точные совпадения важных терминов» владелец «поисковый инженер» сверяет артефакт «сравнение гибридных весов» с метрикой «nDCG по точным запросам».

Примените фильтры

Эксперимент «Примените фильтры» ограничьте контуром «права, язык, дата, продукт и статус». Главная ловушка: релевантный документ недоступен пользователю. Действие «фильтровать по метаданным» допустимо после фиксации материала «набор тестов доступа». Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов.

• Рабочее действие: фильтровать по метаданным.
• Сохраняемый артефакт: набор тестов доступа.
• Контрольная ситуация: архивная инструкция не попадает в выдачу.
• Показатель решения: число запрещённых результатов.

Эксперимент для «Примените фильтры» замораживают до изменения: объект «права, язык, дата, продукт и статус», пример «архивная инструкция не попадает в выдачу», ожидаемый показатель «число запрещённых результатов». После шага «фильтровать по метаданным» должен появиться набор тестов доступа. Ответственный специалист безопасности отклоняет вариант, если сохраняется риск «релевантный документ недоступен пользователю».

За этот участок отвечает специалист безопасности. В журнале он связывает объект «права, язык, дата, продукт и статус» с артефактом «набор тестов доступа», записывает версию входных данных, условия запуска и принятое решение. Если показатель «число запрещённых результатов» улучшается ценой нового риска «релевантный документ недоступен пользователю», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «фильтровать по метаданным» должен воспроизводиться на примере «архивная инструкция не попадает в выдачу».

Разберите пример отдельно: архивная инструкция не попадает в выдачу. Полезно попросить второго специалиста повторить шаг «фильтровать по метаданным» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «права, язык, дата, продукт и статус» владелец «специалист безопасности» сверяет артефакт «набор тестов доступа» с метрикой «число запрещённых результатов».

Переранжируйте верх выдачи

На собственном материале проверьте дорогая оценка небольшой группы кандидатов. Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Если возникает «медленная модель применяется ко всей коллекции», вернитесь к шагу «ограничить top-n» и пересоберите профиль задержки, не меняя одновременно остальные условия.

• Рабочее действие: ограничить top-n.
• Сохраняемый артефакт: профиль задержки.
• Контрольная ситуация: первые пятьдесят документов сортируются точнее.
• Показатель решения: прирост nDCG при p95.

В разделе «Переранжируйте верх выдачи» сравните две версии на одинаковом входе «первые пятьдесят документов сортируются точнее». Свидетельство профиль задержки связывает объект «дорогая оценка небольшой группы кандидатов» с действием «ограничить top-n». Итоговый показатель — «прирост nDCG при p95»; владелец инженер платформы отдельно проверяет ошибку «медленная модель применяется ко всей коллекции».

За этот участок отвечает инженер платформы. В журнале он связывает объект «дорогая оценка небольшой группы кандидатов» с артефактом «профиль задержки», записывает версию входных данных, условия запуска и принятое решение. Если показатель «прирост nDCG при p95» улучшается ценой нового риска «медленная модель применяется ко всей коллекции», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «ограничить top-n» должен воспроизводиться на примере «первые пятьдесят документов сортируются точнее».

Разберите пример отдельно: первые пятьдесят документов сортируются точнее. Полезно попросить второго специалиста повторить шаг «ограничить top-n» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «дорогая оценка небольшой группы кандидатов» владелец «инженер платформы» сверяет артефакт «профиль задержки» с метрикой «прирост nDCG при p95».

Покажите фрагмент

Владельца для этапа «Покажите фрагмент» назначают до работы с объектом «контекст совпадения и причина результата». Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Он не допускает ошибку «пользователь не понимает выбор», требует выполнить «выделить полезный абзац» и принять сниппет и источник.

• Рабочее действие: выделить полезный абзац.
• Сохраняемый артефакт: сниппет и источник.
• Контрольная ситуация: результат сразу показывает шаг решения.
• Показатель решения: CTR и успешность после клика.

Для решения по этапу «Покажите фрагмент» недостаточно слов автора. Сначала роль дизайнер получает сниппет и источник, затем повторяет «выделить полезный абзац» и проверяет объект «контекст совпадения и причина результата» на ситуации «результат сразу показывает шаг решения». Метрика «CTR и успешность после клика» принимается только без проявления риска «пользователь не понимает выбор».

За этот участок отвечает дизайнер. В журнале он связывает объект «контекст совпадения и причина результата» с артефактом «сниппет и источник», записывает версию входных данных, условия запуска и принятое решение. Если показатель «CTR и успешность после клика» улучшается ценой нового риска «пользователь не понимает выбор», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «выделить полезный абзац» должен воспроизводиться на примере «результат сразу показывает шаг решения».

Разберите пример отдельно: результат сразу показывает шаг решения. Полезно попросить второго специалиста повторить шаг «выделить полезный абзац» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «контекст совпадения и причина результата» владелец «дизайнер» сверяет артефакт «сниппет и источник» с метрикой «CTR и успешность после клика».

Обрабатывайте пустую выдачу

Контрольный пример раздела «Обрабатывайте пустую выдачу» должен раскрывать запросы без достаточного ответа. Риск — система показывает случайно близкий документ. Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Пример проходит действие «ввести порог и запасной маршрут», после чего команда получает журнал no-result.

• Рабочее действие: ввести порог и запасной маршрут.
• Сохраняемый артефакт: журнал no-result.
• Контрольная ситуация: новая функция отправляет запрос редактору.
• Показатель решения: доля безопасных пустых ответов.

Контроль «Обрабатывайте пустую выдачу» включите в регрессионный набор. Он хранит журнал no-result, вход «новая функция отправляет запрос редактору» и ожидаемую величину «доля безопасных пустых ответов». При повторе действия «ввести порог и запасной маршрут» специалист владелец поддержки должен подтвердить объект «запросы без достаточного ответа» и отсутствие сбоя «система показывает случайно близкий документ».

За этот участок отвечает владелец поддержки. В журнале он связывает объект «запросы без достаточного ответа» с артефактом «журнал no-result», записывает версию входных данных, условия запуска и принятое решение. Если показатель «доля безопасных пустых ответов» улучшается ценой нового риска «система показывает случайно близкий документ», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «ввести порог и запасной маршрут» должен воспроизводиться на примере «новая функция отправляет запрос редактору».

Разберите пример отдельно: новая функция отправляет запрос редактору. Полезно попросить второго специалиста повторить шаг «ввести порог и запасной маршрут» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «запросы без достаточного ответа» владелец «владелец поддержки» сверяет артефакт «журнал no-result» с метрикой «доля безопасных пустых ответов».

Обновляйте эталон

Свяжите пункт «Обновляйте эталон» с решением человека о контуре «новые термины и изменившиеся документы». Семантический поиск оценивают по ответу пользователя, а не по красоте ближайших векторов. Без шага «добавлять свежие сессии» и артефакта «версия benchmark» нельзя исключить ошибку «метрики остаются хорошими на старом языке».

• Рабочее действие: добавлять свежие сессии.
• Сохраняемый артефакт: версия benchmark.
• Контрольная ситуация: новое название продукта входит в тест.
• Показатель решения: качество по недавним запросам.

Перед закрытием пункта «Обновляйте эталон» воспроизведите цепочку: новые термины и изменившиеся документы; добавлять свежие сессии; версия benchmark. На примере «новое название продукта входит в тест» измерьте «качество по недавним запросам». Роль владелец качества выбирает запуск, исправление или отказ, если обнаруживается риск «метрики остаются хорошими на старом языке».

За этот участок отвечает владелец качества. В журнале он связывает объект «новые термины и изменившиеся документы» с артефактом «версия benchmark», записывает версию входных данных, условия запуска и принятое решение. Если показатель «качество по недавним запросам» улучшается ценой нового риска «метрики остаются хорошими на старом языке», изменение не выпускают, пока не появится защитная метрика и план отката. Практический шаг «добавлять свежие сессии» должен воспроизводиться на примере «новое название продукта входит в тест».

Разберите пример отдельно: новое название продукта входит в тест. Полезно попросить второго специалиста повторить шаг «добавлять свежие сессии» без устного объяснения. Если он получает другой вывод, документация неполна. Если одинаковый — контроль можно включать в регрессионный набор и повторять после смены модели, данных, кода или назначения системы. Для объекта «новые термины и изменившиеся документы» владелец «владелец качества» сверяет артефакт «версия benchmark» с метрикой «качество по недавним запросам».

Матрица приёмки

Что изучить дальше

• эмбеддинги
• векторная база данных
• RAG
• граф знаний
• база знаний компании
• контекстное окно
• аудит ИИ-систем

Чек-лист запуска