Как измерять качество поиска в интернет-магазине

Поиск в интернет-магазине часто оценивают довольно просто: ввели название товара, получили подходящие результаты — значит, всё работает. Если по очевидному запросу ничего не нашлось, значит, поиск плохой.

На практике между этими двумя состояниями находится огромное количество сценариев. Поиск может находить товары, но располагать их в нерелевантном порядке. Может отлично работать с точными названиями и проваливаться на разговорных запросах. Может показывать формально релевантные позиции, которые невозможно купить. Или выдавать десятки результатов там, где пользователь ожидал увидеть один конкретный товар.

Поэтому качество поиска нельзя оценить одной проверкой или одной метрикой. Нужно смотреть одновременно на релевантность выдачи, поведение пользователей и бизнес-результат.

Особенно это важно для интернет-магазина: здесь поиск — не просто способ найти информацию. Он зачастую находится непосредственно внутри пользовательского пути к покупке.

Хороший поиск — это не тот, который что-то нашёл

Представим запрос «чёрные кроссовки 42 размера». В каталоге есть подходящие товары, поэтому поиск возвращает двадцать результатов.

Технически задача выполнена. Но если смотреть детально, то первые позиции занимают белые кроссовки, затем несколько чёрных моделей без 42 размера, а нужные товары находятся ближе к концу выдачи. Можно ли считать такой поиск качественным?

Для пользователя — скорее нет.

Поэтому сам факт наличия результатов почти ничего не говорит о качестве. Важно, насколько найденные товары соответствуют намерению пользователя и насколько быстро он может перейти от запроса к нужному товару.

Именно вокруг этого стоит строить оценку работы поиска. Ведь ключевая цель — привести пользователя к покупке.

Начните с того, что люди действительно ищут

Прежде чем измерять качество поиска, нужно посмотреть на реальные поисковые запросы магазина. Они зачастую сильно отличаются от структуры каталога и представлений команды о том, как покупатели должны искать товары. Пользователи вводят названия брендов, артикулы, категории, характеристики, бытовые формулировки, сокращения и запросы с ошибками.

Например:

• «айфон 16»;
• «iphone 16 256»;
• «телефон эпл»;
• «зарядка на айфон»;
• конкретный артикул;
• «белые кеды женские»;
• «что-нибудь от накипи для кофемашины».

Все эти люди пользуются одной поисковой строкой, но ожидают от неё разного поведения.

Поэтому оценивать поиск на десятке придуманных разработчиками запросов недостаточно. Нужна выборка реальных запросов, которая отражает то, как покупатели действительно пользуются магазином. Причём скорее всего поиск нужно будет периодически дорабатывать, исходя из анализа пользовательских запросов.

Разделите запросы по типам

Следующий полезный шаг — не смешивать все запросы в одну группу.

Человек, который вводит точный артикул, скорее всего, уже знает, какой товар хочет найти. Если поиск показывает ему десятки похожих позиций вместо нужной карточки, это проблема. Он ищет конкретный товар, значит, нужно показать именно этот товар. В случае отсутствия нужного товара можно попробовать подобрать аналоги. Всё. Без лишних предложений.

У запроса «зимние женские ботинки» другое намерение. Здесь пользователь ожидает получить подборку и продолжить выбор с помощью фильтров.

Можно выделить, например, запросы по:

• точному названию или артикулу;
• бренду;
• категории;
• категории с характеристиками;
• проблеме или назначению товара;
• разговорным названиям;
• запросам с опечатками и разными вариантами написания.

Так становится гораздо проще понять, в каких сценариях поиск работает хорошо, а в каких начинает ошибаться. Если ориентироваться только на средние цифры по всем запросам, то найти проблемный сценарий вряд ли получится.

Доля запросов без результатов

Одна из самых очевидных метрик — сколько поисковых запросов заканчивается пустой выдачей. Если пользователи регулярно что-то ищут и получают «Ничего не найдено», эти запросы стоит анализировать отдельно.

Причины могут быть очень разными. Товара действительно нет в ассортименте. Он есть, но называется иначе. Поиск не распознал опечатку. Пользователь использовал распространённый синоним, которого нет в карточке товара. Или нужная характеристика хранится в системе, но не участвует в поиске.

Поэтому сама доля нулевых результатов — только сигнал. Главная ценность появляется после анализа конкретных запросов.

Более того, поисковые запросы без результатов могут дать информацию не только о качестве поиска, но и об ассортименте. Если сотни покупателей регулярно ищут категорию товара, которой у магазина действительно нет, это уже вопрос не к поисковой системе, а к бизнесу.

Нулевая выдача — не единственная проблема

Можно добиться практически нулевого количества пустых результатов и при этом иметь очень плохой поиск.

Например, система начинает искать слишком широко и практически на любой запрос показывает какие-нибудь товары. Формально пользователь больше не видит страницу «Ничего не найдено», но результаты могут не иметь отношения к его намерению. В итоге пользователь потратит время, не закроет свою потребность и уйдёт с разочарованием.

Поэтому стремиться исключительно к уменьшению нулевой выдачи опасно. Иногда честное «Мы не нашли такой товар» полезнее, чем страница из двадцати случайных позиций.

Смотрите на клики после поиска

Следующий уровень оценки — что пользователь делает с выдачей.

Если человек ввёл запрос и сразу перешёл в карточку одного из первых товаров, скорее всего, поиск достаточно быстро приблизил его к цели. Если он просматривает несколько страниц, многократно меняет формулировку запроса или вообще уходит из поиска, возможно, выдача не отвечает его ожиданиям.

Поэтому полезно отслеживать:

• долю поисков, после которых пользователь открыл товар;
• позицию товара, по которому произошёл клик;
• количество просмотренных результатов;
• повторные поисковые запросы в рамках одной сессии;
• выход из поиска без взаимодействия с товарами.

Но и здесь отдельная метрика не даёт окончательного ответа. Отсутствие клика не всегда означает плохой поиск: иногда нужная информация уже видна прямо в выдаче.

Важно смотреть на поведение в контексте конкретного магазина и интерфейса.

Переформулировка запроса — очень полезный сигнал

Особенно интересно наблюдать за последовательностями запросов.

Например: «кроссовки nike мужские» → «nike air max мужские» → «air max 90»

Здесь пользователь постепенно уточняет выбор, и это может быть совершенно нормальным поведением.

А теперь другой пример: «кофемашина» → «кофеварка» → «кофе машина» → «кофемашины»

Если после каждого запроса человек пытается сформулировать примерно одно и то же другими словами, возможно, он не получает ожидаемой выдачи и пытается «объяснить» поиску, что ему нужно. Это уже тревожный сигнал. Стоит обратить внимание на запрос и на поисковую выдачу по нему. Возможно, поиск плохо работает с синонимами или популярными опечатками.

Такие цепочки помогают обнаруживать проблемы, которые сложно увидеть по общей статистике.

Позиция правильного результата тоже имеет значение

Допустим, нужный товар действительно присутствует в выдаче, но находится на 37-й позиции. Формально поиск его нашёл. Практически для пользователя результат может быть почти таким же, как если бы товара не было вообще. Только очень заинтересованный пользователь доберётся так далеко, и магазин потеряет покупателя.

Поэтому качество ранжирования необходимо оценивать отдельно.

Для популярных и важных запросов можно сформировать тестовую выборку и вручную определить, какие результаты считаются релевантными и в каком порядке их желательно показывать. После этого поисковые алгоритмы можно сравнивать уже не субъективно, а по одинаковому набору тестов.

Для более сложных проектов используются специальные метрики информационного поиска — например, Precision, Recall, MRR или NDCG. Они позволяют оценивать разные стороны релевантности и ранжирования.

Но бизнесу необязательно начинать с математически сложной системы оценки. Даже регулярная проверка нескольких сотен наиболее значимых запросов уже намного полезнее оценки поиска «на глаз».

Precision и Recall: что именно мы измеряем

Упрощённо Precision показывает, какая доля найденных результатов действительно релевантна запросу.

Пользователь ищет «красные женские платья», система показывает десять товаров, но только шесть действительно соответствуют запросу. Чем больше в выдаче неподходящих результатов, тем ниже точность.

Recall смотрит на проблему с другой стороны: какую часть всех подходящих товаров система вообще смогла найти.

Если в каталоге двадцать моделей, полностью соответствующих запросу, а поиск показывает только пять из них, он теряет значительную часть потенциально полезной выдачи.

В интернет-магазине между этими показателями приходится искать баланс. Слишком строгий поиск может пропускать подходящие товары, а слишком широкий — заполнять выдачу нерелевантными результатами.

Для интернет-магазина особенно важен бизнес-результат

Поиск может выглядеть отлично с точки зрения технических метрик, но главная задача магазина всё-таки заключается не в демонстрации качества поискового алгоритма. Пользователь должен найти подходящий товар и совершить покупку.

Поэтому поисковую аналитику стоит связывать с дальнейшими действиями:

поиск → просмотр товара → добавление в корзину → оформление заказа → покупка.

Можно сравнивать конверсию пользователей, которые использовали поиск, с другими посетителями, смотреть долю добавлений в корзину после поиска и отслеживать выручку, связанную с поисковыми сессиями.

Особенно полезно анализировать показатели по группам запросов. Может оказаться, что поиск по артикулам отлично конвертируется, по категориям работает нормально, а запросы с характеристиками регулярно приводят к выходу.

Тогда становится понятно, где именно искать точку улучшения.

Высокая конверсия пользователей поиска ещё не доказывает его качество

Здесь есть важная ловушка.

Люди, которые пользуются поиском в интернет-магазине, часто изначально имеют более сформированный спрос. Человек, который вводит конкретную модель ноутбука, может быть гораздо ближе к покупке, чем посетитель, который просто листает каталог.

Поэтому нельзя сделать вывод: «У пользователей поиска конверсия в три раза выше — значит, поиск работает отлично».

Возможно, они покупают чаще несмотря на недостатки поиска, просто потому что лучше знают, чего хотят. Поэтому бизнес-метрики нужно использовать вместе с метриками качества выдачи и пользовательского поведения, а не вместо них.

Важно учитывать наличие товара

Для e-commerce есть ещё одна особенность: релевантность не ограничивается совпадением текста запроса и карточки.

Представим, что пользователь ищет конкретную модель смартфона. Первые пять результатов идеально соответствуют запросу, но всех пяти нет в наличии. Товар, который можно купить прямо сейчас, находится ниже.

С точки зрения текстовой релевантности выдача хорошая. С точки зрения бизнеса и пользователя — вопрос спорный.

При ранжировании могут иметь значение наличие, регион пользователя, возможность доставки, актуальная цена и другие коммерческие параметры. Поэтому оценивать качество поиска нужно в реальном контексте магазина, а не только на основании текстового соответствия.

Проверяйте поиск на опечатках и синонимах

Отдельный тестовый набор стоит составить для запросов, которые поисковая система должна уметь нормализовать.

Пользователь не обязан знать, как товар называется в вашей базе данных. Он может написать «шуруповёрт», хотя категория называется «дрели-шуруповерты». Искать «флешку», когда в каталоге используется «USB-накопитель». Ошибиться в названии бренда или переключить раскладку.

Для бизнеса важен не сам факт ошибки пользователя, а способность системы понять его намерение. Если люди регулярно корректируют опечатки вручную или пытаются подобрать «правильное» слово для каталога, поиску есть куда развиваться.

Анализируйте популярные запросы отдельно

Не все ошибки поиска одинаково важны.

Если система плохо работает с запросом, который встречается два раза в год, исправление может практически не повлиять на бизнес. Если проблема возникает в одном из ста самых популярных запросов магазина, её влияние совершенно другое.

Поэтому полезно составлять рейтинг запросов по частоте и отдельно контролировать качество выдачи для наиболее популярных.

Можно получить простую матрицу:

• высокая частотность + плохая выдача = высокий приоритет исправления;
• низкая частотность + хорошая выдача = низкий приоритет;

а между ними уже распределять задачи с учётом потенциального влияния на продажи.

Так команда перестаёт улучшать поиск абстрактно и начинает работать с конкретными точками потерь.

Улучшения поиска стоит проверять через A/B-тесты

Допустим, команда изменила алгоритм ранжирования и новая выдача кажется значительно лучше. Этого недостаточно.

Изменение может повысить техническую релевантность и одновременно ухудшить реальные пользовательские показатели. Например, товары станут точнее соответствовать запросу, но наиболее покупаемые позиции уйдут ниже.

Поэтому существенные изменения поискового алгоритма желательно проверять на части аудитории.

Одной группе пользователей показывается текущая версия поиска, другой — новая. После этого можно сравнить клики, добавления в корзину, переформулировки запросов, конверсию и другие показатели.

Так решение о внедрении принимается не на основании ощущения «кажется, стало лучше», а на реальных данных.

Соберите поисковый дашборд

Для интернет-магазина, где поиском активно пользуются, качество лучше отслеживать постоянно, а не проверять раз в год во время редизайна.

На одном дашборде можно собрать несколько групп показателей: количество поисковых сессий, популярные запросы, долю запросов без результатов, клики по выдаче, переформулировки, добавления в корзину после поиска и конверсию.

Рядом полезно держать список запросов, которые требуют внимания: частые нулевые результаты, запросы с высоким процентом выходов или необычно большим количеством переформулировок.

Так аналитика превращается в рабочий инструмент развития поиска.

У поиска нет одной метрики качества

Попытка выбрать единственный KPI почти неизбежно будет давать искажённую картину.

Снижая долю пустой выдачи, можно начать показывать нерелевантные товары. Максимизируя кликабельность первых результатов, можно случайно оптимизировать поиск под самые привлекательные карточки, а не под намерение пользователя. Ориентируясь только на продажи, легко не заметить проблемы менее коммерческих, но важных запросов.

Поэтому качество поиска лучше оценивать сразу на трёх уровнях:

1. Релевантность. Находит ли система правильные товары и показывает ли их достаточно высоко?
2. Поведение. Может ли пользователь быстро воспользоваться результатами или вынужден повторять запрос, листать выдачу и искать обходные пути?
3. Бизнес. Помогает ли поиск двигаться дальше по воронке — к карточке товара, корзине и покупке?

Если смотреть на все три уровня одновременно, становится гораздо проще понять не только хороший ли у магазина поиск, но и что конкретно в нём нужно улучшить.

Поиск — это продукт, который тоже нужно развивать

После запуска интернет-магазина поиск не становится законченной функцией. Меняется ассортимент, появляются новые категории и бренды, пользователи начинают использовать новые формулировки, а накопленная статистика показывает сценарии, о которых команда не подумала при проектировании.

Поэтому лучший источник требований к развитию поиска — его реальные пользователи. Их запросы показывают, что они хотят найти. Выдача показывает, насколько хорошо система понимает эти намерения. Поведение после поиска показывает, удалось ли решить задачу. А покупки помогают оценить влияние изменений на бизнес.

Именно сочетание этих данных позволяет развивать поиск не на основании субъективных впечатлений, а как полноценный продукт — с метриками, гипотезами, экспериментами и измеримым результатом.