Миллионы объявлений на площадке имеют смысл только тогда, когда покупатели могут быстро найти среди них нужное.
KupujemProdajem — крупнейшая площадка объявлений в Сербии. Для пользователей поиск — один из главных способов найти нужный товар: им пользуются и на сайте, и в мобильных приложениях. Сотрудникам поиск тоже нужен для модерации и работы службы поддержки. Поэтому от релевантности и скорости ответа напрямую зависят и вовлечённость пользователей, и то, насколько легко покупатели находят объявления продавцов.
Сегодня KupujemProdajem использует Manticore Search для поиска примерно по 5,6 миллиона активных объявлений, а отдельные внутренние индексы содержат около 70 миллионов строк актуальных и исторических данных. Продакшен-кластер в среднем обрабатывает около 150 поисковых запросов в секунду, а Manticore отвечает на запрос примерно за 10 мс.
На той же поисковой инфраструктуре команда теперь может решать более сложную задачу — внедрять гибридный поиск , который объединит лексический и семантический поиск с учётом особенностей сербского языка и самих объявлений.
Поиск — одна из главных функций продукта
В KupujemProdajem два основных типа поисковых индексов. Первый обслуживает пользовательский поиск. В нём около 5,6 миллиона активных объявлений: заголовки, описания, категории и структурированные атрибуты. Именно по этим данным пользователи ищут на сайте и в мобильных приложениях.
Второй набор индексов нужен внутренним командам. Помимо актуальных данных, в нём хранится часть истории удалённых объявлений, поэтому модераторы и служба поддержки могут находить информацию, которой уже нет в публичной части площадки.
В итоге поиск важен и для пользователей, и для сотрудников. Покупателям он помогает быстро перейти от общего запроса к подходящему объявлению, продавцам — показывать свои предложения заинтересованным людям, а сотрудникам — находить исторические данные при разборе спорных ситуаций.
Как говорит Димитрие Маринкович , бэкенд-разработчик KupujemProdajem:
«Поиск — основной способ находить объявления на площадке. Поэтому от релевантности и скорости ответа напрямую зависят вовлечённость пользователей и то, насколько успешно продавцы находят покупателей».
Как выбирали поисковый движок для растущего продукта
KupujemProdajem много лет использовал выделенный поисковый движок. Раньше это был Sphinx. Когда он перестал активно развиваться, команде понадобилась альтернатива с активной поддержкой, которую можно было встроить в существующую архитектуру без полной переделки поисковой интеграции.
Но одной совместимости было недостаточно. Новый движок должен был:
- обеспечивать стабильно низкую задержку;
- обновлять миллионы объявлений в реальном времени ;
- поддерживать репликацию ;
- давать SQL-интерфейс , совместимый с PHP-стеком команды, построенным вокруг MySQL;
- совмещать полнотекстовый поиск с фильтрацией по структурированным атрибутам ;
- позволять гибко настраивать релевантность ;
- оставлять возможность в будущем добавить векторный и гибридный поиск .
В Manticore всё это есть в одном движке. И последний пункт со временем становится всё важнее.
KupujemProdajem планирует дополнить традиционный лексический поиск векторным на базе собственной модели эмбеддингов . Manticore поддерживает и KNN-поиск , и полнотекстовый поиск в одном движке, поэтому эту функцию можно будет добавить в существующую инфраструктуру без отдельной векторной базы и синхронизации данных с ней.
Миллионы объявлений обновляются в реальном времени
MySQL по-прежнему остаётся основным источником данных площадки. Когда объявление создают, изменяют или удаляют, Manticore сразу получает соответствующее обновление. В продакшене в среднем выполняется около 40 операций REPLACE
в секунду, а также операции UPDATE
и DELETE
.
Для площадки объявлений это особенно важно: данные меняются постоянно. Продавцы публикуют новые предложения, обновляют цены и описания, меняют статус объявлений и удаляют товары, которых больше нет в наличии.
Поэтому от поисковой системы одновременно нужны две вещи:
- быстро находить релевантные результаты;
- показывать актуальное состояние площадки.
Обновления идут в реальном времени, поэтому поисковый индекс Manticore остаётся синхронизирован с MySQL.
Поиск — это не только слова
Искать по объявлениям сложнее, чем по обычным документам. Помимо текста, у каждого объявления есть структурированные данные: категория, цена, местоположение, статус и другие свойства. В Manticore KupujemProdajem совмещает полнотекстовый поиск с фильтрацией по этим атрибутам.
Команда сама задаёт, насколько сильно разные части объявления влияют на релевантность. Например, заголовок имеет гораздо больший вес, чем описание или категория. Для объявлений это естественно: точное название товара в заголовке обычно намного важнее, чем то же слово где-то в длинном описании.
Кроме того, KupujemProdajem использует собственный ранкер , настроенный под свои требования к релевантности, и группирует результаты по объявлениям. Это позволяет учитывать особенности площадки, а не полагаться только на универсальную формулу ранжирования.
Небольшой кластер с репликацией
Manticore работает на четырёх виртуальных машинах. Три ноды образуют продакшен-кластер с репликацией, четвёртая используется как резервная. Все записи идут на одну ноду и реплицируются на остальные, а запросы на чтение приложение распределяет между всеми тремя продакшен-нодами.
Архитектура выглядит довольно просто: MySQL → обновления в реальном времени → нода Manticore для записи → реплики Manticore → поиск на сайте, в мобильном приложении и админке
Такую схему несложно поддерживать. Команде не приходится разворачивать большую распределённую платформу только ради поиска по объявлениям. Один кластер принимает обновления, выполняет полнотекстовый поиск, фильтрацию и собственное ранжирование, поддерживает репликацию и в будущем сможет взять на себя ещё и векторный поиск.
5,6 миллиона активных объявлений и 70 миллионов строк во внутренних индексах
Пользовательские индексы сейчас содержат около 5,6 миллиона активных объявлений и занимают примерно 9 ГБ. Более крупные внутренние индексы содержат около 70 миллионов строк, в том числе исторические данные о части удалённых объявлений, и занимают примерно 90 ГБ.
Основные показатели продакшен-кластера из трёх нод:
| Метрика | Значение в продакшене |
|---|---|
| Активные объявления | ~5,6 миллиона |
| Строки во внутренних индексах | ~70 миллионов |
| Размер пользовательских индексов | ~9 ГБ |
| Размер внутренних индексов | ~90 ГБ |
| Поисковая нагрузка | ~150 запросов/с в среднем |
| Поисковая нагрузка на ноду | ~50 запросов/с в среднем |
Операции REPLACE | ~40 операций/с |
| Среднее время запроса | ~10 мс |
| Инфраструктура | 3 виртуальные машины в продакшене + 1 резервная |
При обычной нагрузке кластер работает стабильно: зависших и долгих запросов нет. Иногда время ответа ненадолго вырастает примерно до 150 мс, но в среднем остаётся около 10 мс. Это не синтетический бенчмарк, а показатели реальной продакшен-нагрузки, на которой работает основной поиск крупной площадки объявлений.
Что эта архитектура даёт пользователям
Сами по себе инфраструктурные метрики мало что значат — важен результат для пользователей. Manticore быстро ищет по миллионам объявлений с учётом настроек релевантности и фильтров по атрибутам. Все изменения сразу попадают в индекс, поэтому результаты отражают актуальное состояние площадки без регулярной полной переиндексации.
Для продавцов поиск остаётся основным каналом, через который покупатели находят их объявления. А модераторы и служба поддержки могут искать по гораздо более крупным внутренним индексам и находить исторические данные даже по объявлениям, которых уже нет в публичной части площадки.
Следующий шаг — лучше понимать запросы на сербском языке
Следующий проект команды KupujemProdajem — гибридный поиск . Традиционный полнотекстовый поиск лучше всего работает, когда в запросе есть те же слова, что и в объявлении. Но покупатель и продавец могут описывать один и тот же товар совершенно по-разному.
С сербским языком задача становится ещё сложнее. Команде нужно учитывать:
- богатую морфологию ;
- два алфавита — латиницу и кириллицу;
- синонимы ;
- то, что покупатели и продавцы по-разному описывают один и тот же товар.
Поэтому KupujemProdajem готовит собственную модель эмбеддингов для объявлений на сербском языке. Идея такая: выполнять лексический поиск и KNN-поиск по векторам, а затем объединять их результаты прямо во время запроса.
Покупатель может искать товар словами, которых вообще нет в объявлении продавца, хотя само объявление ему подходит. Семантический поиск как раз помогает связать такой запрос с нужным предложением.
Димитрие формулирует ожидаемый результат так:
«Семантический поиск поможет пользователям находить подходящие объявления, даже если в запросе нет тех же слов, что и в самом объявлении».
Для инженерной команды важен и другой момент: не нужно добавлять ещё одну базу данных. Векторы можно хранить рядом с текстом и структурированными атрибутами, которые уже доступны для поиска в Manticore. Тогда один движок сможет одновременно учитывать лексическую релевантность, фильтры и семантическую близость.
Основа для дальнейшего развития поиска
KupujemProdajem уже использует Manticore в одном из самых важных процессов на площадке: в поиске доступны примерно 5,6 миллиона активных объявлений, а среднее время запроса к движку составляет около 10 мс. Обновления идут непрерывно, репликация даёт несколько поисковых нод, а внутренние команды используют ту же технологию для поиска по гораздо большему объёму исторических данных.
Следующий этап — эксперименты с семантическим поиском и гибридным ранжированием. Для этого команде не придётся менять поисковую инфраструктуру или обслуживать отдельную векторную базу данных.
Сегодня Manticore уже обеспечивает KupujemProdajem быстрый поиск по актуальному каталогу и при этом оставляет команде понятный путь для дальнейшего улучшения поиска.