Содержимое

1. Векторный поиск в Manticore: Подробности
2. Что такое встраивания (и почему они вам важны)?
3. Как работает векторный поиск?
4. Начало: Настройка векторного поиска
5. Расширенные функции поиска
6. Реальные приложения
7. Как сделать векторный поиск быстрым: Советы по производительности
8. Как защитить ваши векторные данные: Варианты резервного копирования
9. Как обеспечить доступность вашей поисковой системы: Репликация
10. Смотрите векторный поиск в действии: Прямые трансляции
11. Работа векторного поиска в производстве
12. Заключение: Будущее векторного поиска

1. Векторный поиск в Manticore: Подробности

Если вы следите за нашим блогом, вы уже знаете, что Manticore Search предлагает мощные возможности векторного поиска. В этом посте мы идем дальше основ, чтобы показать, как это все работает за кулисами — и как вы можете максимально использовать это.

Прежде чем перейти к техническим деталям, быстрое объявление: 6 июня 2025 года команда Manticore спонсирует Конференцию по векторному поиску 2025

Мы будем проводить два доклада, сосредоточенных на реальном векторном поиске:

• Скорость встречает точность: Как векторная квантизация усиливает поиск — Сергей Николаев
• RAG-время: Умные ответы с помощью извлечения-увеличенного генерации — Дмитрий Кузьменков

Если вы работаете с семантическим поиском, рекомендациями или извлечением-увеличенной генерацией (RAG), это мероприятие, которое вы не захотите пропустить.

Теперь вернемся к теме.

Векторный поиск Manticore построен на нашей Колонной Библиотеке , и он позволяет вам:

• Находить контент с похожим значением, даже если слова разные
• Создавать рекомендательные системы, которые ощущаются как личные
• Группировать похожие вещи вместе без ручной маркировки
• Предоставлять результаты поиска, которые гораздо более актуальны, чем простое совпадение по ключевым словам

Внутри Manticore использует высокоэффективный алгоритм под названием HNSW (Иерархический navigable малый мир) для векторного поиска. Он разработан для быстрого нахождения самых актуальных результатов, даже в больших наборах данных — как находить ближайших соседей в огромном городе, но без необходимости в карте.

Давайте разберемся, как встраивания поддерживают все это и как HNSW помогает превращать эти встраивания в быстрые и точные результаты поиска.

2. Что такое встраивания (и почему они вам важны)?

Чтобы понять векторный поиск, вам сначала нужно знать о встраиваниях. Это основная идея всего.

Думайте о встраиваниях как о способе преобразования вещей — таких как слова, изображения или звуки — в список чисел, которые представляют их значение. Это метод, который помогает компьютерам “понимать” мир таким образом, который ближе к тому, как это делаем мы.

Как работают встраивания?

Представьте себе огромную карту, где каждая точка обозначает вещь: слово, предложение, изображение и т.д. Чем ближе две точки, тем более сходны вещи, которые они представляют. Вот что делают встраивания — они преобразуют данные в векторы (просто последовательности чисел), которые:

• Расстаивают похожие вещи рядом друг с другом в этом многомерном пространстве
• Захватывают смысл данных
  – Это позволяет нам делать математику с идеями (вспомните знаменитый пример от Word2Vec исследователей Google: король – мужчина + женщина = королева ?)

Что можно превратить в векторы?

Почти все. Некоторые распространенные примеры включают:

• Текст: Одинокие слова, полные предложения или даже целые книги. Вектор для “пляж” будет ближе к “берег”, чем к “гора”.
• Изображения: Фотографии путешествий, изображения продуктов или мемы. Фотографии собак окажутся ближе друг к другу, чем фотографии автомобилей.
• Аудио: Речь, музыка или звуковые эффекты. Треки хеви-метала сгруппируются вместе, далеко от тихой фортепианной музыки.

Эти встраивания — это отправная точка. Как только у вас есть они, алгоритмы, такие как HNSW, помогают быстро искать среди них.

Как мы измеряем сходство?

Как только у нас есть эти векторы, нам нужно найти способ измерить, насколько они похожи. Manticore Search поддерживает три метрики сходства:

• Евклидово расстояние (L2)
• Косинусное сходство
• Скалярное произведение (Dot Product)

Однако важно отметить, что выбор метрики сходства не произволен. Оптимальная метрика часто зависит от модели встраивания, используемой для генерации векторов. Многие модели встраивания обучаются с определенной метрикой сходства в уме. Например, некоторые модели оптимизированы для косинусного сходства, в то время как другие могут быть предназначены для скалярного произведения или евклидова расстояния. Использование другой меры сходства, чем та, с которой модель была обучена, может привести к неоптимальным результатам.

При настройке вашей таблицы Manticore Search для векторного поиска вы указываете метрику сходства в процессе создания таблицы. Этот выбор должен соответствовать характеристикам вашей модели встраивания для обеспечения точных и эффективных результатов поиска.

Вот краткий обзор каждой метрики: