---
title: "Manticore Search 32.1.3: массовый импорт напрямую на диск и ускоренный поиск"
description: "Manticore Search 32.1.3: массовый импорт напрямую на диск в шардированные и реплицируемые таблицы, ускорение полнотекстового и векторного поиска, фасеты для гибридного поиска и исправления ошибок."
date: 2026-11-20
author: "Сергей Николаев"
image: https://manticoresearch.com/images/blog/manticore-search-32-1-3.png
lang: ru
url: https://manticoresearch.com/ru/blog/manticore-search-32-1-3/
translations:
  en: https://manticoresearch.com/blog/manticore-search-32-1-3/
  zh: https://manticoresearch.com/zh/blog/manticore-search-32-1-3/
---

# Manticore Search 32.1.3: массовый импорт напрямую на диск и ускоренный поиск

Manticore Search 32.1.3: массовый импорт напрямую на диск в шардированные и реплицируемые таблицы, ускорение полнотекстового и векторного поиска, фасеты для гибридного поиска и исправления ошибок.

Manticore Search 32.1.3 ускоряет загрузку больших объемов данных, улучшает полнотекстовый и векторный поиск и включает длинный список исправлений корректности и надежности. Главная новая возможность — массовый импорт напрямую на диск для локальных, шардированных и реплицируемых таблиц реального времени.

В статье собраны изменения, появившиеся после [29.9.0](/blog/manticore-search-29-9-0/), то есть в релизах **с 29.9.1 по 32.1.3**.

❤️ Благодарим [@tudorvasinca](https://github.com/tudorvasinca) ([#4858](https://github.com/manticoresoftware/manticoresearch/pull/4858), [#4924](https://github.com/manticoresoftware/manticoresearch/pull/4924), [#4925](https://github.com/manticoresoftware/manticoresearch/pull/4925)), [@vitlav](https://github.com/vitlav) ([#5060](https://github.com/manticoresoftware/manticoresearch/pull/5060)), [@RaphaelFakhri](https://github.com/RaphaelFakhri) ([#5031](https://github.com/manticoresoftware/manticoresearch/pull/5031)) и [@drahy333](https://github.com/drahy333) ([Columnar #217](https://github.com/manticoresoftware/columnar/pull/217)) за вклад в развитие проекта.

---

## Примечания по обновлению

**Если вы не используете репликацию, специальная миграция не нужна.** Сделайте резервную копию данных и обновитесь обычным способом.

Если вы используете репликацию, **не обновляйте узлы по очереди при работающем кластере**: старые и новые версии Manticore Search не могут работать в одном кластере. Приостановите запись, убедитесь, что все узлы синхронизированы, затем штатно остановите их по одному. Запомните, какой узел остановили последним. Пока все узлы остановлены, обновите Manticore Search на каждом из них. Затем первым запустите узел, который был остановлен последним, с помощью `manticore_new_cluster` (в systemd) или `searchd --new-cluster`. Остальные узлы запустите в обычном режиме и дождитесь синхронизации, прежде чем возобновить запись. Если весь кластер неожиданно отключился, вместо этого воспользуйтесь [инструкцией по восстановлению кластера](https://manual.manticoresearch.com/Creating_a_cluster/Setting_up_replication/Cluster_recovery#All-nodes-crashed).

Есть ещё одно изменение, которое вряд ли затронет большинство пользователей: теперь Manticore не запускается, если существующий файл `manticore.json` пуст. Этот автоматически обновляемый файл содержит сведения о real-time таблицах и кластерах. Изменение не даст повреждённому файлу незаметно сделать все таблицы недоступными. Если Manticore запускается без ошибок, **ничего дополнительно проверять не нужно**. Подробности — в разделе [критических изменений](https://manual.manticoresearch.com/Changelog#Version-32.1.3).

---

## Массовый импорт напрямую на диск

При обычной загрузке через `INSERT` или `/bulk` документы становятся доступны для поиска сразу после `COMMIT`. Это удобно для постоянного потока данных, но при загрузке, например, большого архива логов обычно важнее скорость, чем поиск по ещё не загруженным документам. Режим [массового импорта](https://manual.manticoresearch.com/Data_creation_and_modification/Adding_documents_to_a_table/Adding_documents_to_a_real-time_table#Bulk-import) решает именно эту задачу: Manticore передаёт данные утилите `indexer`, которая строит дисковые чанки, и добавляет их в таблицу при `COMMIT`, не обеспечивая поиск по новым документам до фиксации загрузки. Это позволяет ускорить импорт и не держать весь пакет в RAM-чанке. На сервере с 6 ядрами, 12 потоками и 16 ГБ памяти 10 млн строк nginx-логов загрузились за **254 с** через обычный `/bulk`, примерно за **164 с** через `bulk_import` и за **71 с** с `shared=8`. На графике ниже показана скорость при разных объёмах данных. Для локальной real-time таблицы SQL-импорт выглядит так:

![Скорость массового импорта nginx-логов в зависимости от числа документов: обычный bulk, bulk_import и shared=8](./manticore-search-32-1-3/images/blog/manticore-search-32-1-3-bulk-throughput-ru.svg)

```sql
SET bulk_import=products;
INSERT INTO products(id, title, price) VALUES
  (101, 'Notebook', 12.50),
  (102, 'Desk lamp', 24.00);
COMMIT;
SET bulk_import=0;
```

![Загрузка 10 миллионов логов и дополнительное время OPTIMIZE для уменьшения числа дисковых чанков](./manticore-search-32-1-3/images/blog/manticore-search-32-1-3-bulk-optimize-ru.svg)

`bulk_import` также работает через HTTP-эндпоинт `/bulk`. При использовании `shared` параллельные клиенты передают данные в общий пул процессов `indexer`, а автоматически сгенерированные идентификаторы документов поддерживаются. Еще одно преимущество — меньше работы после загрузки: в том же тесте обычный `/bulk` оставил 17 дисковых фрагментов и один фрагмент в RAM, а их объединение в один фрагмент потребовало около 197 дополнительных секунд выполнения `OPTIMIZE`. Однократный коммит `bulk_import` сразу создал один дисковый фрагмент, а `shared=8` — восемь. На графике выше учтено это дополнительное время оптимизации. **Новый режим `bulk_import` поддерживает не только локальные таблицы реального времени, но и [шардированные](https://manual.manticoresearch.com/Data_creation_and_modification/Adding_documents_to_a_table/Adding_documents_to_a_real-time_table#Shared-bulk-import-into-a-sharded-table) и [реплицируемые таблицы](https://manual.manticoresearch.com/Data_creation_and_modification/Adding_documents_to_a_table/Adding_documents_to_a_real-time_table#Bulk-import-into-a-replicated-table).** Координирующий узел направляет документы в шарды, а созданные дисковые фрагменты распределяются между репликами без предварительного импорта в отдельную локальную таблицу.

На время массового импорта Manticore резервирует соответствующую таблицу для загрузки: другие операции записи в неё недоступны, но поисковые запросы продолжают работать. Перед использованием в рабочей системе изучите [документацию](https://manual.manticoresearch.com/Data_creation_and_modification/Adding_documents_to_a_table/Adding_documents_to_a_real-time_table#Bulk-import), особенно порядок фиксации импорта, очистки и обработки ошибок.

---

## Ускорение полнотекстового и векторного поиска

Описанные в [задаче #5110](https://github.com/manticoresoftware/manticoresearch/issues/5110) оптимизации сокращают объём вычислений при обработке полнотекстовых запросов и не требуют изменения формата индекса:

- Для некоторых запросов `COUNT(*)` по одному слову можно использовать счётчики словаря, а при более сложном подсчёте — пропускать этап ранжирования.
- Некоторые запросы подсчёта с `OR`/`AND` и запросы без ранжирования обрабатываются блоками по 4096 строк с использованием битовых карт, адаптивных алгоритмов сопоставления и SIMD-инструкций с учётом возможностей процессора.
- Ускорены декодирование списков вхождений и предварительная выборка данных. Если фильтр подходит ко всему чанку, его можно не применять; при `GROUP BY` blob-данные могут загружаться заранее.
- Теперь для `access_doclists` и `access_hitlists` по умолчанию используется `mmap`. Чтобы сохранить буферизованное чтение, задайте `file`.

Векторный поиск тоже стал эффективнее: улучшена предварительная выборка данных при рескоринге (в том числе при построчном хранении), ускорено параллельное построение HNSW во время `FLUSH RAMCHUNK`, оптимизированы KNN-запросы с фильтрацией. Эти изменения затрагивают разные сценарии, поэтому приводить одну цифру ускорения для всех запросов было бы некорректно.

### Результаты тестов производительности

В проекте [db-benchmarks](https://github.com/db-benchmarks/db-benchmarks) сравнивались версии 29.9.0 и 32.1.2 с лимитом памяти **110 ГБ**, при построчном и колоночном хранении. Использовались три разных набора данных: **Hacker News** — более 100 млн комментариев (полнотекстовый поиск и аналитика), **Logs10m** — 10 млн записей nginx-логов (типичные запросы к журналам веб-сервера), **Taxi** — 1,7 млрд записей о поездках такси и заказных автомобилей в Нью-Йорке (в основном аналитические запросы). Ниже приведено **время выполнения запросов по метрике fast average** (меньше — лучше).

Пять скриншотов показывают результаты отдельных запросов, а не общее ускорение всех операций. Мы считаем улучшение убедительным только там, где разница выделена **красным цветом**; бледно-розовая подсветка может означать погрешность измерений. Это не означает, что ускорились все запросы или все наборы данных.

### Hacker News: отдельные запросы ускорились до 1,86 раза

При настроенном **колоночном хранении** время выполнения `match('abc -google')` сократилось с **13 до 7 мс (ускорение в 1,86 раза)**, а запроса с фильтрацией и группировкой — с **15 до 11 мс (в 1,36 раза)**. При настроенном **построчном хранении** тот же полнотекстовый запрос с исключением слова `google` ускорился с **12 до 7 мс (в 1,71 раза)**, а запрос с группировкой по автору публикации и сортировкой по количеству — с **576 до 482 мс (в 1,20 раза)**.

![Hacker News: сравнение 29.9.0 и 32.1.2 при настроенном колоночном хранении](./manticore-search-32-1-3/images/blog/manticore-search-32-1-2-benchmark-hn-columnar.webp)

*Hacker News, настроенное колоночное хранение: время выполнения запросов в версиях 29.9.0 и 32.1.2 (конфигурация 110 ГБ).*

![Hacker News: сравнение 29.9.0 и 32.1.2 при настроенном построчном хранении](./manticore-search-32-1-3/images/blog/manticore-search-32-1-2-benchmark-hn-rowwise.webp)

*Hacker News, настроенное построчное хранение: время выполнения запросов в версиях 29.9.0 и 32.1.2 (конфигурация 110 ГБ).*

Многие простые запросы к данным Hacker News в обеих версиях выполняются за **1–3 мс**. Небольшие различия, не выделенные красным, не позволяют уверенно говорить об изменении производительности.

### Logs10m: наибольшее ускорение — при группировке с построчным хранением

При **построчном хранении** логов запрос с группировкой по `request_path` и сортировкой по количеству ускорился с **221 до 121 мс (в 1,83 раза)**. Сортировка аналогичных групп по среднему времени выполнения ускорилась с **238 до 137 мс (в 1,74 раза)**.

![Logs10m: сравнение 29.9.0 и 32.1.2 при построчном хранении](./manticore-search-32-1-3/images/blog/manticore-search-32-1-2-benchmark-logs-rowwise.webp)

*Logs10m, построчное хранение: время выполнения запросов в версиях 29.9.0 и 32.1.2 (конфигурация 110 ГБ).*

При **колоночном хранении** время выполнения запроса `GROUP BY status` сократилось с **27 до 24 мс (в 1,13 раза)**. По большинству остальных запросов разница слишком мала для уверенных выводов.

![Logs10m: сравнение 29.9.0 и 32.1.2 при колоночном хранении](./manticore-search-32-1-3/images/blog/manticore-search-32-1-2-benchmark-logs-columnar.webp)

*Logs10m, колоночное хранение: время выполнения запросов в версиях 29.9.0 и 32.1.2 (конфигурация 110 ГБ).*


### Taxi: ускорение полнотекстового поиска и агрегации

При настроенном **колоночном хранении** запрос `MATCH('harlem east')` ускорился с **255 до 172 мс (в 1,48 раза)**, а вычисление `AVG(total_amount)` по всей таблице — с **2 591 до 2 136 мс (в 1,21 раза)**. Красным также выделены улучшения нескольких запросов с группировкой и агрегацией.

![Taxi: сравнение 29.9.0 и 32.1.2 при настроенном колоночном хранении](./manticore-search-32-1-3/images/blog/manticore-search-32-1-2-benchmark-taxi.webp)

*Taxi, настроенное колоночное хранение: время выполнения запросов в версиях 29.9.0 и 32.1.2 (конфигурация 110 ГБ).*

**Вывод:** тесты показали заметное ускорение отдельных полнотекстовых запросов и запросов с группировкой, особенно на Hacker News и Logs10m с построчным хранением. Небольшие различия без подсветки или с бледно-розовой подсветкой не позволяют говорить ни об ускорении, ни о замедлении. В ваших условиях результаты будут зависеть от самих запросов, объёма доступной памяти и способа хранения данных.

---

## Гибридный поиск, эмбеддинги и точность результатов

[Гибридный поиск](https://manual.manticoresearch.com/Searching/Hybrid_search#Facets) теперь поддерживает фасеты по объединённому набору кандидатов полнотекстового и KNN-поиска. SQL-команда `FACET` и агрегации в JSON-запросах позволяют подсчитывать результаты по категориям во всём объединённом наборе, а не только среди строк, возвращённых с помощью `LIMIT`.

Автоэмбеддинги с разбиением текста на фрагменты теперь позволяют подсветить именно тот фрагмент, который соответствует векторному запросу. Так проще понять, почему длинный документ попал в результаты поиска.

Также исправлено множество ошибок, влиявших на **корректность результатов**. Фильтры по JSON и многозначным атрибутам теперь работают более согласованно при использовании вторичных индексов, колоночного и построчного хранения, SQL и HTTP. Исправления касаются `ANY()`, `ALL()`, фильтров по диапазону и исключению значений, а также `COUNT(DISTINCT)`. Если вторичные индексы для JSON были созданы до этих исправлений, некоторые из них, возможно, потребуется [перестроить командой `ALTER TABLE ... REBUILD SECONDARY`](https://manual.manticoresearch.com/Updating_table_schema_and_settings#Rebuilding-a-secondary-index), чтобы исправить сохранённые значения.

---

## Повышение надёжности

Некоторые исправления особенно важны при использовании Manticore Search в рабочих системах:

- В Executor 1.4.9 включены исправления безопасности PHP 8.5.13 ([PR #5121](https://github.com/manticoresoftware/manticoresearch/pull/5121)).
- Повышена надёжность сохранения реестра таблиц и кластеров (`manticore.json`) при отключении питания.
- Улучшены подключение реплик к кластеру, передача состояния и запуск кластера после полного отключения.
- Исправлены ошибки при записи перколяционных запросов и гонки при обновлении метаданных во время параллельного сброса данных на диск.
- Исправлены ошибки кэширования результатов запросов при псевдошардинге, а также некоторые сбои при колоночном и гибридном поиске.
- Улучшена диагностика сбоев при фоновых операциях, исправлены ошибки в `FREEZE`, `index_converter` и отдельных случаях обработки протокола MySQL.

Полный список см. в [истории изменений версии 32.1.3](https://manual.manticoresearch.com/Changelog#Version-32.1.3).

---

## Как установить Manticore Search 32.1.3

Чтобы установить или обновить Manticore Search, следуйте [инструкции по установке](/install/). Если вы используете репликацию, перед перезапуском кластера выполните описанные выше действия.

## Нужна помощь или хотите связаться с нами?

- Присоединяйтесь к нашему [Slack-сообществу](https://slack.manticoresearch.com)
- Загляните на [форум](https://forum.manticoresearch.com)
- Сообщайте об ошибках и предлагайте улучшения на [GitHub](https://github.com/manticoresoftware/manticoresearch/issues)
- Напишите нам: `contact@manticoresearch.com`
