blog-post

Инструмент миграции данных из Elasticsearch в Manticore Search

Позвольте представить вам новый инструмент, который может помочь вам мигрировать ваши данные из Elasticsearch в Manticore Search - https://github.com/manticoresoftware/es2ms .

Этот инструмент автоматизирует копирование данных из Elasticsearch в Manticore Search

Требования

  1. Инструмент дампа Elasticsearch: https://github.com/elasticsearch-dump/elasticsearch-dump
  2. PHP-клиенты для Elasticsearch и Manticore

Установка

composer update

Использование

Миграция всех индексов:

php migrator.php

Миграция определенных индексов:

php migrator.php  --elasticsearch.host=my.domain.com --elasticsearch.port=9200 --indexes=index1,index2

Параметры

  • indexes - список имен индексов ES, разделенных запятой. По умолчанию: мигрировать все доступные индексы
  • dryrun - выполнить пробный запуск без миграции. Выводит информацию о доступных индексах ES
  • onlyschemas - только создать индекс(ы), без миграции данных
  • onlydata - мигрировать данные, предполагая, что индексы уже созданы
  • elasticsearch.host - хост ES, по умолчанию: 127.0.0.1
  • elasticsearch.port - порт ES, по умолчанию: 92000
  • elasticsearch.user - имя пользователя ES, без значения по умолчанию
  • elasticsearch.pass - пароль ES, без значения по умолчанию
  • elasticsearch.batch_size - сколько документов ES извлекать за раз (по умолчанию 10000)
  • manticoresearch.host - хост Manticore, по умолчанию: 127.0.0.1
  • manticoresearch.port - HTTP-порт Manticore, по умолчанию: 9308
  • manticoresearch.batch_size - сколько документов группировать в одной партии INSERT в Manticore (по умолчанию 10000)
  • limit - ограничить количество документов из индекса для миграции (по умолчанию 0 - мигрировать все)
  • threads - использовать несколько параллельных рабочих процессов для обработки индексов (каждый рабочий процесс обрабатывает один индекс за раз), по умолчанию 1
  • types.* - позволяет переопределять настройки для типа данных (см. Преобразование типа данных )
  • log- путь к файлу журнала; по умолчанию 'stdout' - вывод в консоль
  • config - читать параметры из конфигурационного файла в формате json

Параметры, прочитанные из конфигурационного файла, могут быть переопределены значениями, предоставленными в качестве аргументов командной строки

php migrator.php  --config config.sample.json --threads=2

Источник

https://github.com/manticoresoftware/es2ms

Установить Manticore Search

Установить Manticore Search