blog-post

Инструмент миграции данных Elasticsearch -> Manticore Search

Позвольте представить вам новый инструмент, который поможет вам перенести ваши данные из Elasticsearch в Manticore Search - https://github.com/manticoresoftware/es2ms .

Этот инструмент автоматизирует копирование данных из Elasticsearch в Manticore Search

Требования

  1. Инструмент дампа Elasticsearch : https://github.com/elasticsearch-dump/elasticsearch-dump
  2. PHP клиенты для Elasticsearch и Manticore

Установка

composer update

Использование

Перенести все индексы:

php migrator.php

Перенести определенные индексы:

php migrator.php  --elasticsearch.host=my.domain.com --elasticsearch.port=9200 --indexes=index1,index2

Параметры

  • indexes - список имен индексов ES, разделённых запятой. По умолчанию: перенести все доступные индексы
  • dryrun - выполнить пробный запуск без миграции чего-либо. Печатает информацию о доступных индексах ES
  • onlyschemas - только создать индекс(ы), без миграции данных
  • onlydata - перенести данные, предполагая, что индексы уже созданы
  • elasticsearch.host - хост ES, по умолчанию: 127.0.0.1
  • elasticsearch.port - порт ES, по умолчанию: 92000
  • elasticsearch.user - имя пользователя ES, нет по умолчанию
  • elasticsearch.pass - пароль ES, нет по умолчанию
  • elasticsearch.batch_size - сколько документов ES получать за раз (по умолчанию 10000)
  • manticoresearch.host - хост Manticore, по умолчанию: 127.0.0.1
  • manticoresearch.port - HTTP порт Manticore, по умолчанию: 9308
  • manticoresearch.batch_size - сколько документов группировать в одной партии INSERT в Manticore (по умолчанию 10000)
  • limit - ограничить количество документов из индекса для миграции (по умолчанию 0 - мигрировать все )
  • threads - использовать несколько параллельных рабочих процессов для обработки индексов (каждый рабочий процесс обрабатывает один индекс за раз), по умолчанию 1
  • types.* - позволяет переопределять настройки для типа данных ( см. Трансформация типа данных )
  • log- путь к файлу журнала; по умолчанию ‘stdout’ - вывод в консоль
  • config - читать параметры из конфигурационного файла в формате json

Параметры, считанные из конфигурационного файла, могут быть переопределены значениями, указанными в аргументах командной строки

php migrator.php  --config config.sample.json --threads=2

Исходный код

https://github.com/manticoresoftware/es2ms

Установить Manticore Search

Установить Manticore Search