Интеграция данных Pentaho MongoDB Скорость ввода очень низкая

Мне нужно извлечь данные из MongoDB и поместить в базу данных, MongoDB - это набор реплик с 2 вторичными, и я читаю данные MongoDB из вторичного.
Я настраиваю простое преобразование (ввод MongoDB в фиктивный шаг), чтобы проверить скорость , но скорость чтения MongoDB обычно составляет около 200 строк в секунду.
Я думаю, что это слишком медленно.
Кто-нибудь может поделиться своим опытом, какова обычная скорость шага ввода MongoDB и как ее оптимизировать?
Спасибо!


pentaho pentaho-data-integration
person George Lu    schedule 02.01.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я не работал с mongodb в последнее время, но могу предложить проверить несколько вещей

  1. вы работаете с локального компьютера или удаленного сервера, если да, то при запуске преобразования можете ли вы проверить скорость сети, поскольку вы можете отправлять данные по сети, которая может быть медленной. Обычно мы настраиваем сервер корзины для запуска преобразования на сервере базы данных для повышения производительности.

  2. проверьте размер фиксации, который вам может потребоваться, чтобы изменить его в соответствии с потоком, с которым вы работаете, обычно его увеличение помогает улучшить.

посмотрите, может ли приведенное ниже помочь вам https://help.pentaho.com/Documentation/6.1/0L0/0Y0/090/020#OptimizeDS

person NK0709    schedule 08.01.2020