Каковы накладные расходы матлабпула?

Может ли кто-нибудь указать мне, каковы накладные расходы на запуск matlabpool?

Я начал матлабпул:

matlabpool open 132procs 100
Starting matlabpool using the '132procs' configuration ... connected to 100 labs.

И следили за использованием процессора на узлах как:

pdsh -A ps aux |grep dmlworker

Когда я запускаю matlabpool, он начинается со средней загрузки процессора ~ 35%, а когда пул не используется, он медленно (через 5-7 минут) снижается в среднем до ~ 2%.

Это нормально ? Каковы типичные накладные расходы? Изменится ли это, если matlabpooljob запускается как «пакетное» задание?


matlab parallel-processing distributed-computing
person nahsivar    schedule 18.09.2012    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Это нормально. ps aux сообщает о среднем использовании ЦП с момента запуска процесса, а не за скользящее окно. Это означает, что, несмотря на то, что рабочие процессы инициализируются относительно быстро, а затем становятся бездействующими, для отражения этого в процентах ЦП потребуется больше времени. Это отличается от команды Linux top, например, которая будет отражать загрузку с момента последнего обновления экрана в %CPU.

Что касается типичных накладных расходов, то они зависят от ряда факторов: очевидно, от количества рабочих, скорости и размера данных отправленных заданий (а также при поддержании рабочих процессов есть некоторые накладные расходы на ранжирование ввода и вывода, что не является существенным). часть «полезных вычислений»), является ли пул Matlab локальным или подключенным к диспетчеру заданий, а также версией Matlab и операционной системой.

Исходя из опыта, в качестве приблизительного руководства на современном *nix-сервере я думаю, что бездействующий рабочий процесс не должен потреблять более 20% ресурсов одного ядра (например, ‹~1% общего использования ЦП на 16-ядерный блок) после инициализации, если нет проблем с конфигурацией. Я не должен ожидать, что это будет зависеть от того, какие задания вы отправляете (например, используя «createJob», «batch» или «parfor»): рабочие и коммуникационные механизмы внизу, по сути, одинаковы.

person James Beilby    schedule 09.10.2012