Разница между распределенными и нераспределенными массивами в MATLAB

Распределенные массивы хранятся на воркерах, а не на клиенте, и операции над ними выполняются параллельно воркерами - в этом их смысл.

Разница между распределенными и совместно распределенными массивами заключается только в перспективе. С точки зрения клиента это распределенные массивы; с точки зрения рабочих, они являются совместно распределенными массивами.

Для иллюстрации сначала запустите пул:

>> parpool('local',2)

создать массив:

>> W = ones(6,6);

W хранится на клиенте.

Теперь создайте распределенный массив из W:

>> V = distributed(W);

V хранится на воркерах, разделенных по каждому воркеру. У вас по-прежнему есть доступ к V от клиента, но когда вы это делаете, он оттягивает V от рабочих.

>> V
V =
     1     1     1     1     1     1
     1     1     1     1     1     1
     1     1     1     1     1     1
     1     1     1     1     1     1
     1     1     1     1     1     1
     1     1     1     1     1     1 

Обратите внимание, что в обозревателе рабочей области V представлен как распределенный массив 6x6, а не двойной 6x6, как W.

Теперь, хотя с точки зрения клиента V является распределенным массивом, с точки зрения рабочих V является совместно распределенным массивом.

>> spmd; disp(V); end
Lab 1: 
          LocalPart: [6x3 double]
      Codistributor: [1x1 codistributor1d]

Lab 2: 
          LocalPart: [6x3 double]
      Codistributor: [1x1 codistributor1d]

Вы можете видеть, что V распределяется совместно, и что только половина этого (6x3) хранится на каждом воркере.

Когда вы делаете что-то с V, это происходит на рабочих процессах параллельно, и результаты сохраняются на рабочих процессах в виде распределенного/совместно распределенного массива:

>> spmd; T = V*2; end
>> spmd; disp(T); end
Lab 1: 
          LocalPart: [6x3 double]
      Codistributor: [1x1 codistributor1d]

Lab 2: 
          LocalPart: [6x3 double]
      Codistributor: [1x1 codistributor1d]

У вас есть доступ к T из клиента так же, как и к V, но чтобы явно вернуть его, используйте gather:

>> S = gather(T);

Обратите внимание, что S теперь представляет собой двойной массив 6x6, а не распределенный массив.

К 1.) Конечно, есть и другие незначительные несоответствия, но, по крайней мере, способ индексации и манипулирования его элементами должен быть таким же.

К 2.) Вы можете легко попробовать сами. В любом случае, результатом является Composite, то есть обычный массив, копируемый в каждый worker при выполнении блока spmd, вычисления выполняются несколько раз, и каждый результат сохраняется. Я бы использовал «нормальный» тип для постоянных входных данных (параметров) и distributed для переменных, которые используются для вычисления вывода (и определяют их размер).

Пример:

x = distributed(1:100); % variable, output will be calculated on -> distributed
a = 5; % amplitude (constant parameter -> "normal")
spmd
  y = a * sin(x);
end
y

Это также объясняет цель distributed: включить параллельные вычисления на матрице.

К 3.: Distributed означает, что его элементы распределены по рабочим. Codistributed означает, что его элементы также распространяются, но таким же образом, что-то, что также является distributed (что среди прочего подразумевает равный размер). Я предполагаю (но не уверен), что свойство codistributed остается, пока параллельный пул остается открытым, но из-за пределов блока spmd к ним можно получить доступ только как к массивам distributed.

В документации говорится:

Совместно распределенные массивы на рабочих процессах, которые вы создаете в операторах spmd или из функций задач взаимодействующего задания, могут быть доступны как распределенные массивы на клиенте.