эффективное одностороннее общение

Я ищу эффективную одностороннюю коммуникационную библиотеку, которую можно использовать для эффективной реализации RDMA.

В настоящее время я рассмотрел реализации MPI-2, такие как MPICH2, а также MVAPICH2 (реализация MPI-2 на основе архитектуры InfiniBand, использующая RDMA).

MVAPICH2 имеет много функций, которые мне нужны, но, к сожалению, я не могу их использовать, потому что в настоящее время у меня нет доступа к архитектуре InfiniBand в моем университете.

Так что я действительно хочу, есть ли какие-либо другие библиотеки (не обязательные варианты реализации MPI), которые можно считать эффективными в смысле снижения накладных расходов между взаимодействующими процессами (пример: избегание рукопожатия в протоколе рандеву, таким образом разгружая накладные расходы от целевого процесса).

Я также был бы признателен за любой совет, который поможет мне сделать что-то другое вместо того, чтобы искать приготовленную подходящую библиотеку.

Благодарю.


mpi rdma
person LeTex    schedule 25.04.2012    source источник

Ответы (2)


arrow_upward
4
arrow_downward

Во-первых, RDMA и RMA — это не одно и то же. RDMA требуется какое-то специализированное оборудование (например, InfiniBand) для прямого доступа к буферам приложений. Если вы выполняете односторонние операции RMA, например, через TCP, вы все равно проходите через ядро ​​ОС и делаете несколько копий данных в процессе.

Вы можете написать свое приложение, используя односторонние операции MPI, протестировать его с помощью библиотеки MPI, работающей в сети Ethernet, а когда придет время и вы получите доступ к более быстрому оборудованию, просто замените библиотеку MPI чем-то, что поддерживает RDMA.

В качестве альтернативы посмотрите на некоторые библиотеки более низкого уровня, такие как ARMCI и GASNet. Но ничто не может сделать RDMA без специализированного оборудования.

Есть ли конкретное приложение, которое вы имеете в виду с этими требованиями?

person Greg Inozemtsev    schedule 26.04.2012
comment
Уважаемые г.иноземцев, большое Вам спасибо! У меня нет каких-либо конкретных требований к приложению, я просто пытаюсь решить высокопроизводительные вычисления в распределенной среде, где задействован RDMA (или, как вы предложили, используется эффективный RMA). спасибо за ваши предложения. - person LeTex; 26.04.2012

arrow_upward
1
arrow_downward

В дополнение к ответу Г.Иноземцева приведем еще несколько ссылок.

Эффективная односторонняя связь через Gigabit Ethernet исследовалась в нескольких проектах. Существует iWARP (протокол глобальной сети RMDA через Интернет), для которого несколько поставщиков GigE обеспечивают аппаратную поддержку.

Есть несколько статей по iWARP от группы Д.К. Панда 1. П. Баладжи и др. Поддержка совместимости и функций iWARP для обычных сетевых адаптеров, 2005 г. 2. S. Naravulla et al. Высокопроизводительный MPI поверх iWARP: ранний опыт, 2007 г.

Другим вариантом могут быть активные сообщения Berkeley, которые можно реализовать поверх UDP.

Насколько мне известно, при широкой доступности тканей InfiniBand это направление исследований активно не развивается.

person Dmitri Chubarov    schedule 26.04.2012