ефективна едностранна комуникация

Търся ефективна библиотека за едностранна комуникация, която може да се използва за ефективно внедряване на RDMA.

В момента разгледах реализации на MPI-2 като MPICH2 и също MVAPICH2 (базирана на InfiniBand архитектура реализация на MPI-2, която използва RDMA).

MVAPICH2 има много функционалност, която търся, но за съжаление не мога да я използвам, защото в момента нямам достъп до InfiniBand Architecture в моя университет.

И така, това, което наистина искам, е има ли други библиотеки (не са необходими варианти на реализации на MPI), които могат да се считат за ефективни в смисъл на намаляване на режийните разходи между комуникационните процеси (пример: избягване на ръкостискане в протокола за среща, като по този начин се разтоварват режийните разходи от целевия процес).

Също така ще оценя всеки съвет, който ми помага да направя нещо различно, вместо да намеря готова подходяща библиотека.

Благодаря.


mpi rdma
person LeTex    schedule 25.04.2012    source източник

Отговори (2)


arrow_upward
4
arrow_downward

Първо, RDMA и RMA не са едно и също нещо. RDMA се нуждае от някакъв специализиран хардуер (като InfiniBand), за да има директен достъп до буферите на приложенията. Ако извършвате едностранни RMA операции чрез TCP например, вие все още преминавате през ядрото на ОС и правите няколко копия на данни в процеса.

Можете да напишете приложението си, като използвате едностранни MPI операции, да го тествате с MPI библиотека, която работи на Ethernet, и когато дойде времето и получите достъп до по-бърз хардуер, просто заменете MPI библиотеката с нещо, което поддържа RDMA.

Като алтернатива, погледнете някои библиотеки от по-ниско ниво като ARMCI и GASNet. Но нищо не може да направи RDMA без специализиран хардуер.

Имате ли конкретно приложение, което имате предвид с тези изисквания?

person Greg Inozemtsev    schedule 26.04.2012
comment
Уважаеми g.inozemtsev, много ви благодаря! Нямам конкретно изискване за приложение, просто се опитвам да се справя с високопроизводителни изчисления в разпределена среда, където е включен RDMA (или както предложихте се използва ефективен RMA). благодаря ви за предложенията. - person LeTex; 26.04.2012

arrow_upward
1
arrow_downward

В допълнение към отговора на G.Inozemtsev, ето още няколко препратки.

Ефективните едностранни комуникации през гигабитов Ethernet бяха изследвани в няколко проекта. Има iWARP (Wide Area RMDA Protocol over Internet), за който няколко доставчици на GigE предоставят хардуерна поддръжка.

Има няколко статии за iWARP от групата на D.K. Panda 1. P. Balaji и др. Поддържаща iWARP съвместимост и функции за обикновени мрежови адаптери, 2005 2. S. Naravulla et al. Високоефективен MPI през iWARP: Ранни преживявания, 2007 г

Друг вариант биха били Berkeley Active Messages, които могат да бъдат внедрени върху UDP.

Доколкото ми е известно, с широката наличност на тъкани InfiniBand, тази изследователска посока не се развива активно.

person Dmitri Chubarov    schedule 26.04.2012