MPI4Py причинява грешка при изпращане/приемане

Може ли някой да ми каже защо този минимален работен пример (MWE) се оплаква от TypeError: expected a writeable buffer object?

MWE:

#!/usr/bin/env python
from mpi4py import MPI

# MPI Initialization
rank = MPI.COMM_WORLD.Get_rank()
comm = MPI.COMM_WORLD

if __name__ == '__main__':
   a = True
   if rank == 0:
      a = False
      comm.Send ( [ a, MPI.BOOL ], 1, 111 )
   if rank == 1:
      comm.Recv ([ a, MPI.BOOL], 0, 111 )

Грешка:

Traceback (most recent call last):
  File "test.py", line 14, in <module>
    comm.Recv ([ a, MPI.BOOL], 0, 111 )
  File "Comm.pyx", line 143, in mpi4py.MPI.Comm.Recv (src/mpi4py.MPI.c:62980)
  File "message.pxi", line 323, in mpi4py.MPI.message_p2p_recv (src/mpi4py.MPI.c:22814)
  File "message.pxi", line 309, in mpi4py.MPI._p_msg_p2p.for_recv (src/mpi4py.MPI.c:22665)
  File "message.pxi", line 111, in mpi4py.MPI.message_simple (src/mpi4py.MPI.c:20516)
  File "message.pxi", line 51, in mpi4py.MPI.message_basic (src/mpi4py.MPI.c:19644)
  File "asbuffer.pxi", line 108, in mpi4py.MPI.getbuffer (src/mpi4py.MPI.c:6757)
  File "asbuffer.pxi", line 48, in mpi4py.MPI.PyObject_GetBufferEx (src/mpi4py.MPI.c:6081)
TypeError: expected a writeable buffer object
Traceback (most recent call last):
  File "test.py", line 12, in <module>
    comm.Send ( [ a, MPI.BOOL ], 1, 111 )
  File "Comm.pyx", line 132, in mpi4py.MPI.Comm.Send (src/mpi4py.MPI.c:62796)
  File "message.pxi", line 318, in mpi4py.MPI.message_p2p_send (src/mpi4py.MPI.c:22744)
  File "message.pxi", line 301, in mpi4py.MPI._p_msg_p2p.for_send (src/mpi4py.MPI.c:22604)
  File "message.pxi", line 111, in mpi4py.MPI.message_simple (src/mpi4py.MPI.c:20516)
  File "message.pxi", line 51, in mpi4py.MPI.message_basic (src/mpi4py.MPI.c:19644)
  File "asbuffer.pxi", line 108, in mpi4py.MPI.getbuffer (src/mpi4py.MPI.c:6757)
  File "asbuffer.pxi", line 50, in mpi4py.MPI.PyObject_GetBufferEx (src/mpi4py.MPI.c:6093)

===================================================================================
=   BAD TERMINATION OF ONE OF YOUR APPLICATION PROCESSES
=   EXIT CODE: 1
=   CLEANING UP REMAINING PROCESSES
=   YOU CAN IGNORE THE BELOW CLEANUP MESSAGES
===================================================================================
[proxy:0:0@raspi1] HYD_pmcd_pmip_control_cmd_cb (./pm/pmiserv/pmip_cb.c:886): assert (!closed) failed
[proxy:0:0@raspi1] HYDT_dmxu_poll_wait_for_event (./tools/demux/demux_poll.c:77): callback returned error status
[proxy:0:0@raspi1] main (./pm/pmiserv/pmip.c:206): demux engine error waiting for event
[mpiexec@raspi1] HYDT_bscu_wait_for_completion (./tools/bootstrap/utils/bscu_wait.c:76): one of the processes terminated badly; aborting
[mpiexec@raspi1] HYDT_bsci_wait_for_completion (./tools/bootstrap/src/bsci_wait.c:23): launcher returned error waiting for completion
[mpiexec@raspi1] HYD_pmci_wait_for_completion (./pm/pmiserv/pmiserv_pmci.c:217): launcher returned error waiting for completion
[mpiexec@raspi1] main (./ui/mpich/mpiexec.c:331): process manager error waiting for completion

python mpi
person puk    schedule 15.10.2013    source източник

Отговори (3)


arrow_upward
2
arrow_downward

Не съм експерт по MPI, но се чудя дали булевият тип данни в numpy не е съвместим с булевия тип данни в C? Може би това е причината за грешката. (Не доказателство, но някои доказателства: http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html#arrays-scalars-built-in и https://cython.readthedocs.org/en/latest/src/tutorial/numpy.html)

puk, както отбелязахте, едно решение е да прехвърлите данните като обекти на Python, като използвате функциите sendsend и recv (с малки s и r) (http://mpi4py.scipy.org/docs/usrman/tutorial.html). „Под капака“, mpi4py използва pickle за това и следователно всеки общ обект на python може да бъде изпратен.

Основната ми причина да отговоря е да публикувам алтернативно решение, използващо масиви с цели числа, като 0 съответства на True и 1 на False:

#!/usr/bin/env python
import numpy as np
from mpi4py import MPI

# MPI Initialization
rank = MPI.COMM_WORLD.Get_rank()
comm = MPI.COMM_WORLD

if __name__ == '__main__':
    a=np.array([0,])
    if rank == 0:
        a[0]=1
        comm.Send( [ a, MPI.INT ], 1, tag=111 )
        print rank,a
    if rank == 1:
        comm.Recv([ a, MPI.INT], 0, tag=111 )
        print rank,a

в случай, че някой иска да се възползва от по-бързите (според mpi4py документите) numpy масиви.

person amd    schedule 02.04.2014

arrow_upward
1
arrow_downward

Нямам представа защо получавам горната грешка, така че ако някой знае, моля, отговорете и аз ще приема. Като се има предвид това, мога да накарам кода да работи, ако вместо това използвам този стил (старият код е коментиран):

MWE:

#!/usr/bin/env python
from mpi4py import MPI

# MPI Initialization
rank = MPI.COMM_WORLD.Get_rank()
comm = MPI.COMM_WORLD

if __name__ == '__main__':
   a = True
   if rank == 0:
      a = False
      # comm.Send ( [ a, MPI.BOOL ], dest=1, tag=111 )
      comm.send ( a, dest=1, tag=111 )
   if rank == 1:
      # comm.Recv ([ a, MPI.BOOL], dest=0, tag=111 )
      a = comm.recv (source=0, tag=111 )
person puk    schedule 15.10.2013
comment
Вашият проблемен код се различава във вашите 2 примера. comm.Send ( [ a, MPI.BOOL ], 1, 111 ) срещу # comm.Send ( [ a, MPI.BOOL ], dest=1, tag=111 ) Просто включването на етикетите на полетата реши ли проблема ви? - person kraffenetti; 15.10.2013
comment
Това може да е причината. Имайте предвид, че първо използвах send и той се срина, след това Send се срина, след това се върнах на send и проработи. Предполагам, че етикетите на полетата са това, което направи разликата. Нека да проверя отново - person puk; 15.10.2013
comment
@kraffenetti Току-що го опитах отново, използвайки версиите с главни букви Send/Recv и поправих dest до source във втория коментиран ред и все още получавам същата грешка - person puk; 15.10.2013
comment
Изглежда, че mpi4py очаква обект на доставчик на буфер в извикванията Send/Recv с главни букви. Тъй като използвате общи обекти на Python във вашия пример, трябва да се придържате към извикванията с малки букви. mpi4py.scipy.org/docs/usrman/tutorial.html - person kraffenetti; 15.10.2013

arrow_upward
0
arrow_downward

Функциите за главни букви на MPI приемат подобни на масло обекти, като масиви NumPy в python. Функциите за малки букви използват pickle, за да могат да изпращат обектите.

http://mpi4py.readthedocs.org/en/latest/tutorial.html

person Jorge Silva    schedule 10.11.2015