cuda python GPU numbapro 3d loop низкая производительность

Я пытаюсь настроить 3D-цикл с заданием

 C(i,j,k) = A(i,j,k) + B(i,j,k)

используя Python на моем графическом процессоре. Это мой графический процессор:

http://www.geforce.com/hardware/desktop-gpus/geforce-gt-520/specifications

Источники, на которые я смотрю/сравниваю:

http://nbviewer.ipython.org/gist/harrism/f5707335f40af9463c43

http://nbviewer.ipython.org/github/ContinuumIO/numbapro-examples/blob/master/webinars/2014_06_17/intro_to_gpu_python.ipynb

Возможно, я импортировал больше модулей, чем необходимо. Это мой код:

import numpy as np
import numbapro
import numba
import math
from timeit import default_timer as timer
from numbapro import cuda
from numba import *

@autojit
def myAdd(a, b):
  return a+b

myAdd_gpu = cuda.jit(restype=f8, argtypes=[f8, f8], device=True)(myAdd)

@cuda.jit(argtypes=[float32[:,:,:], float32[:,:,:], float32[:,:,:]])
def myAdd_kernel(a, b, c):
    tx = cuda.threadIdx.x
    ty = cuda.threadIdx.y
    tz = cuda.threadIdx.z
    bx = cuda.blockIdx.x
    by = cuda.blockIdx.y
    bz = cuda.blockIdx.z
    bw = cuda.blockDim.x
    bh = cuda.blockDim.y
    bd = cuda.blockDim.z
    i = tx + bx * bw
    j = ty + by * bh
    k = tz + bz * bd
    if i >= c.shape[0]:
      return
    if j >= c.shape[1]:
      return
    if k >= c.shape[2]:
      return
    for i in xrange(0,c.shape[0]):
      for j in xrange(0,c.shape[1]):
        for k in xrange(0,c.shape[2]):
          # c[i,j,k] = a[i,j,k] + b[i,j,k]
          c[i,j,k] = myAdd_gpu(a[i,j,k],b[i,j,k])

def main():
    my_gpu = numba.cuda.get_current_device()
    print "Running on GPU:", my_gpu.name
    cores_per_capability = {1: 8,2: 32,3: 192,}
    cc = my_gpu.compute_capability
    print "Compute capability: ", "%d.%d" % cc, "(Numba requires >= 2.0)"
    majorcc = cc[0]
    print "Number of streaming multiprocessor:", my_gpu.MULTIPROCESSOR_COUNT
    cores_per_multiprocessor = cores_per_capability[majorcc]
    print "Number of cores per mutliprocessor:", cores_per_multiprocessor
    total_cores = cores_per_multiprocessor * my_gpu.MULTIPROCESSOR_COUNT
    print "Number of cores on GPU:", total_cores

    N = 100
    thread_ct = my_gpu.WARP_SIZE
    block_ct = int(math.ceil(float(N) / thread_ct))

    print "Threads per block:", thread_ct
    print "Block per grid:", block_ct

    a = np.ones((N,N,N), dtype = np.float32)
    b = np.ones((N,N,N), dtype = np.float32)
    c = np.zeros((N,N,N), dtype = np.float32)

    start = timer()
    cg = cuda.to_device(c)
    myAdd_kernel[block_ct, thread_ct](a,b,cg)
    cg.to_host()
    dt = timer() - start
    print "Wall clock time with GPU in %f s" % dt
    print 'c[:3,:,:] = ' + str(c[:3,1,1])
    print 'c[-3:,:,:] = ' + str(c[-3:,1,1])


if __name__ == '__main__':
    main()

Мой результат от запуска этого следующий:

Running on GPU: GeForce GT 520
Compute capability:  2.1 (Numba requires >= 2.0)
Number of streaming multiprocessor: 1
Number of cores per mutliprocessor: 32
Number of cores on GPU: 32
Threads per block: 32
Block per grid: 4
Wall clock time with GPU in 1.104860 s
c[:3,:,:] = [ 2.  2.  2.]
c[-3:,:,:] = [ 2.  2.  2.]

Когда я запускаю примеры в исходниках, я вижу значительное ускорение. Я не думаю, что мой пример работает должным образом, поскольку время настенных часов намного больше, чем я ожидал. Я смоделировал это в основном из раздела «еще большее ускорение с помощью cuda python» в первой ссылке примера.

Я считаю, что проиндексировал правильно и безопасно. Может быть, проблема в моем blockdim? или гриддим? Или, может быть, я использую неправильные типы для своего графического процессора. Кажется, я читал, что они должны быть определенного типа. Я очень новичок в этом, поэтому проблема вполне может быть тривиальной!

Любая помощь приветствуется!


person Charles    schedule 02.01.2015    source источник


Ответы (2)


Вы правильно создаете свои индексы, но затем игнорируете их. Запуск вложенного цикла

for i in xrange(0,c.shape[0]):
    for j in xrange(0,c.shape[1]):
        for k in xrange(0,c.shape[2]):

заставляет все ваши потоки перебирать все значения во всех измерениях, а это не то, что вам нужно. Вы хотите, чтобы каждый поток вычислял одно значение в блоке, а затем двигался дальше.

Я думаю, что-то вроде этого должно работать лучше...

i = tx + bx * bw
while i < c.shape[0]:
    j = ty+by*bh
    while j < c.shape[1]:
        k = tz + bz * bd
        while k < c.shape[2]:
            c[i,j,k] = myAdd_gpu(a[i,j,k],b[i,j,k])
            k+=cuda.blockDim.z*cuda.gridDim.z
        j+=cuda.blockDim.y*cuda.gridDim.y
    i+=cuda.blockDim.x*cuda.gridDim.x

Попробуйте скомпилировать и запустить. Также не забудьте подтвердить это, поскольку я этого не делал.

person Christian Sarofeen    schedule 04.01.2015

Я не вижу, чтобы вы использовали imshow или show, поэтому нет необходимости их импортировать.

Не похоже, что вы используете свой импорт математики (я не видел никаких вызовов math.some_function.

Ваш импорт из numba и numbapro кажется повторяющимся. Ваш «импорт cuda из numba» переопределяет ваш «импорт cuda из numbapro», поскольку он следует за ним. Ваши вызовы cuda используют cuda в numba, а не в numbapro. Когда вы вызываете «from numba import *», вы импортируете все из numba, а не только cuda, который кажется единственным, что вы используете. Кроме того, (я полагаю) import numba.cuda эквивалентен from numba import cuda. Почему бы не исключить весь ваш импорт из numba и numbapro с помощью одного «импорта cuda из numba».

person user1245262    schedule 02.01.2015
comment
@Charlie - Извините, я должен был предварить это замечанием, что я сосредоточился на вашем комментарии о чрезмерном импорте модулей. Возможно, это действительно должен был быть просто комментарий, но он показался немного длинным для одного. - person user1245262; 03.01.2015
comment
Я понял, что то, что у меня было только что, не работает, поэтому я вернул часть импорта. Я знаю, что это выглядит избыточно, но с импортом все в порядке. - person Charles; 03.01.2015