Правя моя cython код по-ефективен

Написах програма на Python, която се опитвам да цитонизирам. Има ли някакво предложение как да направите for-цикъла по-ефективен, тъй като това отнема 99% от времето?

Това е for-цикълът:

    for i in range(l):
        b1[i] = np.nanargmin(locator[i,:]) # Closer point
        locator[i, b1[i]] = NAN # Do not consider Closer point
        b2[i] = np.nanargmin(locator[i,:]) # 2nd Closer point
        Adjacents[i,0] = np.array((Existed_Pips[b1[i]]), dtype=np.double)
        Adjacents[i,1] = np.array((Existed_Pips[b2[i]]), dtype=np.double)

Това е останалата част от кода:

import numpy as np
cimport numpy as np
from libc.math cimport NAN #, isnan

def PIPs(np.ndarray[np.double_t, ndim=1, mode='c'] ys, unsigned int nofPIPs, unsigned int typeofdist):
    cdef:
        unsigned int currentstate, j, i
        np.ndarray[np.double_t, ndim=1, mode="c"] D
        np.ndarray[np.int64_t, ndim=1, mode="c"] Existed_Pips
        np.ndarray[np.int_t, ndim=1, mode="c"] xs
        np.ndarray[np.double_t, ndim=2] Adjacents, locator, Adjy, Adjx, Raw_Fire_PIPs, Raw_Fem_PIPs
        np.ndarray[np.int_t, ndim=2, mode="c"] PIP_points, b1, b2

    cdef unsigned int l = len(ys)
    xs = np.arange(0,l, dtype=np.int) # Column vector with xs
    PIP_points = np.zeros((l,1), dtype=np.int) # Binary indexation
    PIP_points[0] = 1 # One indicate the PIP points.The first two PIPs are the first and the last observation.
    PIP_points[-1] = 1
    Adjacents = np.zeros((l,2), dtype=np.double)
    currentstate = 2 # Initial PIPs

    while currentstate <= nofPIPs: #    for eachPIPs in range(nofPIPs)
        Existed_Pips = np.flatnonzero(PIP_points)
        currentstate = len(Existed_Pips)
        locator = np.full((l,currentstate), NAN, dtype=np.double) #np.int*
        for j in range(currentstate):
            locator[:,j] = np.absolute(xs-Existed_Pips[j])
        b1 = np.zeros((l,1), dtype=np.int)
        b2 = np.zeros((l,1), dtype=np.int)
        for i in range(l):
            b1[i] = np.nanargmin(locator[i,:]) # Closer point
            locator[i, b1[i]] = NAN # Do not consider Closer point
            b2[i] = np.nanargmin(locator[i,:]) # 2nd Closer point
            Adjacents[i,0] = np.array((Existed_Pips[b1[i]]), dtype=np.double)
            Adjacents[i,1] = np.array((Existed_Pips[b2[i]]), dtype=np.double)

        ##Calculate Distance
        Adjx = Adjacents        
        Adjy = np.array([ys[np.array(Adjacents[:,0], dtype=np.int)], ys[np.array(Adjacents[:,1], dtype=np.int)]]).transpose()
        Adjx[Existed_Pips,:] = NAN # Existed PIPs are not candidates for new PIP.
        Adjy[Existed_Pips,:] = NAN

        if typeofdist == 1: #Euclidean Distance
            ##[D] = EDist(ys,xs,Adjx,Adjy)
            ED = np.power(np.power((Adjx[:,1]-xs),2) + np.power((Adjy[:,1]-ys),2),(0.5)) + np.power(np.power((Adjx[:,0]-xs),2) + np.power((Adjy[:,0]-ys),2),(0.5))

        EDmax = np.nanargmax(ED)
        PIP_points[EDmax]=1

        currentstate=currentstate+1

    return np.array([Existed_Pips, ys[Existed_Pips]]).transpose()

person Kristin    schedule 05.07.2017    source източник


Отговори (1)


Няколко предложения:

  1. Извадете извикванията към np.nanargmin извън цикъла (използвайте параметъра axis, за да можете да работите с целия масив наведнъж. Това намалява броя на извикванията на функция на Python, които трябва да направите:

    b1 = np.nanargmin(locator,axis=1)
    locator[np.arange(locator.shape[0]),b1] = np.nan
    b2 = np.nanargmin(locator,axis=1)
    
  2. Присвояването ви на Adjacents е странно - изглежда първо създавате масив с дължина 1 за дясната страна. Вместо това просто направете

    Adjacents[i,0] = Existed_Pips[b1[i]]
    # ...
    

    В този случай обаче можете да изведете и двата реда извън цикъла, елиминирайки целия цикъл:

    Adjacents = np.vstack((Existing_Pips[b1], Existings_Pips[b2])).T
    

Всичко това разчита на numpy, а не на Cython, за ускоряване, но вероятно бие вашата версия.

person DavidW    schedule 06.07.2017
comment
Благодаря много! Времето за изпълнение премина от над 55 секунди до 5,8 секунди при многократно изпълнение в някои големи набори от данни, така че това работи много добре! - person Kristin; 06.07.2017
comment
Това е повече подобрение, отколкото бих очаквал. Което предполагам трябва да е добро. - person DavidW; 07.07.2017