Има ли начин да промените списъка за актуализиране на функция, без да го компилирате повторно в Theano?

Всъщност искам да променя скоростта на обучение в различни периоди на обучение. Нещо като:

for i in range(iter_num):
    learn_rate = i*alpha
    do_training(learn_rate,...)

Очевидно повторното компилиране на нова функция за всяка итерация ще бъде твърде бавно. Така че се чудех има ли по-добър начин да го направя в Theano? Благодаря!


function machine-learning theano gpgpu
person dontloo    schedule 08.12.2015    source източник

Отговори (1)


arrow_upward
3
arrow_downward

Можете да направите скоростта на обучение символна променлива и да я прехвърлите във функцията за обучение по следния начин:

import numpy
import theano
import theano.tensor as tt


def compile(input_size, hidden_size, output_size):
    W_h = theano.shared(numpy.random.standard_normal(size=(input_size, hidden_size)).astype(theano.config.floatX))
    b_h = theano.shared(numpy.zeros((hidden_size,), dtype=theano.config.floatX))
    W_y = theano.shared(numpy.random.standard_normal(size=(hidden_size, output_size)).astype(theano.config.floatX))
    b_y = theano.shared(numpy.zeros((output_size,), dtype=theano.config.floatX))

    x = tt.matrix('x')
    z = tt.ivector('z')
    learning_rate = tt.scalar()
    h = tt.tanh(theano.dot(x, W_h) + b_h)
    y = tt.nnet.softmax(theano.dot(h, W_y) + b_y)
    cost = tt.nnet.categorical_crossentropy(y, z).mean()
    updates = [(p, p - learning_rate * tt.grad(cost, p)) for p in (W_h, b_h, W_y, b_y)]
    return theano.function([x, z, learning_rate], outputs=cost, updates=updates)


def main():
    input_size = 5
    hidden_size = 4
    output_size = 3
    train = compile(input_size, hidden_size, output_size)
    print train([[0, 1, 2, 3, 4], [5, 6, 7, 8, 9]], [1, 2], 0.1)


main()

Имайте предвид, че функцията за обучение вече има три параметъра; третото е скоростта на обучение.

person Daniel Renshaw    schedule 08.12.2015