Действительно, я хочу изменить скорость обучения в разные периоды обучения. Что-то типа:
for i in range(iter_num):
learn_rate = i*alpha
do_training(learn_rate,...)
По-видимому, перекомпиляция новой функции для каждой итерации будет слишком медленной. Поэтому мне было интересно, есть ли лучший способ сделать это в Theano? Спасибо!
Вы можете сделать скорость обучения символьной переменной и передать ее в функцию обучения следующим образом:
import numpy
import theano
import theano.tensor as tt
def compile(input_size, hidden_size, output_size):
W_h = theano.shared(numpy.random.standard_normal(size=(input_size, hidden_size)).astype(theano.config.floatX))
b_h = theano.shared(numpy.zeros((hidden_size,), dtype=theano.config.floatX))
W_y = theano.shared(numpy.random.standard_normal(size=(hidden_size, output_size)).astype(theano.config.floatX))
b_y = theano.shared(numpy.zeros((output_size,), dtype=theano.config.floatX))
x = tt.matrix('x')
z = tt.ivector('z')
learning_rate = tt.scalar()
h = tt.tanh(theano.dot(x, W_h) + b_h)
y = tt.nnet.softmax(theano.dot(h, W_y) + b_y)
cost = tt.nnet.categorical_crossentropy(y, z).mean()
updates = [(p, p - learning_rate * tt.grad(cost, p)) for p in (W_h, b_h, W_y, b_y)]
return theano.function([x, z, learning_rate], outputs=cost, updates=updates)
def main():
input_size = 5
hidden_size = 4
output_size = 3
train = compile(input_size, hidden_size, output_size)
print train([[0, 1, 2, 3, 4], [5, 6, 7, 8, 9]], [1, 2], 0.1)
main()
Обратите внимание, что функция обучения теперь имеет три параметра; в-третьих, скорость обучения.
