Поддерживается ли автоматическая смешанная точность tf.keras в Tensorflow Beta 2.0?

Я пытаюсь заставить работать автоматическую смешанную точность Tensorflow (для использования тензорных ядер на RTX 2080 Ti), используя API tf.keras, но я не вижу никакого ускорения в обучении.

я только что добавил

os.environ['TF_ENABLE_AUTO_MIXED_PRECISION'] = '1'

в начало скрипта Python. Я также попытался установить переменную среды в 1 из командной строки, т.е.

export TF_ENABLE_AUTO_MIXED_PRECISION=1

Поддерживается ли в этом случае AMP или модель должна быть реализована в «сыром» Tensorflow?


python keras tensorflow tf.keras
person Bdawg N    schedule 04.07.2019    source источник

Ответы (1)


arrow_upward
2
arrow_downward

На данный момент автоматическая смешанная точность поддерживается только при использовании контейнера Tensorflow Docker от NVIDIA:

https://ngc.nvidia.com/catalog/containers/nvidia:tensorflow

https://www.tensorflow.org/install/docker

Вам нужно использовать Ubuntu 18.04, текущая версия Ubuntu и Windows не поддерживаются. Последний контейнер Docker имеет TF 1.13, если я не ошибаюсь. После установки tf.keras должен поддерживать автоматическую смешанную точность.

Редактировать:

Я попробовал версию 2.0.0-beta1 в Windows и также не заметил повышения скорости при использовании автоматической смешанной точности. С контейнером NVIDIA Docker в Linux я получил как минимум 2-кратное ускорение при установке TF_ENABLE_AUTO_MIXED_PRECISION на 1. Надеюсь, это будет работать в выпуске 2.0.

Редактировать 2: с TF 2.0.0-rc0 AMP повышает производительность, как и ожидалось для простой модели. В более сложной модели (вариант U-Net) операции белого списка не найдены, и я не вижу разницы в производительности.

person Eric Fournie    schedule 04.07.2019
comment
Ах, я думал, что TF 2.0 поддерживает автоматическую смешанную точность в основной версии — например. как описано в этой записи в блоге? - person Bdawg N; 05.07.2019
comment
О, это отличная новость! Я не заметил, я скоро попробую бета-версию в этом случае. Спасибо за информацию! - person Eric Fournie; 05.07.2019
comment
Посмотрите, поможет ли это руководство: tensorflow.org/guide/keras/mixed_precision - person S. P; 03.05.2020