Как увидеть различия между двумя моделями Tflite

У меня есть 2 модели Tensorflow Lite (это модели Yolo V2 Tiny):

  • Модель A) загружается из Интернета, обнаруживает и классифицирует объекты по 80 классам. Файл .tflite весит 44,9 МБ.
  • Модель Б) Обученный мной с использованием даркнета, обнаруживает и классифицирует объекты по 52 классам. Размер файла .tflite составляет 20,8 МБ. Модель конвертируется в TFLite с помощью Darkflow.

Однако и на мобильном телефоне, и на компьютере модели B требуется в 10 раз больше времени для прогнозирования, чем модели A (даже если модель B обнаруживает в пределах меньшего числа классов и ее файл легче). Кроме того, похоже, что модели работают с входными изображениями размером 416x416 и используют числа с плавающей запятой.

Что может быть причиной того, что модель A быстрее, чем модель B? Как узнать, почему модель А быстрее?

Одна из моих проблем заключается в том, что для модели A, поскольку я сам ее не обучал, у меня нет ее файла .cfg со всей установкой ...


tensorflow yolo tensorflow-lite darknet darkflow
person user2348684    schedule 15.03.2020    source источник

Ответы (1)


arrow_upward
2
arrow_downward

Вам следует попробовать следующие два подхода, чтобы получить больше информации, поскольку причин, по которым модель работает медленнее, чем ожидалось, может быть несколько.

Осмотрите обе сети с помощью такого инструмента, как Netron. Вы можете загрузить файл модели плоского буфера (TF Lite) и визуализировать сетевую архитектуру после преобразования TF Lite. Здесь вы можете увидеть, в чем разница между двумя моделями. Если, например, в модели B есть дополнительные операции Reshape или аналогичные операции по сравнению с A, что, вероятно, может быть причиной. Чтобы загрузить Netron, следуйте https://github.com/lutzroeder/netron.

Измерьте время, затрачиваемое моделью на каждый из своих слоев. Для этого вы можете использовать инструмент тестирования производительности TF Lite, доступный непосредственно в репозитории Tensorflow. Проверьте это здесь, https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/tools/benchmark/README.md.

person BigCola    schedule 16.03.2020