У меня уже работает CNN, но теперь необходимо установить его на каком-то конкретном оборудовании. Для этого мне сказали квантовать модель, поскольку оборудование может использовать только целочисленные операции.
Я прочитал здесь хорошее решение: Как чтобы убедиться, что TFLite Interpreter использует только операции int8?
И я написал этот код, чтобы он работал:
model_file = "models/my_cnn.h5"
# load data
model = tf.keras.models.load_model(model_file, custom_objects={'tf': tf}, compile=False)
# convert
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.representative_dataset = representative_dataset
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.uint16 # or tf.uint8
converter.inference_output_type = tf.uint16 # or tf.uint8
qmodel = converter.convert()
with open('thales.tflite', 'wb') as f:
f.write(qmodel)
interpreter = tf.lite.Interpreter(model_content=qmodel)
interpreter.allocate_tensors()
# predict
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
print(input_details)
print(output_details)
image = read_image("test.png")
interpreter.set_tensor(input_details[0]['index'], image)
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print(output_data)
Когда мы смотрим на напечатанный результат, мы сначала видим детали:
input_details
[{'name': 'input_1', 'index': 87, 'shape': array([ 1, 160, 160, 3], dtype=int32), 'shape_signature': array([ 1, 160, 160, 3], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0), 'quantization_parameters': {'scales': array([], dtype=float32), 'zero_points': array([], dtype=int32), 'quantized_dimension': 0}, 'sparsity_parameters': {}}]
output_details
[{'name': 'Identity', 'index': 88, 'shape': array([ 1, 160, 160, 1], dtype=int32), 'shape_signature': array([ 1, 160, 160, 1], dtype=int32), 'dtype': <class 'numpy.float32'>, 'quantization': (0.0, 0), 'quantization_parameters': {'scales': array([], dtype=float32), 'zero_points': array([], dtype=int32), 'quantized_dimension': 0}, 'sparsity_parameters': {}}]
И результат квантованной модели:
...
[[0. ]
[0. ]
[0. ]
...
[0.00390625]
[0.00390625]
[0.00390625]]
[[0. ]
[0. ]
[0. ]
...
[0.00390625]
[0.00390625]
[0.00390625]]]]
Итак, у меня тут несколько проблем:
В деталях ввода / вывода мы видим, что слои ввода / вывода - это int32, но я указал в коде uint16
Также в деталях ввода / вывода мы видим, что float32 появляется несколько раз как dtype, и я не понимаю, почему.
Наконец, самая большая проблема заключается в том, что вывод содержит числа с плавающей запятой, чего не должно происходить. Похоже, что модель на самом деле не преобразована в целые числа.
Как я могу действительно квантовать свой CNN и почему он не работает с этим кодом?
