Потеря валидации отскакивает случайным образом при обучении модели Keras независимо от используемого оптимизатора

Я переучиваю модель InceptionV3 на 200 изображениях и использую оптимизатор Adam:

opt = Adam(lr=0.0001, decay=0.0001 / 100)

Я заметил, что потеря отскакивает специально от проверки. Я думал, что это связано со скоростью обучения, как я видел в некоторых ответах, таких как Передача обучения - Val_loss странное поведение, а также Почему в сверточной нейронной сети могут быть низкие потери, но также очень низкая точность? они не помогли.

поэтому я использовал RMSprop, но у меня было такое же поведение. Вот как выглядит перформанс:

Есть предложения, почему я испытываю это и как с этим справиться?