Я пытаюсь понять, каково значение временной производной в изображении. Хотя я понимаю уравнение постоянства яркости, я не понимаю, почему разница между двумя изображениями дает мне временную производную.
Взятие разницы между двумя кадрами дает мне разницу в интенсивности пикселя на пиксель между ними, но как это то же самое, что спросить, насколько изображение изменилось за определенный промежуток времени?
Временная производная dI/dt изображения I(x,y,t) – это скорость изменения изображения с течением времени в определенном месте. Как вы заметили, это разница в интенсивности пикселей между двумя кадрами. Учитывая один пиксель в (x,y), приближение конечной разности к производной равно
f_d = ( I(x,y,t+delta) - I(x,y,t) ) / delta так что f_d -> dI/dt как delta -> 0.
В этом случае delta просто устанавливается равным единице. Таким образом, мы аппроксимируем производную изображения (по времени) разницей между соседними кадрами.
Один аспект, который может сбивать с толку, — это то, как это связано с движением объектов в изображении. Например, если вы знакомы с физикой, вы можете подумать о разнице между эйлеровой и лагранжевой системами отсчета: с более интуитивной лагранжевой точки зрения вы рассматриваете объект, движущийся, отслеживая его по пикселям (пространству), в котором он движется, например. наблюдать за кошкой, перепрыгивающей через забор. Представление Эйлера, которое ближе к тому, что мы делаем в оптическом потоке, заключается в том, чтобы отслеживать что происходит в отдельном пикселе и никогда не отрывать от него глаз. Когда кошка проходит над этой областью (пиксельного) пространства, значения пикселя будут меняться, а затем возвращаться к «нормальному», когда он исчезнет.
Эти два взгляда в некотором смысле эквивалентны, но могут быть полезны в различных ситуациях. В компьютерном зрении отслеживание объекта трудно, а вычисление этих эйлеровых временных производных легко. В идеале мы могли бы отследить кошку: рассмотреть точку p(t)=(x_p(t),y_p(t)), скажем, на ее голове, затем вычислить dp/dt и вычислить p(t) для всех t и использовать это для последующей обработки. К сожалению, это сложно, поэтому вместо этого мы надеемся, что постоянство яркости обычно верно локально, и используем оптический поток для оценки dp/dt. Конечно, dI/dt часто не хорошо соответствует dp/dt (поэтому постоянство яркости является предположением). Например, рассмотрим свет, движущийся вокруг неподвижной сферы: dI/dt будет большим, а dp/dt будет нулем.
Разница между последующими кадрами представляет собой аппроксимацию конечной разностью временной производной.
Правильные единицы будут получены, если значение разделить на время между кадрами (т. е. умножить на значение кадров в секунду).
