Мотивация. Информация всегда определяется как детерминированная величина, измеряемая наименьшим количеством битов для представления. Например, в наборе данных MNIST каждое изображение имеет размер 28x28 с глубиной цвета 8 бит, что соответствует 6272 битам для каждого изображения. Но мы всегда знаем, что содержание каждого изображения — это просто число, ни больше, ни меньше, тогда мы можем встроить каждое из них всего в 4 бита (от 0000 до 1001). Возникает вопрос, как? Как мы можем сжать..