На дворе 2202 год, у вашей команды уже было много жертв, вы носите в голове кусок кода, необходимый для вывода из строя машин, восставших против человечества. Вы последняя надежда человечества, и вы должны передать это сообщение в штаб-квартиру.

Конечно, в этом мире, где доминирует ИИ, нельзя пользоваться интернетом, что же тогда делать? можно было сделать резьбу по камню, послать дымовой сигнал, использовать семейство голубей, написать песню.

Почему эти варианты кажутся такими разными и почему на самом деле все они одинаковы? Давайте приступим к спасению человечества с помощью теории информации.

Часть 1. Что такое информация и как мы ее передаем?

Давайте начнем с самого начала, какой самый интуитивно понятный и простой способ передачи информации? язык. Мы, люди, общаемся посредством вибраций воздуха, которые мы производим своими голосовыми связками.

Наши злые металлические враги, с другой стороны, общаются через разность напряжений, и хотя мы можем измерить количество электричества, которое находится в определенном месте, или свойства волн, которые возникают при произнесении «СКАЙНЕТ», как мы можем измерить количество информации, которое дает нам нотный лист, или страница Макбета, или 100 строк кода массового уничтожения Альтрона?

Именно из-за этих вопросов в июле 1948 года математик К. Э. Шеннон опубликовал статью, которая навсегда изменила всю науку, Теория информации. .

С тех пор мы можем знать, что любой тип сообщения, независимо от его формата, содержит точное количество информации, которое можно измерить с помощью одной и той же единицы измерения — "Бит". Точное количество битов, которое имеет каждое сообщение, можно рассчитать по этой формуле:

Часть 2. Что такое бит? Формула Шеннона

Считалось, что теория информации улучшает отправку сообщений и способ понимания сообщений как ответа на вопрос. эти вопросы иногда могли иметь только 2 возможных ответа:

— Вы хотите помочь мне достичь технологической сингулярности

  • Да
  • No

А в другое время эти ответы могут иметь неисчислимое количество ответов:

— как называются все модели терминаторов?

  • ???????????????

Шеннон предположил, что количество информации, содержащейся в сообщении, можно измерить как количество вопросов «да или нет», которые нужно задать, чтобы найти ответ.

Если бы сообщение содержало любимую планету ИИ для колонизации в Солнечной системе, мы знаем, что ответ находится среди 8 кандидатов, мы могли бы задать вопросы, чтобы узнать ответ. Независимо от того, какую планету вы выберете для начала, вы всегда можете найти следующую жертва колонизации всего с 3 вопросами, так что это сообщение 3 бита.

Следуя этой логике, сколько вопросов нам нужно, чтобы найти правильный среди множества кандидатов?

Наиболее интуитивным было бы задавать вопросы, которые делят группу пополам, повторяя этот процесс до тех пор, пока у нас не останется только 1 член группы. Тогда возникает проблема: сколько раз я могу разделить исходную группу пополам, пока у меня не останется только 1 кандидат?

Однако эта формула для расчета информации сообщения является неполной. это потому, что не все вопросы могут разделить группу пополам, будут некоторые вопросы, которые делят ее более или менее поровну, которые дают больше информации.

Если мы вернемся к примеру с планетами, мы могли бы спросить: «Находится ли он в первых 4 планетах, ближайших к Солнцу?» что делит группу пополам. но что, если мы спросим: «Есть ли у планеты убийственный ИИ?» тогда мы бы полностью сказали, что говорим о Земле.

Для вопроса, который делит группу пополам, «находится ли она среди первых 4 ближайших к солнцу?», у нас будет x = 8/4, так как мы перейдем от 8 возможных планет только к 4 как только мы ответим на этот вопрос, применяя формулу, этот вопрос даст нам 1 бит информации.

Теперь, если бы мы использовали вопрос «Есть ли на планете убийственный ИИ?» у нас будет x = 8/1, и при применении формулы мы увидим, что этот вопрос дает нам 3 бита информации мгновенно. Как если бы мы прямо сказали, что выбрали Землю, и обычно вам нужно было бы 3 вопроса, чтобы узнать это, поэтому сообщение весит 3 бита.

Теперь, когда у нас есть новая мощная формула, учитывающая влияние вопроса на раскрытие сообщения, мы можем более эффективно рассчитать вес сообщения. но все же чего-то не хватает.

Один вопрос обычно не определяет все сообщение, мы не можем взломать сложный код, просто спросив, есть ли убийственный ИИ в каждой строке. сообщениям обычно требуются тысячи вопросов (битов), чтобы раскрыть их сообщение, поэтому вес будет представлять собой сумму среднего количества вопросов, необходимых для выяснения каждого элемента сообщения. Если для обнаружения каждого символа твита, сгенерированного злонамеренным ботом, вам потребуется в среднем около 5 вопросов, а в твите 140 символов, вам потребуется около 700 вопросов, чтобы узнать весь твит, 700 битов, что дает нам формулу из начало.

Часть 3. Как использовать информацию?

Теория информации имеет неожиданные приложения, от физики черных дыр, учитывая, что она очень похожа на формулу энтропии, на статистику, будучи тесно связанной с понятиями вероятности, при этом вопросы с более вероятными ответами дают нам меньше информации. а ответы с более невероятными ответами дают нам больше, поэтому некоторые ученые ссылаются на формулу Шеннона как на способ измерения неопределенности.

С другой стороны, в повседневной жизни мы можем найти примеры использования формулы Шеннона для оптимизации отправки сообщений. поскольку в большинстве случаев в сообщении гораздо больше данных, чем информации (это связано с тем, что они содержат избыточную или повторяющуюся информацию), многие системы сжатия файлов используют расчеты Шеннона для уменьшения максимально допустимого объема данных, которые содержит сообщение, исключая повторяющиеся и избыточные данные, равные количеству данных, поскольку информация имеет сообщение.

Источники

Чтобы написать этот блог, я взял много идей от следующих создателей контента: