Годината 2202 е, вашият екип вече има много жертви, в главата си носите частта от кода, необходима за деактивиране на машините, които са се разбунтували срещу човечеството. Вие сте последната надежда на човечеството и трябва да занесете това съобщение в щаба.

Разбира се, в този свят, доминиран от AI, не можете да използвате интернет, какво трябва да направите тогава? можете да направите каменна резба, да изпратите димен сигнал, да използвате семейство гълъби, да напишете песен.

Защо тези опции изглеждат толкова различни и защо всички са еднакви? Нека се впуснем в спасяването на човечеството с теорията на информацията.

Част 1: Какво е информация и как я предаваме?

Да започнем отначало, кой е най-интуитивният и лесен начин за предаване на информация? езика. Ние, хората, общуваме чрез вибрации във въздуха, които произвеждаме с нашите гласни струни.

Нашите зли метални врагове, от друга страна, комуникират чрез разлики в напрежението и докато можем да измерим количеството електричество, което е на определено място, или свойствата на вълните, които се произвеждат при произнасянето на „SKYNET“, как можем да измерим количеството информация, което ни дава един музикален лист, или страница от Макбет, или 100 реда от кода за масово унищожение на Ултрон?

Именно поради тези въпроси през юли 1948 г. математикът C.E. Шанън публикува статия, която завинаги ще революционизира цялата наука,Теорията на информацията .

Оттогава можем да знаем, че всеки тип съобщение, независимо от неговия формат, има точно количество информация, което може да бъде измерено със същата единица, „Бит“. Точното количество битове, които има всяко съобщение, може да се изчисли с тази формула:

Част 2: Какво е бит? Формула на Шанъна

Смята се, че теорията на информацията подобрява изпращането на съобщения и начин за разбиране на съобщенията като отговор на въпрос. тези въпроси понякога могат да имат само 2 възможни отговора:

— Искате да ми помогнете да постигна технологична уникалност

  • Да
  • No

А в други случаи тези отговори могат да имат неизброимо количество отговори:

— как се наричат ​​всички модели терминатори?

  • ???????????????

Шанън си представи, че количеството информация, което едно съобщение съдържа, може да бъде измерено като броя на въпросите „да или не“, които трябва да бъдат зададени, за да се намери отговорът.

Ако съобщението съдържа любимата планета на AI за колонизиране в слънчевата система, знаем, че отговорът е сред 8 кандидата, бихме могли да задаваме въпроси, за да разберем отговора. Независимо от коя планета изберете да започнете, винаги можете да намерите следващата жертва на колонизация само с 3 въпроса, така че това съобщение е 3 бита.

Следвайки тази логика, колко въпроса са ни необходими, за да намерим правилния сред група от много кандидати?

Най-интуитивното би било да задаваме въпроси, които разделят групата наполовина, като повтаряме този процес, докато остане само 1 член от групата. Тогава проблемът ще бъде колко пъти мога да разделя първоначалната група наполовина, докато остана само с 1 кандидат?

Тази формула за изчисляване на информацията за съобщение обаче е непълна. това е така, защото не всички въпроси могат да разделят групата наполовина, ще има някои въпроси, които я разделят повече или по-малко по равно, които предоставят повече информация.

Ако се върнем към примера с планетите, можем да попитаме „в първите 4 планети най-близо до слънцето ли е?“ което би разделило групата наполовина. но какво ще стане, ако попитаме „планетата има ли убиец AI?“ тогава напълно ще кажем, че говорим за Земята.

За въпроса, който разделя групата наполовина „е сред първите 4 най-близо до слънцето?“, ще имамеx = 8/4, тъй като ще преминем от 8 възможни планети до само 4 след като отговорим на този въпрос, прилагайки формулата, този въпрос ни дава 1 бит информация.

Сега, ако използваме въпроса „Има ли планетата убиец AI?“ ще имаме, че x = 8/1 и когато прилагаме формулата, ще видим, че този въпрос ни дава 3-те бита информация моментално. Сякаш сме казали директно, че сме избрали Земята и обикновено са ви нужни 3 въпроса, за да разберете това, затова съобщението тежи 3 бита.

Сега, когато разполагаме с тази мощна нова формула, която отчита колко голямо е влиянието на даден въпрос върху разкриването на съобщението, можем да имаме по-ефективно изчисляване на тежестта на съобщението. но все още нещо липсва.

Един въпрос обикновено не определя цялото съобщение, не можем да разбием сложен код само като питаме дали има убиец AI на всеки ред. съобщенията обикновено изискват хиляди въпроси (битове), за да разкрият своето послание, така че теглото ще бъде сумата от средната стойност на въпросите, които са необходими, за да се открие всеки елемент от съобщението. Ако за да откриете всеки знак от туит, генериран от злонамерен бот, ви трябват средно около 5 въпроса, а туитът има 140 знака, ще ви трябват около 700 въпроса, за да откриете целия туит, 700 бита, оставяйки ни формулата от началото.

Част 3: Как да използваме информацията?

Теорията на информацията има неочаквани приложения, от физиката на черните дупки, като се има предвид, че има голяма прилика с формулата за ентропия, до статистиката, тясно свързана с понятията за вероятност, имайки предвид, че въпросите с по-вероятни отговори ни дават по-малко информация а тези с по-невероятни отговори ни дават повече, поради което някои учени се позовават на формулата на Шанън като начин за измерване на несигурността.

От друга страна, в ежедневието можем да намерим примери за използване на формулата на Шанън за оптимизиране на изпращането на съобщения. тъй като в повечето случаи едно съобщение има много повече данни, отколкото има информация (това е защото те имат излишна или повтаряща се информация) много системи за компресиране на файлове използват изчисленията на Шанън, за да намалят максимално допустимото количество данни, които едно съобщение има, елиминирайки повтарящи се и излишни данни, равняващи се на количеството данни, тъй като информацията има съобщението.

Източници

За да напиша този blogspot взех много идеи от следните създатели на съдържание: