1. Богатите комарджии съсипват проблема

Тук обсъждаме вероятностен процес, който се разиграва често в целия свят. Комарджия, чувствайки се късметлия, отива в казино с малко пари в джоба си. След това той започва натрапчиво да играе някаква игра (залагайки някаква сума всеки път, когато играе), която харесва/мисли, че е добър, с надеждата да стане богат. Тъй като има донякъде хазартни навици, единственият начин да спре да залага е след като свършат парите в портфейла си. Тъй като той има този обсебващ навик, общият урок гласи, че той винаги ще губи всичките си пари, тъй като играе срещу почти безкрайно богато казино. По този начин комарджията е обречен в крайна сметка да предаде парите си на хората, управляващи казиното.

Но какво ще стане, ако малко изравним шансовете и направим комарджията си безкрайно богат? Също така, нека добавим малко дисциплина и към него и да му дадем цел (да речем k$). След като достигне тази цел, комарджията решава да се откаже, докато нещата вървят добре, и се прибира вкъщи с печалбите си.

Със сигурност сега залагащият трябва да достигне целта си в крайна сметка, тъй като по дефиниция той продължава да играе, докато не го направи и може да играе толкова дълго, колкото пожелае.

Е, отговорът е, че зависи (което някои хора намират за изненадващо). И ние ще отделим този нюанс в този блог.

2. Емпирично наблюдение за небогати комарджии с код

В този раздел ще формулираме този процес с вериги на Марков. Това означава дефиниране на пространство на състоянието за комарджията. Тук знаем, че винаги има номер, прикрепен към комарджията във всеки даден момент. И това число е общата му печалба до този момент. Когато за първи път пристигне в казиното, общата му печалба е 0 $, откакто не е играл. И когато достигне печалбата, към която се стреми (k), той напуска. Така че можем да мислим за печалбата като състояние, в което се намира.

Освен това той може да играе всяка игра в казиното, но в края на деня има известна вероятност той да спечели играта (да речем p), в който случай вероятността да загуби е ( 1−p). Можем да мислим за тях като за хвърляне на монети. За да опростим нещата, да речем, че той залага постоянна сума от 1$ всеки път, когато играе.

2.1. Формиране на преходната матрица на Марков

Сега броят на възможните състояния, в които може да бъде нашият залагащ, е безкраен (той може да получи хиляда опашки подред например и тогава състоянието му ще бъде −1000). И така, за да опростим нещата, нека направим неговото пространство на състоянието ограничено засега, като приемем, че има определено банково салдо (да речем b $). Освен това си припомнете, че целта му е k $. И така, сега възможните състояния, в които той може да бъде в диапазона от −b до k (той спира да играе и се прибира вкъщи, ако или изразходва целия си банков баланс, b или достига целта си, k). За да направим нещата конкретни, нека кажем b=3 и k=2.

Ясно е, че общите му печалби могат да бъдат в едно от следните състояния: [-3, -2, -1, 0, 1, 2]. Освен това, когато започне играта в състояние 0, той преминава в състояние 1 с вероятност p и -1 с вероятност 1−p. И ако той е в някое състояние (n) освен двете поглъщащи състояния (−b и k), той преминава в състояние n+1 с вероятност p и n−1 с вероятност 1−p.

Можем да изразим неговите вероятности за прескачане от едно състояние в друго в матрица.

Сега, ако можем да намерим вероятностите играта да завърши във всяко от поглъщащите състояния (−b и k), можем да ги използваме, за да намерим вероятността комарджията да печеля. След това, за да видим какво се случва, когато комарджията забогатее, можем бавно да увеличим банковия му баланс b.

2.2. Използване на матрицата на вероятността за преход, за да се намери вероятността комарджията да спечели

Забележете, че веригата на комарджиите Марков, описана в предишния раздел, включва два вида състояния. Имаше крайни състояния (известни още като „поглъщане“ или „повтарящи се“), влизането в които кара играта да спре незабавно. Това са −b (фалира) и k (достига целта си). И тогава всички състояния между тези две са нетерминални (известни още като „преходни“), което означава, че влизането в тях не води до спиране на играта и комарджията ще играе друг ход. Знаем, че в дългосрочен план играта ще спре и така комарджията ще се окаже в едно от двете повтарящи се състояния. Много вериги на Марков (не само тези, съответстващи на комарджиите) имат тези два вида състояния. И всички те завършват в едно от повтарящите се състояния (имайте предвид, че щом веригата влезе в повтарящо се състояние, тя остава там; така че редът в матрицата на прехода ще има нули, съответстващи на всички други състояния, и единица, където редът пресича главен диагонал).

Естественият въпрос винаги е какви са вероятностите веригата да завърши във всяко от повтарящите се състояния? Тук предоставяме общ метод за отговор на този въпрос, като се има предвид матрицата на прехода.

Първо, нека пренаредим колоните и редовете на матрицата в предишния раздел, така че всички повтарящи се състояния да са в края.

Долните два реда (съответстващи на двете повтарящи се състояния) изглеждат доста излишни. Интересните части на тази матрица са преходите от преходни състояния към други преходни състояния (отбелязани с Q на фигурата по-горе) и тези от преходни към повтарящи се (отбелязани с R).

Като се има предвид, че започваме в преходно състояние i, вероятностите играта да завърши във всяко от поглъщащите състояния се дават от iтия ред на матрицата:

За да видите причината, обусловете процеса на поглъщане от състояние i до състояние j въз основа на това, което се случва при първия преход: или поглъщането се случва при първия преход с вероятност R_ij, или настъпва преход в някакво друго преходно състояние k с вероятност Q_ik и оттам преминава, докато в крайна сметка се абсорбира с вероятност u_kj >. Това може да се изрази като матрично уравнение:

където решаването на u генерира уравнение (1) по-горе.

Ето метод на Python, който конструира матрицата за процес на комарджия и решава уравнението, дадено по-горе (зависимост, само numpy).

Методът ни позволява да въведем банков баланс, цел и вероятност за спечелване на всяка игра (p). Това показва, че когато p≥0,5, богатият комарджия (голям b) винаги ще достигне целта си, ако продължи да играе. Въпреки това, веднага щом p падне под 0,5, дори леко, вероятността той никога да не достигне целта си става ограничен дори за безкрайно богат комарджия.

Можете да играете с кода, за да видите това. Въпреки това можем да демонстрираме това и математически и да изчислим в затворена форма вероятността той някога да достигне целта си. Очаквайте още един блог за това.