Миналата седмица присъствах на M4 Conference в Ню Йорк. Това беше нишово събитие, фокусирано върху напредъка в областта на прогнозирането и кулминацията на 4-тото „M-Competition“, състезание, организирано от известния експерт по прогнозиране, професор Спирос Макридакис от университета в Никозия.

Основните ми интереси в тази област са тези на практикуващ. Не мисля, че се отделя достатъчно време за обучение и съобщаване на стойността, която количествените модели могат да добавят към процеса на бизнес прогнозиране. Вярвам, че участието в този тип конференции е чудесен начин за разширяване на знанията и придобиване на по-добро разбиране за това какво е (и не) е възможно. Ако ние, като практици, останем активно любопитни в тази област, способността ни да създаваме креативно мощни системи за прогнозиране, които обогатяват бизнеса ни, ще бъде значително подобрена.

Ето някои от големите идеи от конференцията и няколко мисли, които имах след края й.

Забележка: Няма да прекарвам време в преглед на съдържанието на всички лекции и панели. Повечето сесии бяха доста технически и ако се интересувате, Роналд Ричман има страхотен, подробен опис тук.

Семантиката (Stat vs ML)

Една повтаряща се дискусия през двата дни беше около семантиката; конкретен метод „статистически“ ли е или „машинно обучение“? Класическите статистически методи се изучават и прилагат в практиката от десетилетия. Те са мощни и изпитани във времето. Методите за машинно обучение, от друга страна, се появиха на сцената в голяма степен през последното десетилетие. Тези методи позволиха на изследователите да изследват напълно различни подходи за прогнозиране на времеви редове. Има много технически разлики между тези методи. Мисля, че най-обобщаващият начин за разграничаване на двете е, че статистическите методи са склонни да се фокусират върху единичен времеви ред (локален), а методите за машинно обучение имат способността да се обучават в много времеви редове (глобален ).

Времето, прекарано в обсъждане на тази тема, беше донякъде изненадващо за мен. Класифицирането на типа метод очевидно е важна област за някои изследователи и академични тълпи, но от практическа гледна точка не съм сигурен, че дебатът си заслужава отделеното време. Джоселин Баркър от Microsoft намекна няколко пъти за ограничената стойност на дискусията и предизвика смях от тълпата с коментара си, че „Повечето от това, за което говорим с машинното обучение, са неща като „оценка на максималната вероятност“… което със сигурност звучи като статистически проблем за мен.“ Професор Тао Хонг от UNC Charlotte последва примера, като насърчи аудиторията да не се занимава прекалено с методи и семантика, а вместо това да се съсредоточи върху системите.

От практическа гледна точка не съм убеден, че типът метод има значение. Изглежда има убедителни доказателства, че както машинното обучение, така и статистическите модели ще играят голяма роля в приложното количествено прогнозиране в обозримо бъдеще.

Прогнозируемост

„Лошата новина за машинното обучение е, че ако сте в домейн с дебели опашки, все още нямате надежда.“

Професор Скот Армстронг от Уортън и ученият/философ Насим Талеб изнесоха първите два доклада на конференцията. По ирония на съдбата и двамата призоваха за подход „продължете с повишено внимание“ към количественото прогнозиране.

Речта на Армстронг беше озаглавена „Модели на данни срещу модели на знания“ и той подчерта пред публиката колко е важно да се мисли за процеса на прогнозиране, както и за модела. Базираният на процесите и системите подход към прогнозирането е трудно да се намери грешка. Критиката на Талеб беше по-ограничена и до голяма степен фокусирана върху опасностите от прогнозирането на финансовите пазари и икономиката. Точното прогнозиране на тези видове сложни, динамични системи е изключително трудно и залозите могат да бъдат МНОГО високи. Той повтори строги предупреждения към всички прогнозисти, работещи в области с дебели опашки, „Лошата новина за машинното обучение е, че ако сте в домейн с дебели опашки, все още нямате надежда.“

Тази ранна настройка на нивото беше полезна, като накара всички останали дискусии да се провеждат със здравословна доза скептицизъм. Разбирането кога прогнозите могат да добавят стойност и кога се превръщат в пасив е от решаващо значение. Разчитането на количествени модели за прогнозиране на финансовите пазари е много по-трудно от прогнозирането на търсенето на продукти на дребно, където изпъкналостта на резултатите е (обикновено) много по-приглушена.

Индустриално приложение

Може и да греша, но не разбрах, че състезанието или конференцията M4 привлече голям интерес от практикуващите прогнози. Честно казано, дълбочината и темата на повечето дискусии вероятно биха представлявали интерес само за най-страшните бизнес плановици. Но въпреки академичния характер на събитието, от практическа гледна точка имаше много какво да се научи. Креативните начини, по които машинното обучение може да се използва за подобряване на прогнозните резултати, бяха очарователни.

Въпреки богатството от проучвания за прогнозиране, все още усещам общо колебание да използвам дори най-основните статистически техники за прогнозиране в много организации. На конференцията не липсваха дискусии относно подобряването на точността на прогнозния модел, но много малко дискусии за това как да се подобри точността на прогнозите, които практиците са готови да представят! Тогава възниква въпросът какво може да се направи, за да се увеличи желанието на практикуващите да използват изследванията, които произтичат от събития като състезанието M4? Това е нещо, за което напоследък съм мислил много време и тема, която сама по себе си заслужава публикация в блог. Няма лесен отговор.

Заключение

Лично аз смятах, че конференцията M4 беше невероятно интересна. Желанието на всички присъстващи да участват в дискусии и споделяне на мисли беше безценно преживяване.

Участието на компании като Google, Amazon и Uber като спонсори на събитието M4 несъмнено ще събере допълнителен интерес и по-голяма видимост за количествени прогнози през идните години. С риск изследванията да не реализират потенциала си, мисля, че е важно общността да помисли дълбоко за това как ефективно да преодолее пропастта между научния напредък и бизнес приложенията. Когато се прилагат обмислено в рамките на система, количествените прогнози имат потенциала да добавят огромни количества стойност към бизнеса.

Браво на цялата общност за прогнози, че се събраха за това събитие. В края на събитието беше обявено състезанието M5. Подробностите бяха ограничени, но за първи път състезанието ще се фокусира върху причинно-следствената връзка. Вълнуващи неща! Очаквам с нетърпение да ви последвам!