На прошлой неделе я посетил M4 Conference в Нью-Йорке. Это было специализированное мероприятие, посвященное достижениям в области прогнозирования, и стало кульминацией 4-го M-Competition, конкурса, организованного известным экспертом в области прогнозирования, профессором Спиросом Макридакисом из Университета Никосии.

Мои основные интересы в этой области - это интересы практикующего врача. Я не думаю, что тратится достаточно времени на обучение и информирование о ценности, которую количественные модели могут добавить в процесс бизнес-прогнозирования. Я считаю, что участие в такого рода конференциях — отличный способ расширить знания и лучше понять, что возможно (и что невозможно). Если мы, как практики, будем продолжать проявлять активное любопытство в этой области, наша способность творчески создавать мощные системы прогнозирования, которые обогащают наш бизнес, значительно возрастут.

Вот некоторые из важных идей конференции и несколько мыслей, которые у меня возникли после ее окончания.

Примечание. Я не буду тратить время на просмотр содержания всех докладов и панелей. Большинство сессий были довольно техническими, и если вам интересно, у Рональда Ричмана есть отличный подробный отчет здесь.

Семантика (статистика и машинное обучение)

Одна повторяющаяся дискуссия в течение двух дней была вокруг семантики; является ли тот или иной метод «статистическим» или «машинным обучением»? Классические статистические методы изучаются и применяются на практике десятилетиями. Они мощные и проверенные временем. С другой стороны, за последнее десятилетие на сцену вышли методы машинного обучения. Эти методы позволили исследователям исследовать совершенно разные подходы к прогнозированию временных рядов. Между этими методами существует много технических различий. Я думаю, что наиболее обобщенный способ различить эти два ряда заключается в том, что статистические методы, как правило, фокусируются на одном временном ряду (локальном), а методы машинного обучения способны обучаться во многих временных рядах (глобальных). ).

Количество времени, потраченное на обсуждение этой темы, несколько удивило меня. Классификация типа метода, безусловно, является важной областью для некоторых исследователей и академических кругов, но с практической точки зрения я не уверен, что дискуссия стоит затраченного времени. Джоселин Баркер из Microsoft несколько раз намекала на ограниченность обсуждения и вызвала смех в толпе своим комментарием: «Большая часть того, о чем мы говорим о машинном обучении, — это такие вещи, как «оценка максимального правдоподобия»… что, безусловно, звучит для меня статистическая проблема». Профессор Тао Хун из UNC Charlotte последовал его примеру, призывая аудиторию не слишком увлекаться методами и семантикой, а вместо этого сосредоточиться на системах.

С практической точки зрения я не уверен, что тип метода имеет значение. Кажется, существуют убедительные доказательства того, что машинное обучение и статистические модели будут играть большую роль в прикладном количественном прогнозировании в обозримом будущем.

Прогнозируемость

"Плохая новость для машинного обучения заключается в том, что если вы находитесь в домене с толстым хвостом, у вас все еще нет надежды".

Профессор Скотт Армстронг из Уортона и ученый/философ Нассим Талеб выступили с первыми двумя докладами на конференции. По иронии судьбы, оба призывали к «осторожному» подходу к количественному прогнозированию.

Выступление Армстронга называлось «Модели данных против моделей знаний», и он подчеркнул перед аудиторией важность размышлений о процессе прогнозирования не меньше, чем о модели. Трудно придраться к процессуальному и системному подходу к прогнозированию. Критика Талеба была более узкой и в основном касалась опасностей прогнозирования финансовых рынков и экономики. Точное прогнозирование сложных динамических систем такого типа чрезвычайно сложно, и ставки могут быть ОЧЕНЬ высоки. Он повторил строгое предупреждение всем прогнозистам, работающим в областях с толстыми хвостами: "Плохая новость для машинного обучения заключается в том, что если вы находитесь в области с толстыми хвостами, у вас все еще нет надежды".

Эта ранняя установка уровня помогла вынудить все оставшиеся обсуждения вестись со здоровой дозой скептицизма. Понимание того, когда прогнозы могут повысить ценность, а когда они становятся помехой, имеет решающее значение. Полагаться на количественные модели для прогнозирования финансовых рынков намного сложнее, чем прогнозировать спрос на розничные продукты, где выпуклость результатов (обычно) гораздо менее выражена.

Промышленное применение

Я могу ошибаться, но у меня не возникло ощущения, что конкурс или конференция М4 вызвали большой интерес у практиков-прогнозов. Честно говоря, глубина и тема большинства дискуссий, вероятно, были бы интересны только самым гиковским специалистам по бизнес-планированию. Но, несмотря на академический характер мероприятия, с практической точки зрения было чему поучиться. Креативные способы использования машинного обучения для улучшения результатов прогнозирования были захватывающими.

Несмотря на богатство исследований в области прогнозирования, я все еще ощущаю общее нежелание использовать даже самые простые статистические методы прогнозирования во многих организациях. На конференции не было недостатка в дискуссиях по поводу повышения точности моделей прогнозов, но очень мало дискуссий о том, как повысить точность прогнозов, которые готовы представить специалисты-практики! Тогда возникает вопрос: что можно сделать, чтобы повысить готовность специалистов-практиков использовать результаты исследований, проводимых в результате таких мероприятий, как соревнование M4? Это то, над чем я недавно размышлял, и это тема, достойная отдельного поста в блоге. Нет простого ответа.

Вывод

Лично мне конференция М4 показалась невероятно интересной. Готовность всех присутствующих участвовать в обсуждении и обмене мыслями была бесценным опытом.

Участие таких компаний, как Google, Amazon и Uber, в качестве спонсоров мероприятия M4, несомненно, вызовет дополнительный интерес и повысит наглядность количественных прогнозов в ближайшие годы. Учитывая риск того, что исследования не реализуют свой потенциал, я думаю, что сообществу важно глубоко задуматься о том, как эффективно преодолеть разрыв между исследовательскими достижениями и бизнес-приложениями. При продуманном внедрении в систему количественные прогнозы могут принести огромную пользу бизнесу.

Спасибо всему сообществу прогнозистов за то, что они собрались вместе на этом мероприятии. В конце мероприятия было объявлено о проведении конкурса M5. Детали были ограничены, но впервые в конкурсе основное внимание будет уделено причинно-следственным связям. Захватывающие вещи! Я с нетерпением жду продолжения!