Марк Диас — научный сотрудник отдела ответственного ИИ Google. Он работает над способами учета социальной предвзятости при разработке наборов данных и человеческой субъективности при маркировке данных. Эти вопросы и ответы были отредактированы совместно с Дэвидом Вайнбергером.

В: Начнем с самого начала: что такое интерсекциональность и почему она важна?

Марк: Я могу описать себя как мужчину, гея, латиноамериканца или чернокожего, каждого как отдельный термин. Но было бы невозможно полностью понять мой социальный опыт как, скажем, гея, игнорируя то, как мои другие личности также формируют этот опыт. Мой опыт в мире формируется тем, как взаимодействуют эти идентичности и, в частности, как люди реагируют и реагируют на эти идентичности в целом.

Интерсекциональность — это способ понять, что означают все эти социальные идентичности, когда речь идет о структурном угнетении. Вдохновение для интерсекциональности пришло к Кимберле Креншоу, когда она изучала судебные дела, в которых чернокожие женщины подвергались дискриминации на своем рабочем месте не только потому, что они были чернокожими или женщинами, но и потому, что они были чернокожими женщинами. Комбинация социальных идентичностей может создать тип дискриминации, которую вы бы упустили, если бы рассматривали их отдельно.

В: Почему это важно для машинного обучения (ML) и моделей машинного обучения?

Марк: Чтобы информация была удобочитаемой для системы машинного обучения, она должна быть определена количественно. Но социальный опыт часто трудно определить и измерить.

Например, когда я рос, анкеты переписи населения заставляли меня выбирать в качестве расы либо черных, либо латиноамериканцев. Никаких «и» не допускалось. С точки зрения набора данных это дает информацию о людях, которые искусственно разделены, и затрудняет понимание внутригрупповых различий между людьми, которые могут принадлежать к одной категории. Это искусственное ограничение данных может привести к тому, что машинное обучение будет бросать искажающую линзу на пересекающиеся проблемы.

Но при наличии правильных данных машинное обучение может стать мощным инструментом перекрестного анализа. В конце концов, машинное обучение заключается в обнаружении закономерностей, а с помощью перекрестных данных оно может выявить важные и неожиданные закономерности.

Я бы никогда не сказал, что алгоритм машинного обучения может изучить все нюансы интерсекционального социального опыта, но с правильными данными он может помочь нам думать о вещах через призму интерсекциональности.

В: Когда вы говорите "с правильными данными", что вы имеете в виду?

Марк: Это огромный вызов. Исследователи проделали большую работу, подчеркнув интерсекциональные подходы. Например, Джой Буоламвини и Тимнит Гебру провели анализ представления оттенка кожи в стандартных наборах данных изображений, используемых для оценки производительности алгоритмов анализа лица, таких как те, которые используются для обнаружения лиц на изображениях или классификации пола. При оценке нескольких алгоритмов, используемых для классификации пола, они обнаружили различия в точности алгоритмов между женщинами и мужчинами, а также между людьми с более темным и светлым оттенком кожи. Точность была худшей для темнокожих женщин. В качестве другого примера, Алекс Ханна, Эмили Дентон, Эндрю Смарт и Джамила Смит-Лауд предложили включить дезагрегированные данные, которые позволяют анализировать подкатегории других категорий. Идея состоит в том, чтобы включить подкатегории в более широкие категории, которые вас интересуют (например, раса, пол, религия и т. д.), чтобы вы могли выявить различия или тенденции между подгруппами.

В: Чем это поможет?

Марк: Обычно показатели усредняются по группам, но при этом упускаются важные различия. В качестве примера я часто привожу анализ показателей социально-экономического статуса азиатов в Соединенных Штатах. Часто данные используются для описания широкой категории «азиатов», но при этом не учитываются различия в экономических реалиях между группами. Например, американцы хмонг и другие выходцы из Юго-Восточной Азии, как правило, имеют более низкие доходы и сталкиваются с другими проблемами, чем другие американцы азиатского происхождения, но это не очевидно из усредненного показателя. Включение подгрупп позволяет проверить, представлены ли данные в разных подкатегориях. Это также помогает в проверке справедливости и понимании того, как работают системы, когда они имеют разные категории в качестве входных данных.

В: Как вы выбираете категории?

Марк: Это один из золотых вопросов. Когда я думаю об этом, я пытаюсь начать с того, где эта система будет использоваться? Почему он будет использоваться? Кто те люди, которые больше всего пострадают, если система не будет работать должным образом?

В: Как команда это понимает?

Марк: Часто это вопрос извлечения уроков из прошлых неудач или повторения различных версий модели. Или когда вы тестируете систему, выявляя слабые места. В Google работают над тем, чтобы сделать тестирование честности частью рутинного тестирования надежности, которое проверяет, сможет ли система по-прежнему работать стабильно при широком диапазоне входных данных. Например, алгоритм распознавания лиц должен стабильно работать при различных условиях освещения, оттенках кожи и очках. Тестирование надежности направлено на выявление широкого набора потенциальных слабых мест, но тестирование того, как система работает с перекрестными данными, может помочь нам понять, будет ли система работать одинаково с разными группами населения. Например, это могло бы помочь гарантировать, что распознавание изображений будет хорошо работать для всех. Или представьте, насколько это может быть полезно для обеспечения того, чтобы система распознавания речи создавала качественные автоматические субтитры для разных языков или диалектов.

Кроме того, существует проблема, заключающаяся в том, что социальная идентичность всегда находится в движении. Например, флажки для расы и этнической принадлежности в формах переписи населения США значительно изменились за эти годы. И даже если рамки остались прежними, то, что значит быть членом расовой группы, со временем меняется. Например, в США было время, когда американцы ирландского происхождения не считались белыми. Или когда юридически закрепленное правило одной капли означало, что если у вас был один черный предок, вы однозначно считались черными.

Затем идут культурные различия. Если вы проводите интерсекциональную работу в Индии, касту важно рассматривать как часть социальной идентичности и опыта, но каста может не проявляться или не иметь смысла в данных из других культур, а если и присутствует, то, вероятно, имеет очень разные культурные особенности. смыслы и значение.

Вопрос. Как группа машинного обучения решает, какие категории учитывать?

Марк: Это зависит от целей проекта машинного обучения и от того, кого он затронет.

В: Как команда разработчиков участвует в принятии этих решений?

Марк: Команда разработчиков должна решить, какие данные и категории использовать, в идеале в сотрудничестве с экспертами как в технических, так и в нетехнических областях, включая членов групп заинтересованных сторон. Машинное обучение действительно может помочь в анализе категорий. Например, тематическое моделирование — это метод, используемый для группировки похожих вещей. Но даже в этом случае люди должны решить, сколько кластеров даст наилучшие результаты, и каков должен быть порог, чтобы сказать, что эти вещи имеют достаточно общего, чтобы мы могли считать их кластером. Это еще одно человеческое решение.

Вопрос. Разве это не то место, где человеческие предубеждения могут проникнуть в модель?

Марк: Неизбежно да. Но разработчики машинного обучения пытаются создавать системы, которые работают достаточно хорошо, чтобы выполнять поставленные задачи и поддерживать принятие решений человеком. Хотя мы знаем, что не можем создавать системы, которые идеально отражают человеческий опыт и устраняют человеческие предубеждения, мы также знаем, что можем проверять и уменьшать предвзятость в этих системах.

Это верно для попытки использовать перекрестный подход, потому что «идеальных» данных не существует. Все наборы данных имеют ограничения. Таким образом, во многих случаях есть очень практичный выбор: у нас есть эти данные и у нас нет этих данных, так как мы можем лучше всего работать с данными, которые у нас есть и что что значит, к каким целям мы должны или не должны стремиться? Творческий подход к этому — лишь часть задачи.

В: Но вы надеетесь, что в будущем наборы данных будут чаще включать перекрестные данные, когда это уместно?

Марк: Межсекционный подход к созданию и оценке систем машинного обучения является важной частью справедливого или, по крайней мере, более справедливого производства и использования систем. Межсекционный подход позволяет вам определить, какие люди, группы или подгруппы сталкиваются с несправедливыми результатами, и увидеть это в контексте. Очень важно спрашивать людей, как они идентифицируют себя, чтобы мы могли сделать результаты более полезными и актуальными для них, а также чтобы мы могли выявить несопоставимое лечение в больших группах. Без интерсекциональности вы могли бы пропустить различия в состоянии здоровья среди латиноамериканских подгрупп или остаться в неведении о конкретных формах дискриминации, с которыми сталкиваются, скажем, трансгендеры, пожилые люди и инвалиды. Модели машинного обучения будут менее точными, менее полезными и будут давать менее справедливые результаты, если их данные и модели не учитывают различные аспекты личности людей.