Уроки, извлеченные из неправильной документации

Как специалисты по данным, мы все слышали (если не испытали) ужасные истории о документации — что может пойти не так, если мы не потратим время на тщательное документирование наших моделей. В рамках моей работы по улучшению процессов документирования в моей компании Verta я собрал (и анонимизировал) «зал позора» для историй, в которых освещаются решения, позволяющие избежать ошибок, связанных с плохой документацией.

Страшная история №1

Изображение через Dataedo под лицензией Creative Commons Attribution-NoDerivs 3.0

Команде DS в онлайн-сети нужно было исправить модель, используемую для определения неприемлемого контента. Модель со временем ухудшилась, но когда ответственная группа изучила ее, они поняли, что у них нет ни документации, ни исходного кода, ни представления о том, как была создана модель или какой набор данных использовался для ее создания.

Компании пришлось назначить члена команды для обратного проектирования модели, которая работала в производственной среде, а затем отправиться в экспедицию на рыбалку через озеро данных, чтобы определить, какой набор данных использовался для создания этой модели. В конечном итоге команда воспроизвела модель в меру своих возможностей, после чего они могли работать над улучшением модели. Потерянное время: шесть месяцев.

Усвоенный урок: расставьте приоритеты в документации.

Эй, мы поняли, никто не любит документацию. Это накладные расходы, связанные с работой, например, встречи. Но документацию следует рассматривать как неотъемлемую часть работы, а не как нечто отдельное. Как специалисты по данным, мы должны внедрить культуру документации внутри организации, где она постоянно создается, обновляется и поддерживается на протяжении всего жизненного цикла модели.

Страшная история №2

Изображение через Dataedo под лицензией Creative Commons Attribution-NoDerivs 3.0

Столкнувшись с кризисом, государственное учреждение заключило контракт с частной фирмой на инструмент для просеивания сообщений в социальных сетях для выявления угроз на основе ключевых слов со сроком выполнения 72 часа. У фирмы не было времени на обучение новой модели, но у них была существующая модель, которая должна была работать. Однако им нужно было понять, могут ли они повторно использовать модель на законных основаниях и будет ли она работать так, как требуется.

Специалист по обработке и анализу данных, создавший модель 14 месяцев назад, все еще работал в компании, но всю свою «документацию» он записал вручную в блокнот, который после завершения проекта был забыт. После лихорадочных дневных поисков в старых банковских ящиках, хранящихся в гараже, блокнот наконец был найден. Фирма уложилась в срок — но только потому, что специалист по данным не покинул компанию и смог найти давно потерянный блокнот с важной информацией.

Усвоенный урок: централизуйте документацию.

Как группа, наука о данных должна согласовать какой-то один инструмент или платформу в качестве системы записи для документации. Это должно быть легкое место для доступа и поиска, место, где мы можем создавать, поддерживать, помечать и особенно делиться нашей документацией как внутри нашей собственной группы, так и с другими функциями в организации. Открытие доступа к нашей документации другим группам гарантирует, что мы сохраняем правильный набор информации для выполнения таких требований, как соответствие нормативным требованиям. Это также сведет к минимуму помехи, связанные с постукиваниями по плечу или сообщениями Slack с вопросами о проекте, над которым мы работали год назад.

Страшная история №3

Изображение через Dataedo под лицензией Creative Commons Attribution-NoDerivs 3.0

Это действительно моя собственная история ужасов, которую я разыгрывал снова и снова. В целом, я считаю, что специалисты по данным хорошо понимают, как выглядит надежная документация. Но, в некотором смысле, это отбивает у нас желание предоставлять полную документацию о нашей работе, потому что мы находимся под таким давлением, чтобы производить результат быстро. Документация замедляет нас и, по крайней мере, в краткосрочной перспективе, кажется, не обеспечивает добавленной стоимости.

Откровенно говоря, документация не делает людей счастливыми, и если вы сделаете людей достаточно несчастными, они уйдут. Таким образом, организации заканчивают тем, что пытаются найти золотую середину, где они фиксируют нужный уровень документации, необходимый им для снижения рисков компании, но делают это таким образом, чтобы люди не были настолько недовольны, что они уходят. К сожалению, при отсутствии четких руководств «правильный уровень документации» часто приводит к полному отсутствию документации.

Усвоенный урок: сделать хорошую документацию проще.

Мы можем упростить создание качественной документации, договорившись о четких правилах и стандартах того, что составляет хорошую документацию. Это означает сбор информации, которая важна для нашей собственной команды, а также работу с другими командами, такими как ИТ, юридический отдел, управление и управление рисками, чтобы убедиться, что мы собираем информацию, которая им нужна, и в соответствующем формате.

Нам нужно убедиться, что «правильный уровень» документации не является ничем, но и не является излишним. В идеале, какой бы инструмент мы ни использовали, документация будет встроена или, по крайней мере, упростит сбор нужного набора информации. В моей компании Verta мы даже экспериментируем с использованием генеративного ИИ для создания первого проекта документации, который затем можно просмотреть перед публикацией, чтобы обеспечить точность и полноту.

С культурой документации, централизованной системой записи для документации и стандартизированными процессами мы можем избавить себя от многих проблем с документацией, сэкономить время и нервы и, надеюсь, избежать каких-либо собственных ужасных историй с документацией.

А пока я буду рад узнать о ваших ужасных историях с документацией или о том, как ваша организация использует такие инструменты, как Генеративный ИИ, чтобы предотвратить кошмары с документацией — напишите мне по адресу [email protected] или свяжитесь со мной в LinkedIn по адресу https. ://www.linkedin.com/in/baasit-sharief/».