Повечето хора, които не кодират, не оценяват колко трудно е да се направи правилно. Много разработчици са перфектно функционални, но да гледате как майстор вплита код в копринена красота е изключително вдъхновяващо. За съжаление по-голямата част от кода, който е в основата на инструментите, които използваме ежедневно, не е толкова красив. Има много цифрово тиксо.

Аз съм ужасен програмист. Не ме разбирайте погрешно - аз съм напълно способен да комбинирам код, за да получа нещо като разумен резултат. Но продуктът неизбежно е чудовище на Франкенщайн. Аз не съм сам. Ето защо съм загрижен за кода, който се изгражда. Не всеки код е създаден еднакво.

Ако искате да разберете пред какво сме изправени, помислете какво би означавало това, ако строехме градове. В дигиталния свят ние строим едновременно мостове, канализационни системи и небостъргачи. Някои от строителите на мостове имат дипломи по строително инженерство, някои от нашите изпълнители на канализация са били водопроводчици в минали животи, но повечето от хората, които строят небостъргачи, преди това са строили само къщи на дървета и са ходили на няколко часа по математика. О, и няма инспектори, които да преценят дали всичко ще се разпадне или не.

Кодът е ключов за гражданския живот, но ние трябва да започнем да търсим под капака и да мислим за външните ефекти на нашите практики за кодиране, особено когато изграждаме код възможно най-бързо с малко проверки и баланси.

Първа област: Последици за околната среда

Нека играем игра на математика. Почти 1 милиард души използват Gmail. Повече от това са активни във Facebook всеки месец. Над 300 милиона са активни в Twitter всеки месец. Всички социални медии — включително Facebook и Twitter — изпращат известия, за да ви кажат, че имате нови заявки за приятелство, харесвания, актуализации и т.н. Всяко едно от тези известия е приблизително 50 KB. Ако сте сравнително активни, може да получавате 1 MB известия на ден. Това не изглежда толкова много. Но ако една четвърт от потребителите на Gmail получат това, това означава, че Google хоства над 90 петабайта известия годишно. Всичко това се намира на живо на сървъра, така че всеки потребител да може да търси в своя имейл и да намери минали имейли, включително новите последователи, които е получил през 2007 г. Това наистина ли е добро използване на ресурсите? Това наистина ли искаме, когато говорим за съхраняване на данни?

Технологичната индустрия използва луди метафори. Изкуствен интелект. Файлове и папки. Те често имат наистина смешни корени, които карат всеки добър гийк да се смее. (UNIX маниаци, знаехте ли, че „командата с пръст“ е наречена така, защото тази дума означаваше, че някой е „доносник“ през 70-те? Вероятно сте имали по-мръсна идея в ума.

Не знаем кой е започнал да нарича облака облак, но той (и това неизбежно е той) ни направи лоша услуга. Когато хората чуят за облака, те си мислят за пухкавите бели неща в небето. „Какви бяха небесата, когато бяхте млади? Те продължиха вечно… И небето винаги имаше „малки пухкави облачета“. Тези облаци дават. Те предлагат дъжд, който ни дава вода, която е източникът на живот.

Но какво да кажем за облаците, които ние, техниците, правим? Тези облаци вземат. Те изискват редкоземни метали и поглъщат земя, енергия и вода. Много големи компании работят усилено, за да помислят върху въздействието върху околната среда на центровете за данни, да помислят за въглеродните последици. (Горд съм, че работя за „един от тях“.) Големите компании все още имат да извървят дълъг път, но поне се опитват. Но колко разработчици там се опитват да „пишат зелен код“? В най-добрия случай хората мислят за цената на изчисление, но повечето разработчици са доста небрежни с кода и данните. И няма LEED-сертифициран код. Кой ще започне да сертифицира LEED код!?

В същия смисъл, колко дизайнери на продукти мислят за въздействието върху околната среда на всяко решение за дизайн на продукта, което вземат? Продуктовите хора говорят за това как известията могат да дразнят или ангажират потребителите, но не и въздействието им върху околната среда. И за всички онези привърженици на отворените данни, наистина ли е по-добре светът да разполага с петабайти данни на живи сървъри, само за да сме сигурни, че са отворени и достъпни за всеки случай? Болезнено е да си помислим колко терабайта данни се намират в отворени хранилища на данни, до които никога не е имало достъп.

И не ме карайте да започвам с блокчейн или 3D печат или Интернет на нещата. Поне биткойните са правили едно нещо: тук наистина става дума за „копаене“.

Втора област: Социални последици

В началото на 2000 г. Google ме смяташе за шофьор на камион. Получих най-добрите реклами. Дори не знаех колко вариации на скоростта на шофьора на камион има! Всичко, защото работих на терен в части на страната, които посещават само шофьори на камиони. Помислете колко хора са получили онлайн реклами, които очевидно са ги объркали. Смешно, а?

Сега… Арестуван ли сте някога? Били ли сте някога в затвора?

Отделете малко време, за да помислите за точността на нашата рекламна екосистема – количеството пари и данни, които отиват за правенето на правилни реклами. Сега помислете какво означава, че същите техники, които рекламодателите използват, за да „предскажат“ какво искате да купите, се използват и за „предсказване на престъпността на квартал или човек“. А тези, които работят в правоприлагането и наказателното правораздаване, имат по-малко пари, механизми за надзор и технически умения.

Неточността и пристрастието често са даденост в рекламата. Но добре ли е, че използваме изключително пристрастни данни за предишни арести, за да „предскажем бъдещи арести“ и да определим къде е разположена полицията? Добре ли е да оценяваме нечий риск в момента на ареста и да „даваме препоръки на съдиите“ за освобождаване под гаранция, пробация и присъда? Добре ли е местните правоприлагащи органи да искат от доставчиците на технологии да предскажат кои деца ще извършат престъпление, преди да навършат 21? Кой решава и кой ги държи отговорни?

Може да имаме различни политически ангажименти, когато става въпрос за полицията и наказателното правосъдие. Но когато става въпрос за анализ на технологии и данни, надявам се, че всички можем да се съгласим, че точността има значение. И все пак си затваряме очите за всички пристрастия, които са заложени в данните и следователно в моделите, които изграждаме.

Отделете малко време, за да помислите, че 96% от делата са признати. Тези обвиняеми никога не виждат жури от връстниците си. Най-малко 10% - но най-вероятно много повече - от тези, които се признават, са невинни. "Защо?" Последно, което видях, средностатистическият затворник в Riker’s чака „~600 дни“, за да започне процесът им. Средно аритметично. И кой е по-вероятно да не плати гаранция? Със сигурност не богати бели хора.

Изследователите отдавна знаят, че белите са по-склонни да използват и да продават наркотици. И все пак, кой е задържан за наркотици? чернокожи. 13% от населението на САЩ е чернокожо, но над 60% от затворниците са черни. Предимно за престъпления с наркотици.

Тъй като чернокожите са по-склонни да бъдат арестувани — и по-вероятно да бъдат преследвани и да излежат присъда, познайте какво ни казват нашите алгоритми за това кой е най-вероятно да извърши престъпление с наркотици? Къде стават престъпленията с наркотици? Полицията не се изпраща чрез предсказуеми полицейски инструменти в колежите. Те са изпратени до капака.

Инженерите твърдят, че съдиите и полицаите трябва да знаят границите на данните, които използват. Някои го правят – те просто игнорират тези скъпи граждански технологии, струващи на данъкоплатците. Но в свят на публична отчетност, където полицията се наказва за това, че не знае, че някой представлява риск, преди да стреля по църква, мнозина се чувстват задължени да следват препоръките от страх от репресии. Ето как расизмът се вгражда в структурите на нашите системи. И гражданските технологии са замесени в това.

Не ме интересува каква е вашата политика. Ако изграждате система, управлявана от данни и не се стремите активно да се борите с предразсъдъците, изграждате дискриминационна система.

Решение: Одити и инспекции

Решенията, взети с помощта на технологии, могат да имат сериозни последици, които са извън съзнанието на развитието. Трябва да се събудим. Нашата технология е мощна и трябва да сме наясно с последствията от нашия код.

Преди нашата индустрия да премине изцяло към постоянна бета версия, ние живеехме в свят, в който тестът или осигуряването на качеството означаваха нещо. В тези области се корени практика, която може да се разбира като вътрешен технически одит. Трябва да се върнем към това. Трябва да можем да отговорим на прости въпроси като:

  • Системата, която изградихме, произвежда ли правилния резултат предвид известните ограничения?
  • Разбираме ли пристрастията и ограниченията на системата и изхода?
  • Ясни ли са те за потребителя, така че нашият инструмент да не позволява вземане на неправилни решения или неточни впечатления?
  • Какви са истинските социални и екологични разходи за услугата?

Трябва да започнем да правим по-значими компромиси. А това изисква задаване на трудни въпроси.

Одитите не трябва да са състезателни. Те могат да бъдат начин за честна оценка на ограниченията на дадена система и сравнителен анализ за подобрение. Този подход не е без проблеми и ограничения, но ако не можете да разберете дали даден модел помага или вреди, дискриминира или води до фалшиви положителни резултати, тогава не трябва да прилагате тази технология в област с високи залози, където свободата и свободата са заложени на карта . Придържайте се към рекламата.

Технологията може да бъде невероятно овластяваща. Но само когато се изпълнява по отговорен начин. Кодът не създава магия. Без правилните проверки и баланси лесно може да се злоупотреби с него. В света на гражданските технологии ние трябва съвестно да мислим за социалните и екологичните разходи, точно както правят градските плановици.

Точки: „Бъдете внимателни какво кодирате“ е речта на Дана Бойд от „Форум за лична демокрация 2016“ (9 юни 2016 г.); нейните забележки са променени за точки. danah ни увещава да обърнем внимание на външните ефекти на кода и предлага одити като начин да се съобразим с ефектите на кода в области с високи залози като полицията. Видеото е достъпно тук и вградено по-долу. — Ред.