Когато невинността е аномалия на данните

Какво (неуспешен) софтуер за прогнозиране на престъпността ни говори за въоръжаването на ICE с Amazon Rekogservation

Снимка на Bernard Hermant на Unsplash

Над 2000 мъже бяха спрени от полицията в Маями през 2000 г., които изглеждаха „черни или испаноядни“. По онова време полицията търсеше предполагаем изнасилвач с това неясно описание. Намазали бузите на мъжете и тествали ДНК пробите си срещу насилника, открит на мястото. Никой от тях не съвпада, но полицията съхранява генетичните си данни в база данни за следващия път, когато издирват заподозрян „черен или испанец“. „Тази база данни от невинни чернокожи и испаноядци“, пише Хариет Вашингтон, в книгата си „Медицински апартейд“, представлява колективна презумпция за вина. Всички тези мъже демонстрираха, че са невинни.

Този инцидент представи преследващ разказ за това как данните, генетични или дигитални, за невинни цветни хора са били третирани - станали достъпни в базите данни за властите, които да следят, като се предполага, че са виновни за бъдещи престъпления, основани единствено на тяхната раса.

Сега, с Amazon pitching Rekogservation, неговата система за разпознаване на лица, до ICE, има потенциал системата да погрешно идентифицира хората в цвят в големи мащаби. Това ще даде възможност на агентите на ICE да спрат повече хора в цвят, като се предполага, че всеки човек ще бъде недокументиран, когато Rekogservation съответства на лицето им със снимка в неговата база данни. "Ако имат тази технология", предупреждава Алонцо Пенья, бивш заместник-директор на ICE, "виждам, че тя се използва по всякакъв начин, който според тях ще им помогне да увеличат броя на задържанията, задържанията и извеждането."

Ако ICE е въоръжен с Rekogservation, това ще даде възможност за масово расово профилиране.

Въпреки че Rekognation може да стане по-ефективен от разузнаването на ICE, опростявайки процеса на идентифициране на недокументирани имигранти, той може да не е толкова точен. Изследвания от M.I.T. Media Lab разкри, че системите за разпознаване на лица от Microsoft, IBM и Face ++ погрешно идентифицират до 35 процента от чернокожите жени и 12 процента от черните мъже, като същевременно идентифицират до 93 и 99 процента от белите жени и мъже. Това показва, че този софтуер не е обучен за идентифициране на бели лица, но въпреки това ще бъде използван с цел да ги насочи.

Ако разгледаме наборите от данни, използвани за трениране на тези алгоритми, те се състоят от непропорционално повече изображения на хора с по-светла кожа. Като оставят повече хора от цвят в тези набори от данни, тези алгоритми имат по-малко основа за идентифициране на цветни хора - всъщност те могат да обобщават информация, подходяща за идентифициране на бели хора, за да се разграничат хората от цвят. Произтичащите различия в идентифицирането на хора от различни раси „отразяват преценките и приоритетите на нейните създатели“, както ученът по данни Кати О’Нийл обсъжда в книгата си „Оръжия за унищожаване на математиката“. С тази технология, проявяваща расова пристрастност, шансовете вече са подредени спрямо цветните хора. Мнозина рискуват да бъдат неправилно идентифицирани и уязвими от законните последици. Използването на Rekogservation за търсене на недокументирани имигранти ще стане, както O'Neil казва, „цифрова форма на стоп-фрик.“ Ако ICE е въоръжен с Rekogservation, това ще даде възможност за масово расово профилиране.

В исторически план дори софтуерът, предназначен да не вменява състезанието, предизвика огромен и целеви хора. Опасността от този вид софтуер е, че властите приемат, че това е по-прецизен и "научен" подход за спиране на престъпността. Ако данните водят полицията до повече престъпления в обеднелите квартали, трябва да има повече престъпления в тези райони.

Такъв беше случаят, когато през 2013 г. полицията в британския окръг Кент назначи Predictive Policing (PredPol), софтуер за предсказване на престъпления, програмата, картографирана, час по час, местата на престъпленията, които най-вероятно биха възникнали въз основа на исторически престъпни модели. Оказа се, че е „десет пъти по-ефективна от случайното патрулиране и два пъти по-точна от анализа. , , от полицейското разузнаване “, според O'Neil, но неговите карти водят все повече полиция към обеднели квартали, където са насочени към повече хора в цвят.

Карта на престъпността PredPol (кредит за снимки)

Ето къде се обърка. Полицията може да избере, когато създава системата за нулиране на така наречените престъпления от част 1, включващи насилствени престъпления, като убийства, палежи и нападения, или престъпления от част 2, неудобства (напр. Бродячество, агресивно нападение или др. консумиране на малки количества наркотици). Полицията в Кент реши да включи в модела си данни както за насилствени, така и за неприятни престъпления. Въпреки че те си поставят за цел да спрат насилствените престъпления, включително и двете престъпления на екрана, показват по-пълна картина на престъпността в района.

Стана линия за обратна връзка. , , така, че невинността в бедните квартали се превърна в аномалия на данните.

Включването на неприятни престъпления обаче изкриви анализа, което доведе повече полиция до бедни квартали - квартали, където тези престъпления са най-често срещани. Тъй като софтуерът водеше повече полиция в тези квартали, те съобщаваха за повече престъпления, които станаха повече точки от данни. С повече данни софтуерът предвиждаше повече престъпления в същите тези области, което оправдаваше повече полицаи в тези области.

Той стана цикъл за обратна връзка, който накара повече полиция да търси престъпления в тези области, така че невинността в тези области се превърна в аномалия на данните. Бедните квартали светнаха на картата и изглежда потвърждаваха общоприетото мнение за бедните хора - че те са отговорни за повечето престъпления в обществото. PredPol бе засилил презумпцията за вина на бедните хора, вече с по-прецизен и научен подход, но престъпленията, които беше най-ефективен при прогнозирането, не бяха ли престъпленията с насилие, които полицията е решила да спре. След тази пътека с данни много цветни хора бяха насочени несправедливо и бяха арестувани.

По същия начин, по който PredPol оправдава повече полицаи в бедни квартали, има възможност Rekogservation да оправдае расовото профилиране. Много хора с цвят на риск рисуват несъответствията на лицата си, а тези, които са невярно съвпаднати, ще имат думата си против тази на алгоритъма. В допълнение към неудобството и тормоза, които биха дошли с неправилна идентификация, O'Neil посочва, че хората са „държани на много по-висок стандарт на доказателство от самите алгоритми.“ Коефициентите вече са подредени спрямо цветните хора, когато става въпрос за технология за наблюдение на разпознаването на лица, точно както са били в органите на реда - и сега технологията може да нанесе много повече щети на безброй повече животи.

Тази история е публикувана в най-голямото предприемаческо издание The Startup, последвано от +384 399 души.

Абонирайте се, за да получавате нашите топ истории тук.