Погрешната логика в сърцето на фантазията за автоматизация

Технологията не решава за доверие, отчетност или труд - тя прехвърля отговорността от системите и хората.

В частния, публичния и с нестопанска цел се прилага обща рецепта за нарастващи магазини от данни: оперативна съвместимост → интеграция → оптимизация → автоматизация.

Обещаващ за въвеждане в ерата на „интелигентни градове“, „ефективни услуги“ и „неограничен отдих“, автоматизацията е фантазията, движеща настоящата революция в бизнеса и бюрокрацията.

Преуморена от огромния обем информация (идентифицираща се лично и по друг начин), генерирана от вашите операции в дигиталната ера? Не се страхувайте, ерата на автоматизацията е тук.

Един стек, който да ги разреши

Автоматизацията обещава (евтино) спазване. Той се покланя пред олтара на ефективността. Тя рисува вашите нечестиви проблеми като отстраняване на грешки и сложните ви системи като набор от линейни причинно-следствени връзки, само чакащи да бъдат разкачени. Той не прави разлика между видовете проблеми и процеси, пред които са изправени частните и публичните институции. Той не само ще изтрие вашите данни за диаманти, но и ще изреже и полира камъните. Казано по-просто, това ще "промени света."

Организациите не просто мобилизират собствените си данни. Най-добрите прозрения идват от анализирането на масивни данни от различни източници. Ето защо агенциите в публичния сектор обединяват данни в различните услуги и защо потребителските компании натрупват личната информация на своите клиенти. Както цитира New York Times, през 2018 г. американските компании изразходват близо 20 милиарда долара за придобиване и обработка на потребителски данни. Обещаната логика на тези разходи е нещо подобно:

В стъпка 1, оперативна съвместимост, данните се правят машинно четими и смилаеми. Отминаха дните на ръчно цифровизиране на PDF файлове. Нарастващият набор от инструменти, включващи скенери, компютърно зрение и алгоритми за обработка на естествен език, става все по-добър при събирането дори на най-месните субстрати от данни и регургитирането на извлечени и компилирани данни, които са узрели за анализ. С помощта на графична анализи, дори най-различните масиви данни могат да бъдат слоени за добив.

В стъпка 2, интеграцията, данните от отделни системи се обединяват и стават достъпни чрез интерфейси, табла и бази данни. Надлъжни изследователи, радвайте се! Силозите са оградени. Анализират се графиките. Преди това невидимите връзки се моделират и визуализират. Тенденциите се представят, тяхната сила и насоченост са разсечени и служат за толкова „прозрение“.

В стъпка 3, оптимизация, алгоритмите са наслоени върху стека, който обещава да направи неща като „препоръчвам“, „персонализирам“ и „прогнозирам“ много по-добре, отколкото всеки обикновен човек може или някога би могъл. Вместо сложна ангажираност на заинтересованите страни със своите разхвърляни дебати за ценности, тези алгоритми вземат подсказка от логиката на нашите минали решения и доминиращи наративи - от капитализма и неолибералния институционализъм. Те се насочват към ефективността. Те се насочват към растеж. Ако системите на предшествениците, генерирали своите исторически данни, са устойчиви, справедливи или справедливи, алгоритмите може да са твърде. Ако не, нататък - ускорете краха.

В стъпка 4, автоматизацията, новите алгоритми получават нови отговорности. Надграждайки върху стека, който вече има претенции да разбира по-добре системната динамика и взаимоотношения, те сега предлагат да реорганизират механизмите за отчетност и структурите за вземане на решения. Те определят кредитоспособността. Те разпределят обезщетения за здравеопазване. Те предсказват достъпа до обществени услуги - по ортогонално поведение или способността да докаже своята идентичност.

Уви. В близко бъдеще обещаната земя изглежда като опит за създаване на дигитален акаунт на DHS в Арканзас и за съжаление не е хубава.

„Бъдещето вече е тук - просто неравномерно разпределено“

От сегашния си костур във филантропията виждам как смяната се случва навсякъде - с различна скорост на различни места, променяйки самата основа за работата, която искаме да вършим в сектори и региони - понякога коварно, винаги неумолимо.

В миналото съм работил в публичния сектор (Института на Чебровски на DoD), частния сектор (синдикирани изследвания на технологичните фючърси) и в междусекторното консултиране (разработване на иновационни екосистеми за конкурси за стимулиране на награди). За сравнително кратко време попаднах на пълен кръг от ентусиаста на технологичния ангажимент (на 24 години, описвах се в заявление за работа като „износителен евангелист“), до предпазливия скептичен капацитет на технологията да се намеси положително в човешките системи.

Миналата година бях на среща в Sand Hill Rd., Биейки барабана си за центриране на етиката и справедливостта при разработването на автоматизирани системи от публичния сектор, когато ентусиаст на финансиращи и интегриращи данни попита много сериозно: „Защо продължаваш да издаваш това - като, какво може да се обърка? ”

В този момент от моя гледна точка е по-малко за това какво може да се обърка и повече за това, което вече има. Има нещо гнило в центъра на фантазията за автоматизация.

Автоматизацията преминава под много имена („изкуствен интелект“, „алгоритмично вземане на решения“ и т.н.), но обича да крие истинската си същност. Ето няколко от многото лица, които носи.

Боклук вътре, боклук навън.

И по-голямата част от него е боклук.

Със сигурност „големите данни“ разкриха корелации и връзки, които позволяват осигуряване на приходи, създаване на стойност и подобрено предоставяне на услуги (може би по-малко, отколкото бихте си мислили). Но това е до голяма степен въпреки качеството и достоверността на данните, а не заради това.

За да цитирам един от многото неправилни, това, което изграждаме, всъщност не е изкуствен интелект, а (недостатъчен) човешки интелект в мащаба на индустриалната обществена техника - да, човекът зад завесата все още се усуква в копчетата на цивилизацията. И да, наистина е бял мъж, носещ товарни шорти с чорапи и сандали в Пало Алто.

Планирането често се прикрива като предсказване.

В мащаб алгоритмите създават бъдещето, което прогнозират.

Когато машините правят точна прогноза, това е триумф на статуквото, а не на предвидливост.

По-често, както при хората, те правят самоизпълняващи се пророчества. Те ще обслужват повече от същото, по-бързо този път, по-точно и с по-малко от вашия вход. За препоръчване какво да гледате по-нататък в Netflix, това е наистина страхотно. Не се стремя да спра да харесвам научнофантастични филми със силна женска роля. (В случай, че не е проникнал във филтърния ви балон, не спите на класическия лагер на класическата пирамида.)

Но когато става въпрос за предоставяне на услуги в публичния сектор и системи, които имат реално влияние върху семействата и поминъка, това е друга история. Защо умишлено ще моделираме бъдещото вземане на решения по минали модели, за които знаем, че са били систематично предубедени, несправедливи, неравнопоставени, дискриминационни и в много случаи идеологически безотговорни, ако не опасни? Разбира се, алгоритмите са доста добри в ученето от минали модели до проектиране на бъдещи решения. Но в безброй системи това е последното нещо, което трябва да искаме те да направят.

Триенето е двигателят на стабилността - и на прогреса.

Здравите системи процъфтяват на ръба на хаоса.

Автоматизацията идва под знамето на „прогрес“, но се разкрива като агент на застой.

Триенето - борбата - е теоретично, че е движещата сила в биологичната еволюция, използването на инструменти и развитието на технологиите, процъфтяващата имунна система и други. И въпреки това в книгата с рецепти на автоматизацията, тя е на първо място в списъка на замествания на съставките.

По-болен от необходимостта да направиш собствено изследване? Алгоритмите ще изкопаят огромни запаси от информация, така че не е нужно. Болен от чакане на опашка? Алгоритмите могат да оптимизират времето за пристигане. Болен от съставяне на отговори като част от основната човешка комуникация? Алгоритмите могат да предложат отговор, който е неприлично, така че вие.

Но какво е заложено в този прилив за смазване на всяко наше (транс) действие? Какво може да се загуби, когато вече не ни се налага да чакаме, да изпитваме скука, да се борим, да мислим за това или дори да опитаме?

Оптимизацията и влиянието са фини форми на контрол.

Вземайки назаем от рекламните бизнес модели, крайната игра на автоматизацията в капиталистическото общество не просто продава повече неща, а всъщност проектира човешкото поведение.

Инфраструктурата за извличане на данни, която подкрепя автоматизацията, е същата, която поддържа надзорния капитализъм и иска да затъпи нашата агенция, да ни ограби от светилището и да заличи нашата непредсказуемост. Както Шошана Зубов казва: „Забравете клишето, че ако е безплатно, вие сте продуктът - не сте продуктът, а просто безплатният източник на суровина, от която се правят продукти за продажба и покупка… Вие не сте продуктът, вие са изоставеният труп. "

В „Алгоритъм и блус: Тиранията на идващата интелигентна технология Утопия“ Брет Фришман описва някои от идеологията в основата на „интелигентните технологии“ и автоматизацията:

„Предполага се, че смарт телефони, мрежи, коли, домове, дрехи и прочие ще направят живота ни по-лесен, по-добър, по-щастлив. Тези твърдения се коренят дълбоко в интелигентната технологична утопична визия, която се изгражда от предишни техноутопични визии като кибер-утопизъм, както и от икономико-утопични визии като коазеевата идея за безфрикционни, напълно ефективни пазари и Тейлористичната визия на научно управлявани, перфектно продуктивни работници. В нашия модерен дигитален мрежов свят тези визии изпълзяват далеч над първоначалните си контексти на идеализиран интернет, пазари и работни места. Smart-tech може да управлява много повече от нашия живот. "

В машинното обучение няма магия.

Само тези и нули, графики и корелации.

В машинното обучение няма магия, а само каскаден поток от абдикирано вземане на решения (и по този начин отчетност). Разбира се, силовите дисбаланси, присъщи на свят, в който някои хора взимат решения от името на други хора (да не говорим за нечовеци) е доста проблематично, но наистина ли сме толкова сигурни, че прославените математически уравнения ще свършат по-добра работа?

Говорейки с New York Times, дядото на компютърното програмиране Доналд Кнут призна наскоро: „Притеснявам се, че алгоритмите стават твърде изявени в света. Започна, че компютърните учени се притесняват, че никой не ни слуша. Сега се притеснявам, че твърде много хора слушат. “

Ясно е, че много от лицата, които вземат решения, вече са се заели с фантазията, че машините са по-подходящи за избор, отколкото ние. Кодексът е отговорен за важните системи и решения, в много случаи без дори да мисли за процесите за обезщетяване или съдебно решение. Кой може да си позволи продължителна съдебна битка, за да търси прибягване, след като алгоритъмът на бъги се отказва от здравеопазването им? По ирония на съдбата, само тези, чиито доходи ги изключват, изобщо се нуждаят от достъп до обществени услуги.

Кой печели - и кой губи - в автоматизиран свят?

Автоматизацията обещава да въведе изцяло нови форми на неравенство.

Все по-често достъпът до услуги, които поставят явно човешко лице върху автоматизирането на предоставянето на услуги, се продава с премия. И в автоматизиран свят, поверителността и светилището са привилегии, които плащате.

„По-добре никога не означава по-добро за всички. Това винаги означава по-лошо за някои. " - Маргарет Атууд

За визуализация кой планира да спечели дългата игра, погледнете някои от най-гласните привърженици на автоматизацията: + Междуамериканската банка за развитие (IDB) насърчава използването на прогнозна анализа в публичния сектор, част от продължаващия фетиш известен също като „данни за развитие“. + За IBM данните са новото масло. За корпоративните софтуерни компании автоматизацията е това за вечеря, а публичният сектор е масово развиващ се пазар. + Както чухме от Марк Зукърбърг от Facebook, когато (слабо) се оспори от Конгреса по почти всеки проблем с платформата, която сега посредничи в глобалното потребление на информация (първоначално предназначена да намали триенето, свързано с проверка на първокурсници): алгоритмите ще го поправят. + Големите консултантски фирми като Accenture могат да спечелят от това, което наричат ​​своята „технологична визия“. Тази седмица Маккинси е под обстрел за подпомагане и легитимиране на авторитарни правителства.

По същество има компромиси, които се подразбират в автоматизирано бъдеще. На нас се продава стока на базата на предполагаемата стойност на ефективността, но правим невидими компромиси в собствен капитал. Обещана ни е свобода от триене, но в крайна сметка губим серендит. Нашите системи оптимизират разпределението на ресурсите, но само като ни правят постоянно изследвани и все по-отговорни за управлението на взаимодействията ни със системата. Очакваме с нетърпение бъдеще, в което наркотиците се носят машинно, но се борим да си представим, че държим на човешкото достойнство и смислен живот. Ние сме съблазнени от логиката на пряко измерване и оценка, но забравяме, че не всичко, което има значение, не може да бъде измерено.

Структурното неравенство се намира плътно в аналитичния блайнд на автоматизацията.

Свръхзависимостта от анализа на данните функционално дава приоритет на видовете корелации, които линейната алгебра е добра при забелязването - но не и тези, произтичащи от сложна динамика на системата.

Засега предубедените алгоритми са добре известен проблем. Тъй като те разчитат на минали данни, те са обект на кодифициране на лоши модели, основаващи се на лошо събиране на данни, неравнопоставено историческо разпределение на услугите (и по този начин надзор на ниското ниво на доходи и малцинственото население), както и предварително предположения. Ние можем да видим доказателствата за това пристрастие в расистките и сексистки резултати от усилията за автоматизация в сектори.

Но с целия акцент върху въвеждането на справедливост, отчетност и прозрачност в машинното обучение, ние все още не виждаме гората за дърветата. По-специално, опитите за коригиране на пристрастия в алгоритмите обикновено не отчитат структурните неравенства. Тъй като е проникнато в и се ражда от исторически данни, автоматизацията знае само как да задълбочи каналите на съществуващите модели, като оценява само онези променливи, които са били изолирани за измерване и след това са осмислени чрез връзката им с други показатели.

Но именно структурната екосистема, в която се внедрява автоматизацията, ще трябва да проблематизираме и да се обърнем внимание, ако искаме да съберем обещанието за аналитични инструменти. Законосъобразно устойчив на статистически анализ, водата, в която плуваме - богата яхния, пълна с разкази за доминиране, идеологии на растеж и потребление, фундаментални фалшиви дихотомии, яростна друга, повсеместна дезинформация и екологичен фатализъм - е нещо, на което можем да разгледаме краищата на но едва ли надминават.

С автоматизацията трансцендентността не се предлага. Оптимизация, да. Смекчаване, може би. Решения само в името. Вместо това фантазията за автоматизация носи етоса на изключителността и арогантната примамка към „края на историята“. Фантазията на автоматизацията предполага внедряване на анализи за заключване в структурите на статуквото. Това е особено виждане за „напредъка“. Предполага се, че нещата могат да бъдат много по-добри, стига разпределението на власт и ресурси на високо ниво да остане почти същото.

Разглеждайки алгоритмите, които обещават революция в здравеопазването, Шанън Матерн пише:

Нещо повече, сляпата вяра, че повсеместното събиране на данни ще доведе до „открития, които са от полза за всички“, заслужава скептицизъм. Мащабните емпирични изследвания могат да засилят различията в здравеопазването, особено когато демографските анализи не са основани на конкретни хипотези или теоретични рамки. Етикът Селия Фишър твърди, че изследвания като Проекта за човека трябва ясно да дефинират „какво означават класа, раса и култура, като се вземат предвид как тези определения непрекъснато се оформят и предефинират от социалните и политическите сили“ и как определени групи са били маргинализирани, т.е. дори патологизирани, в медицински дискурс и практика. Изследователите, които правят изводи въз основа на наблюдаваните корелации - нетеоризирани и не историзирани - рискуват, според нея, „приписване на здравословни проблеми на генетични или културни нагласи в маргинализирани групи, а не на политики, поддържащи системни политически и институционални неравенства в здравеопазването“. - Шенън Матерн, „Данни в кодовото пространство“

Автоматизацията прехвърля тежестта на отчетността от системите към хората.

Митът за неограниченото свободно време чрез автоматизация вече звучи невярно.

В автоматизиран свят процесите са преработени не за подобряване на потребителския опит, а за увеличаване на маржовете на печалба и / или намаляване на разходите за човешки капитал.

Но както показват изследванията на Карън Леви за товарни автомобили, автоматиката не заменя хората толкова, колкото ги нахлува. Подобно на насилствения бивш партньор, той оглежда, посегателства, прави полиция и манипулира, като същевременно изисква интимен достъп до тялото и изисква увеличаване на достъпа до ума.

Без намеса тези, които вече са в границите, ще бъдат допълнително маргинализирани. И когато автоматизацията се използва в услуга на статуквото, стойността се извлича и / или невидим труд, необходим от всеки човек, който взаимодейства с автоматизирани системи.

Пациентът вече е координатор и защитник на собствените си грижи. Потребителят се консумира активно в текущия цикъл на потребление. Гражданинът вече е арбитър на своята собствена истина и уредник на собствения си смисъл. В различните сектори невидимият (и неплатен) труд, който сега е необходим, за да се ориентираме в системите, в които сме неразделно замесени, ни разкрива - индивидът - все по-отговорен и все по-компрометиран в актовете на потребление, гражданство и стремеж към здраве и благополучие.

Няма такова нещо като неутрална технология.

В фракталната йерархия на технологията за автоматизация невидимите стойности са вградени навсякъде, където погледнете.

Има ценности - морални ценности - във всеки избор на дизайн, във всеки процес на изпълнение, във всяка промяна на организационната култура и във всяко въздействие върху вземането на решения от крайния потребител.

Оформянето на автоматизацията като „техническа корекция“ или неизбежното приложение на технологията затъмнява вековните философски и морални основи на алгоритмите за машинно обучение, включени в стека за автоматизация, прекалено често се изпълнява на автопилот вместо тежки и приобщаващи разговори за стойностите, които устояват на количественото измерване и измерването.

Що се отнася до технологиите за автоматизация, ние никога не трябва да приемаме неутралитет, да не говорим за положителен напредък. Това е особено важно, когато става въпрос за интеграция на данни и автоматизация в публичния сектор. Същата техническа инфраструктура, изградена за подкрепа на прозрачността на правителството, може лесно да се използва за социален контрол. Същите аналитични слоеве, които обещават да направят системите за наказателно правосъдие по-справедливи, също могат да бъдат използвани за пълнене на частни затвори с маргинализирани граждани. И същите механизми за наблюдение, които обещават да подобрят обществената безопасност, могат да бъдат мобилизирани, за да ограничат достъпа на гражданите до услуги.

Китай насърчава своята система за социален кредит, буквално базирана на израза на правителството „веднъж ненадежден, винаги ограничен“, като начин за подобряване на доверието на гражданите в правителството. Китайските служители се срещнаха с колеги в поне 36 държави миналата година, за да споделят подхода си към „нови медии или управление на информация“ (четете: цифров контрол). В Мексико, където вече само 2% от гражданите вярват, че живеят в пълна демокрация, прозрачността се изпреварва пред отчетността, оставяйки я пред себе си не само истина, но и цинизъм и разединяване. В Бразилия известна и широка публична интегрирана система от данни, изградена за автоматизиране на предоставянето на социални услуги, се свързва с данни за заетостта в частния сектор, точно както хардлайнерът встъпва в длъжност, който се е развихрил романтично за военната диктатура. В Кения правителството си постави за цел да регистрира генома и геометрията на ушите на всеки гражданин. А в САЩ се изграждат обществени интегрирани системи за данни, които скоро ще докоснат болшинството от гражданите.

За да бъде ясно, много от специализираните държавни служители, които обслужват нашите обществени услуги, с право приветстват интегрирането на данни; дори достъпът до таблата за данни в реално време от собствената агенция все още е обещаваща перспектива в много области. Но трябва да се направи полезно разграничение между данните, използвани за подобряване на резултатите чрез изследване, спрямо данните, използвани за управление на отделни случаи, прогнозна анализа, поддръжка на решения и автоматизирано предоставяне на услуги. Притеснявам се, че технологичните компании продават публичния сектор на визия за автоматизация, чиито инструменти вграждат ценности на капитализма, а не на устойчивостта; ефективност, а не собствен капитал; статукво, а не справедливост. И да отбележим, без значение колко най-добри практики се следват при проектирането и прилагането (както са били в интегрираната система за данни в графство Allegheny, PA), има поне две страни за всяка история на автоматизацията.

Всички изображения тук са предоставени с любезност на Даниел Рен във Flickr

На всяко място, което погледнете, фантазията за автоматизация намира покупка и плодородна земя, за да засадите семената си. Въпреки страховития шум, идващ от корпоративните технологични компании, най-често това прави тихо, коварно и стратегически.

Засегнатите общности не се осведомяват до първия контакт с бъг процес или вбесяващо потребителско изживяване. Университетските IRB са нещо, за което копнеят и все още отдавна забравени в бързината да доставят. Системите са повдигнати на едро от един контекст, с бели етикети и се пропускат в друг. Продадени от обещанието за модернизация и прогрес, нашите лидери се ангажират да осигурят търговски извънстоятелен обществен контрол.

Искам да подчертая, че нищо от това не осъжда интегрирането на данни, графичната анализа или машинното обучение. Това са ценни инструменти в комплект, който трябва също да включва социални науки и ангажираност на заинтересованите страни. Но контекстът, в който се използват тези инструменти, създава зависимост на пътя. Фантазията, която стимулира закупуването и предназначението на тези инструменти, заслужава внимателен контрол. Бизнес моделите, които поддържат, вградените стойности, които кодират, степента на центрираност към лицата, която отразяват, начина, по който фино прехвърлят отговорността между заинтересованите страни, и структурните неравенства, които заплашват да влязат в дълбочина. И настоящият контекст, в който се продават и внедряват инструменти за автоматизация, е дълбоко погрешен.

Ангажименти към ангажираността на общността, методологии за проектиране и подходи, ориентирани към личност, строг и непрекъснат етичен преглед, включване по подразбиране на социални учени и художници в процесите на развитие, алгоритмичен одит и изричното и приобщаващо обсъждане на това, какви ценности се вграждат в инструментите (особено узрели) за преразглеждане: неизказаните социални споразумения между гражданите и търговските / правни механизми за управление) биха могли да изминат дълъг път към гарантирането, че автоматизацията не е ароматизирана от авторитаризма, но не и ако задържим зад волана на тази самоуправляваща се кола.

Нещо е гнило в центъра на съня и ние спешно трябва да се събудим - преди да автоматизираме нарушените обещания от миналото си в самата тъкан на нашето бъдеще.