Погрешната логика в сърцето на фантазията за автоматизация

Технологията не решава за доверие, отчетност или труд - тя прехвърля отговорността от системите и хората.

В частния, публичния и с нестопанска цел се прилага обща рецепта за нарастващи магазини от данни: оперативна съвместимост → интеграция → оптимизация → автоматизация.

Обещаващ за въвеждане в ерата на „интелигентни градове“, „ефективни услуги“ и „неограничен отдих“, автоматизацията е фантазията, движеща настоящата революция в бизнеса и бюрокрацията.

Преуморени от огромния обем информация (идентифицираща се лично и по друг начин), генерирана от вашите операции в ерата на цифровите технологии? Не се страхувайте, ерата на автоматизацията е тук.

Един стек, който да ги разреши

Автоматизацията обещава (евтино) спазване. Той се покланя пред олтара на ефективността. Тя рисува вашите нечестиви проблеми като отстраняване на грешки и сложните ви системи като набор от линейни причинно-следствени връзки, само чакащи да бъдат разкачени. Той не прави разлика между видовете проблеми и процеси, с които се сблъскват частните срещу публичните институции. Той не само ще изтрие вашите данни за диаманти, но и ще изреже и полира камъните. Казано по-просто, това ще "промени света."

Организациите не просто мобилизират собствените си данни. Най-добрият поглед идва от анализирането на масивни данни от различни източници. Ето защо агенциите от публичния сектор обединяват данни в различните услуги и защо потребителските компании натрупват личната информация на своите клиенти. Както цитира New York Times, през 2018 г. американските компании изразходват близо 20 милиарда долара за придобиване и обработка на потребителски данни. Обещаната логика на тези разходи е нещо подобно:

В стъпка 1, оперативна съвместимост, данните се правят машинно четими и смилаеми. Отминаха дните на ръчно цифровизиране на PDF файлове. Нарастващият набор от инструменти, включващи скенери, компютърно зрение и алгоритми за обработка на естествен език, става все по-добър при събирането дори на най-месните субстрати от данни и регургитирането на извлечени и компилирани данни, които са зрели за анализ. С помощта на графична анализация дори най-различните масиви данни могат да бъдат слоени за добив.

На стъпка 2, интеграцията, данните от отделни системи се обединяват и стават достъпни чрез интерфейси, табла и бази данни. Надлъжни изследователи, радвайте се! Силозите са оградени. Анализират се графиките. Преди това невидимите връзки се моделират и визуализират. Тенденциите се представят, тяхната сила и насоченост са разсечени и служат за толкова „прозрение“.

В стъпка 3, оптимизация, алгоритмите са наслоени на стека, които обещават да направят неща като „препоръчвам“, „персонализирам“ и „прогнозирам“ много по-добре, отколкото всеки обикновен човек може или някога би могъл. Вместо сложна ангажираност на заинтересованите страни със своите разхвърляни дебати за ценности, тези алгоритми вземат подсказка от логиката на нашите минали решения и доминиращи наративи - от капитализма и неолибералния институционализъм. Те се насочват към ефективността. Те се насочват към растеж. Ако системите на предшествениците, генерирали своите исторически данни, са устойчиви, справедливи или справедливи, алгоритмите може да са твърде. Ако не, нататък - ускорете краха.

В стъпка 4, автоматизацията, новите алгоритми получават нови отговорности. Надграждайки върху стека, който вече твърди, че разбира по-добре системната динамика и взаимоотношения, те сега предлагат да реорганизират механизмите за отчетност и структурите за вземане на решения. Те определят кредитоспособността. Те разпределят обезщетения за здравеопазване. Те предсказват достъп до обществени услуги - по ортогонално поведение или способността да докажат своята идентичност.

Уви. В близко бъдеще обещаната земя изглежда като опит за създаване на цифров акаунт на DHS в Арканзас и за съжаление не е много.

„Бъдещето вече е тук - просто неравномерно разпределено“

От сегашния си костур във филантропията виждам как смяната се случва навсякъде - с различна скорост на различни места, променяйки самата основа за работата, която искаме да вършим в сектори и региони - понякога коварно, винаги неумолимо.

В миналото съм работил в публичния сектор (Институт на Чебровски на DoD), частния сектор (синдикирано изследване на технологичните фючърси) и в междусекторното консултиране (разработване на иновационни екосистеми за конкурси за стимулиране на награди). За сравнително кратко време попаднах на пълен кръг от ентусиаста на технологичния ангажимент (на 24 години, описвах се в заявление за работа като „износителен евангелист“), за да внимавам скептично към способността на технологията да се намеси положително в човешките системи.

Миналата година бях на среща в Sand Hill Rd., Биейки барабана си за центриране на етиката и справедливостта при разработването на автоматизирани системи от публичния сектор, когато ентусиаст на финансиращи и интегриращи данни попита много сериозно: „Защо продължаваш да издаваш това - като, какво може да се обърка? ”

В този момент, от моя гледна точка, е по-малко за това какво може да се обърка и повече за това, което вече има. Има нещо гнило в центъра на фантазията за автоматизация.

Автоматизацията преминава под много имена („изкуствен интелект“, „алгоритмично вземане на решения“ и т.н.), но обича да крие истинската си същност. Ето няколко от многото лица, които носи.

Боклук вътре, боклук навън.

И по-голямата част от него е боклук.

Със сигурност „големите данни“ разкриха връзки и взаимоотношения, които позволяват осигуряване на приходи, създаване на стойност и подобрено предоставяне на услуги (може би по-малко, отколкото бихте си мислили). Но това е до голяма степен въпреки качеството и достоверността на данните, а не заради това.

За да цитирам един от многото неправилни, това, което изграждаме, всъщност не е изкуствен интелект, а човешкият разум (с недостатъци) в мащаба на индустриалната обществена техника - да, човекът зад завесата все още се усуква в копчетата на цивилизацията. И да, наистина е бял мъж, носещ товарни шорти с чорапи и сандали в Пало Алто.

Планирането често се прикрива като предсказване.

В мащаб алгоритмите създават бъдещето, което прогнозират.

Когато машините правят точна прогноза, това е триумф на статуквото, а не на предвиждане.

По-често, както при хората, те правят самоизпълняващи се пророчества. Те ще сервират повече от едно и също, по-бързо този път, по-точно и с по-малко от вашия вход. За препоръчване какво да гледате по-нататък в Netflix, това е наистина страхотно. Не се стремя да спра да харесвам научнофантастични филми със силна женска роля. (В случай, че не е проникнал във филтърния ви мехур, не спите на класическия лагер на класическата пирамида.)

Но що се отнася до предоставянето на услуги в публичния сектор и системите, които имат реално влияние върху семействата и поминъка, това е различна история. Защо умишлено ще моделираме бъдещото вземане на решения по минали модели, за които знаем, че са били систематично предубедени, несправедливи, неравнопоставени, дискриминационни и в много случаи идеологически безотговорни, ако не опасни? Разбира се, алгоритмите са доста добри в ученето от минали модели до проектиране на бъдещи решения. Но в безброй системи това е последното нещо, което трябва да искаме те да направят.

Триенето е двигателят на стабилността - и на прогреса.

Здравите системи процъфтяват на ръба на хаоса.

Автоматизацията попада под знамето на „прогрес“, но се разкрива като агент на застой.

Триенето - борбата - е теоретично, че е движещата сила в биологичната еволюция, използването на инструменти и развитието на технологиите, процъфтяващата имунна система и други. И въпреки това в книгата с рецепти за автоматизация, тя е на първо място в списъка на замествания на съставките.

Болно от това, че трябва да си направите собствено изследване? Алгоритмите ще изкопаят огромни запаси от информация, така че не е нужно. Болен от чакане на опашка? Алгоритмите могат да оптимизират времето за пристигане. Болен от съставяне на отговори като част от основната човешка комуникация? Алгоритмите могат да предложат отговор, който е неприлично, така че вие.

Но какво е заложено в този прилив за смазване на всяко наше (транс) действие? Какво може да се загуби, когато вече не се налага да чакаме, да изпитваме скука, да се борим, да мислим за това или дори да опитаме?

Оптимизацията и влиянието са фини форми на контрол.

Вземайки назаем от рекламните бизнес модели, крайната игра на автоматизацията в капиталистическото общество не просто продава повече неща, а всъщност проектира човешкото поведение.

Инфраструктурата за извличане на данни в основата на автоматизацията е същата, която поддържа надзорния капитализъм и той иска да притъпи нашата агенция, да ни ограби от светилището и да заличи нашата непредсказуемост. Както Шошана Зубов казва: „Забравете клишето, че ако е безплатно, вие сте продуктът - не сте продуктът, а просто безплатният източник на суровина, от която се правят продукти за продажба и покупка… Вие не сте продуктът, вие са изоставеният труп. "

В „Алгоритъм и блус: Тиранията на идващата интелигентна технология Утопия“ Брет Фришман описва някои от идеологията в основата на „интелигентните технологии“ и автоматизацията:

„Предполага се, че смарт телефоните, мрежите, колите, домовете, дрехите и прочие ще направят живота ни по-лесен, по-добър, по-щастлив. Тези твърдения се коренят дълбоко в интелигентно-технологичната утопична визия, която се гради от предишни техноутопични визии като кибер-утопизъм, както и от икономически-утопични визии като коазеевата идея за безфрикционни, перфектно ефективни пазари и Тейлористичната визия на научно управлявани, перфектно продуктивни работници. В нашия модерен дигитален мрежов свят тези визии изпълзяват далеч от първоначалните си контексти на идеализиран интернет, пазари и работни места. Smart-tech може да управлява много повече от нашия живот. "

В машинното обучение няма магия.

Само тези и нули, графики и корелации.

В машинното обучение няма магия, а само каскаден поток от абдикирано вземане на решения (и по този начин отчетност). Разбира се, силовите дисбаланси, присъщи на свят, в който някои хора взимат решения от името на други хора (да не говорим за нечовеци) е доста проблематично, но наистина ли сме толкова сигурни, че прославените математически уравнения ще свършат по-добра работа?

Говорейки с New York Times, дядото на компютърното програмиране Доналд Кнут неотдавна призна: „Притеснявам се, че алгоритмите стават твърде изявени в света. Започна, че компютърните учени се притесняват, че никой не ни слуша. Сега се притеснявам, че твърде много хора слушат. "

Ясно е, че много от лицата, които вземат решения, вече са се заели с фантазията, че машините са по-подходящи за избор, отколкото ние. Кодексът е отговорен за важните системи и решения, в много случаи без дори да мисли за процесите за обезщетяване или съдебно решение. Кой може да си позволи продължителна съдебна битка, за да търси прибягване, след като алгоритъмът на бъги се отказва от здравеопазването им? По ирония на съдбата, само тези, чиито доходи ги изключват, изобщо се нуждаят от достъп до обществени услуги.

Кой печели - и кой губи - в автоматизиран свят?

Автоматизацията обещава да въведе изцяло нови форми на неравенство.

Все по-често достъпът до услуги, които поставят изрично човешко лице върху автоматизирането на предоставянето на услуги, се продава с премия. И в автоматизиран свят, поверителността и светилището са привилегии, които плащате.

„По-добре никога не означава по-добро за всички. Това винаги означава по-лошо за някои. ”- Маргарет Атууд

За визуализация кой планира да спечели дългата игра, погледнете някои от най-гласните привърженици на автоматизацията:
+ Междуамериканската банка за развитие (IDB) насърчава използването на прогнозна анализа в публичния сектор, част от текущ фетиш, известен също като „данни за развитие“.
+ За IBM данните са новото масло. За корпоративните софтуерни компании автоматизацията е това, което е за вечеря, а публичният сектор е масово развиващ се пазар.
+ Както чухме от Марк Зукърбърг от Facebook, когато (слабо) се оспори от Конгреса по почти всеки проблем с платформата, която сега посредничи в глобалното потребление на информация (първоначално предназначена да намали триенето, свързано с проверката на първокурсниците): алгоритмите ще го поправят.
+ Големи консултантски фирми като Accenture могат да спечелят от това, което наричат ​​„технологичната си визия“.

По същество има компромиси, които се подразбират в автоматизирано бъдеще. На нас се продава стока на базата на предполагаемата стойност на ефективността, но правим невидими компромиси в собствен капитал. Обещана ни е свобода от триене, но в крайна сметка губим серендит. Нашите системи оптимизират разпределението на ресурсите, но само като ни правят постоянно изследвани и все по-отговорни за управлението на взаимодействията ни със системата. Очакваме с нетърпение бъдеще, в което наркотиците се носят машинно, но се борим да си представим, че държим на човешкото достойнство и смислен живот. Ние сме съблазнени от логиката на пряко измерване и оценка, но забравяме, че не всичко, което има значение, не може да бъде измерено.

Структурното неравенство се намира плътно в аналитичния блайнд на автоматизацията.

Свръхзависимостта от анализа на данните функционално дава приоритет на видовете корелации, които линейната алгебра е добра при забелязването - но не и тези, произтичащи от сложна динамика на системата.

Към момента предубедените алгоритми са добре известен проблем. Тъй като те разчитат на минали данни, те са обект на кодифициране на лоши модели, основаващи се на лошо събиране на данни, неравнопоставено историческо разпределение на услугите (и по този начин надзор на ниското ниво на доходи и малцинственото население), както и предварително предположения. Ние можем да видим доказателствата за това пристрастие в расистките и сексистки резултати от усилията за автоматизация в сектори.

Но с целия акцент върху въвеждането на справедливост, отчетност и прозрачност в машинното обучение, ние все още не виждаме гората за дърветата. По-конкретно, опитите за коригиране на пристрастия в алгоритмите обикновено не отчитат структурните неравенства. Тъй като той е проникнат и се ражда от исторически данни, автоматизацията знае само как да задълбочи каналите на съществуващите модели, като оценява само онези променливи, които са били изолирани за измерване и след това са осмислени чрез връзката им с други показатели.

Но именно структурната екосистема, в която се внедрява автоматизацията, ще трябва да проблематизираме и да се обърнем внимание, ако искаме да постигнем обещанието за аналитични инструменти. Законосъобразно устойчив на статистически анализ, водата, в която плуваме - богата яхния, пълна с разкази за доминиране, идеологии на растеж и потребление, фундаментални фалшиви дихотомии, яростна друга, повсеместна дезинформация и екологичен фатализъм - е нещо, на което можем да разгледаме краищата на но едва ли надминават.

С автоматизацията трансцендентността не се предлага. Оптимизация, да. Смекчаване, може би. Решения само в името. Вместо това фантазията за автоматизация носи етоса на изключителността и арогантната примамка към „края на историята“. Това е особено виждане за „прогреса“. Това предполага, че нещата могат да бъдат много по-добри, стига разпределението на власт и ресурси на високо ниво да остане почти същото.

Разглеждайки алгоритмите, които обещават революция в здравеопазването, Шанън Матерн пише:

Нещо повече, сляпата вяра, че повсеместното събиране на данни ще доведе до „открития, които са от полза за всички“, заслужава скептицизъм. Мащабните емпирични изследвания могат да засилят различията в здравеопазването, особено когато демографските анализи не са основани на конкретни хипотези или теоретични рамки. Етикът Селия Фишър твърди, че изследвания като Проекта за човека трябва ясно да дефинират „какво означават класа, раса и култура, като се вземат предвид как тези определения непрекъснато се оформят и предефинират от социалните и политическите сили“ и как определени групи са били маргинализирани, т.е. дори патологизирани, в медицински дискурс и практика. Изследователите, които правят изводи въз основа на наблюдаваните корелации - нетеоризирани и не историзирани - рискуват, според нея, „приписване на здравословни проблеми на генетични или културни нагласи в маргинализирани групи, а не на политики, поддържащи системни политически и институционални неравенства в здравеопазването.“ - Шанън Матерн, „Данни в кодовото пространство“

Автоматизацията прехвърля тежестта на отчетността от системите към хората.

Митът за неограниченото свободно време чрез автоматизация вече звучи невярно.

В автоматизиран свят процесите са преработени не за подобряване на потребителския опит, а за увеличаване на маржовете на печалба и / или намаляване на разходите за човешки капитал.

Но както показват проучванията на Карън Леви за товарни автомобили, автоматиката не заменя хората толкова, колкото ги нахлува. Подобно на насилствения бивш партньор, той оглежда, посегателства, прави полиция и манипулира, като същевременно изисква интимен достъп до тялото и изисква увеличаване на достъпа до ума.

Без намеса тези, които вече са в границите, ще бъдат допълнително маргинализирани. И когато автоматизацията е внедрена в услуга на статуквото, стойността се извлича и / или невидим труд, необходим от всеки човек, който взаимодейства с автоматизирани системи.

Пациентът вече е координатор и защитник на собствените си грижи. Потребителят се консумира активно в текущия цикъл на потребление. Гражданинът вече е арбитър на своята собствена истина и уредник на собствения си смисъл. В секторите невидимият (и неплатен) труд, който сега е необходим, за да се ориентираме в системите, в които сме неразделно замесени, ни разкрива - индивидът - все по-отговорен и все по-компрометиран в актовете на потребление, гражданство и стремеж към здраве и благополучие.

Няма такова нещо като неутрална технология.

В фракталната йерархия на технологията за автоматизация невидимите стойности са вградени навсякъде, където погледнете.

Има ценности - морални ценности - във всеки избор на дизайн, всеки процес на внедряване, всяка промяна в организационната култура и във всяко въздействие върху вземането на решения от крайния потребител.

Оформянето на автоматизацията като „техническа корекция“ или неизбежното приложение на технологията затъмнява вековните философски и морални основи на алгоритмите за машинно обучение, съдържащи се в стека за автоматизация, прекалено често работи на автопилот вместо тежки и приобщаващи разговори за стойностите, които устояват на количествено определяне и измерване.

Що се отнася до технологиите за автоматизация, ние никога не трябва да приемаме неутралитет, да не говорим за положителен напредък. Това е особено важно, когато става въпрос за интеграция на данни и автоматизация в публичния сектор. Същата техническа инфраструктура, изградена за подкрепа на прозрачността на правителството, може лесно да се използва за социален контрол. Същите аналитични слоеве, които обещават да направят системите за наказателно правосъдие по-справедливи, също могат да бъдат използвани за пълнене на частни затвори с маргинализирани граждани. И същите механизми за наблюдение, които обещават да подобрят обществената безопасност, могат да бъдат мобилизирани, за да ограничат достъпа на гражданите до услуги.

Китай насърчава своята система за социален кредит, буквално базирана на израза на правителството „веднъж ненадежден, винаги ограничен“, като начин за подобряване на доверието на гражданите в правителството. Китайските служители се срещнаха с колеги в поне 36 държави миналата година, за да споделят подхода си към „нови медии или управление на информацията“ (четете: цифров контрол). В Мексико, където вече само 2% от гражданите вярват, че живеят в пълна демокрация, прозрачността се изпреварва пред отчетността, оставяйки пред себе си не само истина, но и цинизъм и разединяване. В Бразилия известна и широка обществена интегрирана система от данни, изградена с цел автоматизиране на предоставянето на социални услуги, се свързва с данните за заетостта в частния сектор, точно както хардлайнерът встъпва в длъжност, който се е развихрил романтично за военната диктатура. В Кения правителството си постави за цел да регистрира генома и геометрията на ушната мида на всеки гражданин. А в САЩ се изграждат обществени интегрирани системи за данни, които скоро ще докоснат мнозинството от гражданите.

За да бъде ясно, много от специализираните държавни служители, които обслужват нашите обществени услуги, с право приветстват интегрирането на данни; дори достъпът до таблата за данни в реално време от собствената агенция все още е обещаваща перспектива в много райони. Но трябва да се направи полезно разграничение между данните, използвани за подобряване на резултатите чрез изследване, спрямо данните, използвани за управление на отделни случаи, прогнозна анализа, поддръжка на решения и автоматизирано предоставяне на услуги. Притеснявам се, че технологичните компании продават публичния сектор на визия за автоматизация, чиито инструменти вграждат ценности на капитализма, а не на устойчивостта; ефективност, а не собствен капитал; статукво, а не справедливост. И да отбележим, без значение колко най-добри практики се следват при проектирането и прилагането (както са били в интегрираната система за данни в графство Allegheny, PA), има поне две страни на всяка история на автоматизацията.

Всички изображения тук са предоставени с любезност на Даниел Рен във Flickr

На всяко място, което погледнете, фантазията за автоматизация намира покупка и плодородна земя, за да засадите семената си. Въпреки необуздания шум, идващ от корпоративните технологични компании, той най-често прави това тихо, коварно и стратегически.

Засегнатите общности не се осведомяват до първия контакт с бъг процес или вбесяващо потребителско изживяване. Университетските IRB са нещо, за което копнеят и все още отдавна забравени в бързината да се доставят. Системите са повдигнати на едро от един контекст, с бели етикети и се пропускат в друг. Продадени от обещанието за модернизация и прогрес, нашите лидери се ангажират да осигурят търговски извънстоятелен обществен контрол.

Искам да подчертая, че нищо от това не осъжда интеграцията на данни, графичната анализа или машинното обучение. Това са ценни инструменти в комплект, който трябва също да включва социални науки и ангажираност на заинтересованите страни. Но контекстът, в който се използват тези инструменти, създава зависимост на пътя. Фантазията, която стимулира закупуването и предназначението на тези инструменти, заслужава внимателно проучване. Бизнес моделите, които поддържат, вградените стойности, които кодират, степента на центрираност към лицата, която отразяват, начина, по който небрежно прехвърлят отговорността между заинтересованите страни, и структурните неравенства, които заплашват да влязат в дълбочина. И настоящият контекст, в който се продават и внедряват инструменти за автоматизация, е дълбоко погрешен.

Ангажименти за ангажираност на общността, методологии за проектиране и подходи, ориентирани към личността, строг и продължаващ етичен преглед, включване по подразбиране на социални учени и художници в процесите на развитие, алгоритмичен одит и изричното и приобщаващо обсъждане на това, какви ценности се вграждат в инструментите (особено узрели) за преразглеждане: неизказаните социални споразумения между гражданите и търговските / правни механизми на управление) може да измине дълъг път към гарантирането, че автоматизацията не е ароматизирана от авторитаризма, но не и ако задържим зад волана на тази самоуправляваща се кола.

Нещо е гнило в центъра на съня и ние спешно трябва да се събудим - преди да автоматизираме нарушените обещания от миналото си в самата тъкан на нашето бъдеще.