Bronie matematycznego zniszczenia

Budzik dzwoni o ósmej. Za godzinę mam rozmowę kwalifikacyjną w dużej firmie. Przed wyjściem machinalnie, jak zwykle, przeglądam Facebooka. Algorytm usłużnie podsuwa mi wybrane wiadomości od znajomych i reklamy. W jaki sposób zostały wybrane? Nie wiem tego, poza niejasną świadomością, że odpowiadają mojemu profilowi. Na rozmowie kwalifikacyjnej wypełniam test osobowości i predyspozycji zawodowych. Jak będą obliczane jego wyniki? Nie mam pojęcia, być może nie wie tego nawet zajmujący się moją sprawą HR-owiec. On otrzyma tylko liczby, a może same interpretacje. Nadaje się lub nie nadaje. Po rozmowie kwalifikacyjnej trzeba załatwić ubezpieczenie samochodu. Dzwonię do agenta. Czemu tak drogo? Algorytm tak wyliczył. Po chwili wydzwania opiekun klienta z banku. „Możemy panu przyznać tylko połowę wnioskowanego limitu na karcie kredytowej. Ale… Mam dla pana ofertę szybkiej gotówkowej pożyczki w wysokości…”. Odkładam słuchawkę. Ukoi mnie Spotify. Serwis przygotował już dla mnie składankę utworów, które na pewno będę lubił.

Algorytmy są wszędzie. Wiara w potęgę liczb ma swoją długą historię. Z pewnością jednym z kamieni milowych był XIX-wieczny, Weberowski model idealnej biurokracji, według którego bezosobowe ramy prawne i proceduralne miały zapewnić bezstronność i skuteczność podejmowanych decyzji. Kolejne kryzysy Weberowskiego modelu ukształtowały model Nowego Zarządzania Publicznego (New Public Management) – zorientowanego na wyniki, osiąganie rezultatów określonych wymiernymi wskaźnikami. Tak ukierunkowana kadra zarządzająca w publicznych i prywatnych jednostkach z radością przywitała nadejście epoki Big Data. Uwierzyliśmy, że wielkie liczby i statystyki zagwarantują nie tylko oszczędność czasu i pieniędzy, ale także uczciwość. Czy na pewno?

Wielkie liczby, wielkie rozczarowanie

CathyO’Neil w 1999 r. otrzymała tytuł doktora matematyki na Harvardzie. Po ośmiu latach, pełna szczerych intencji i wiary w moc wielkich liczb, zdecydowała się zrezygnować z pracy naukowej na rzecz świata wielkich finansów. Dwa lata pracowała w funduszu hedgingowym D. E. Shaw. Tam zetknęła się z zastosowaniem zaawansowanej matematyki w procesie podejmowania decyzji wpływających na gospodarkę i – co za tym idzie – na losy pojedynczych osób. Ta praca na zawsze odmieniła jej myślenie. Rozczarowanie, które przeżyła, sprawiło, że zaangażowała się w ruch Occupy Wall Street. Przyjrzała się też bliżej algorytmom rządzącym życiem przeciętnego Amerykanina. Efektem tych studiów jest wydana w 2016 r. książka „Weapons Of Math Destruction” („Bronie matematycznego rażenia/zniszczenia”).

Kryzys mieszkaniowy, upadek wielkich instytucji finansowych, wzrost bezrobocia – wszystkie te zjawiska nie miałyby miejsca, gdyby nie matematycy i magiczne wzory, będące w ich posiadaniu

Krach rynku finansowego uświadomił mi, że matematyka, która kiedyś była dla mnie ucieczką, jest nie tylko wplątana w problemy świata. Ona sama je napędza – pisze O’Neil. – Kryzys mieszkaniowy, upadek wielkich instytucji finansowych, wzrost bezrobocia – wszystkie te zjawiska nie miałyby miejsca, gdyby nie matematycy i magiczne wzory, będące w ich posiadaniu.Te ogromne moce, które kiedyś uwielbiałam, pozwoliły na mariaż matematyki z technologią, który pomnaża chaos i nieszczęście – dzięki niemu systemy, które okazały się wadliwe, zyskały ogromną skalę i efektywność.

Czym są bronie matematycznego rażenia? O’Neil w kolejnych rozdziałach swojej książki podaje wiele przykładów algorytmów i modeli matematycznych, które w Stanach Zjednoczonych regulują różne sfery życia – od systemu szkolnictwa, przez rynek pracy i ubezpieczenia aż do wielkich transakcji finansowych. Od początku istnienia są one przyjmowane z wdzięcznością przez społeczeństwo. Opinia publiczna wierzy, że mają naukowe podstawy; wierzy w ich efektywność, przejrzystość i uczciwość. Jak się okazuje, wszystkie te zalety przy głębszej analizie okazują się nieraz wątpliwe. Zwłaszcza dwie ostatnie.

Grzechy główne algorytmów

W 2007 r. nowo wybrany burmistrz Waszyngtonu, Adrian Fenty, postawił sobie za cel obiektywną ocenę funkcjonowania szkół. Aby zrealizować ten plan, zastosował nowoczesne narzędzie ewaluacji nauczycieli oparte na „modelu wartości dodanej”. Ocena opierała się na dwóch filarach: na zbiorze opinii kadry zarządzającej szkoły i szkolnej społeczności (uczniów i ich rodziców) oraz na wyniku efektywności nauczania, wyliczanym przez tajny algorytm. Ocena algorytmiczna miała wyższą wagę. Cathy O’Neil prześledziła losy jednej z nauczycielek, Sary Wysocki, którą społeczność uważała od lat za znakomitego pedagoga. Mimo doskonałych opinii ze strony dyrekcji i uczniów system przyznał Wysocki bardzo niską łączną liczbę punktów, co skończyło się zwolnieniem z pracy. Dlaczego?

Tu dochodzimy do pierwszej niebezpiecznej cechy „broni matematycznego rażenia”. O’Neil nie bez powodu mówi o „magicznych wzorach”. Tego typu algorytmy są bowiem ściśle strzeżoną tajemnicą firm, które je tworzą. Wysocki bezskutecznie próbowała dowiedzieć się, jakie cząstkowe wartości składają się na jej ogólną, niską ocenę. Algorytmu nie rozumieli ani jej przełożeni, ani nikt inny poza firmą konsultingową, która go stworzyła. Utajnienie składowych jest z punktu widzenia twórców modelu uzasadnione – jeśli byłoby wiadomo, w jaki sposób obliczana jest punktacja, osoby oceniane mogłyby nią manipulować. Ale nie tylko – mogłyby też w łatwy sposób kwestionować wyniki. Tymczasem od algorytmu nie ma odwołania. Większość ludzi, onieśmielonych wyższą matematyką, nawet nie decyduje się protestować. Ten fakt z kolei prowadzi do utrwalania błędów. Werdykty modelu są niepodważalne, a zatem jeżeli nawet tkwi w nim błąd, to istnieje duże prawdopodobieństwo, że nikt go nie poprawi.

Druga istotna cecha algorytmów korzystających z Big Data to ich skomplikowanie. Samo w sobie nie jest ono złe, wręcz przeciwnie – ma zapewniać maksymalną obiektywność i wzięcie pod uwagę wszystkich możliwych czynników. Złożoność waszyngtońskiego modelu wiązała się z bardzo trudnym zadaniem, jakie postawili twórcy – algorytm miał zmierzyć postępy uczniów i obliczyć, w jakiej części można je przypisać pracy danego nauczyciela. W tym celu konieczne jest zastosowanie wielu zmiennych. Jednak to dążenie do obiektywności ma swoją ciemną stronę – bardzo trudno poprawić błędy. Jakakolwiek modyfikacja wymaga zaangażowania wielu osób. Dopiero regularnie powtarzające się, poważne problemy mogą spowodować, że zespół wysokopłatnych specjalistów – naukowców i technologów odpowiedzialnych za model – zostanie zaangażowany do jego zrewidowania. Tymczasem pozornie drobny błąd może prowadzić do błędnych decyzji, a co gorsza – zrujnować czyjeś życie. Dobrze funkcjonujący algorytm (warto zauważyć, że O’Neil nie neguje możliwości istnienia takiego modelu) musi jednak być nieustannie korygowany w oparciu o informację zwrotną; musi uczyć się na własnych błędach. Większość omawianych przez autorkę algorytmów nie ma wbudowanej takiej możliwości. Model definiuje własną rzeczywistość i stanowi uzasadnienie dla jej istnienia, stając się swego rodzaju perpetuum mobile. Jeżeli uczy się, to sam od siebie – rzadko umożliwia rewizję poprzez wpuszczenie w obieg świeżych danych, nieraz związanych z zupełnie innymi obszarami rzeczywistości.

Te ogromne moce, które kiedyś uwielbiałam, pozwoliły na mariaż matematyki z technologią, który pomnaża chaos i nieszczęście – dzięki niemu systemy, które okazały się wadliwe, zyskały ogromną skalę i efektywność

W przypadku Sary Wysocki to błędne koło okazało się jedną z głównych przyczyn fatalnej oceny. Wysocki pracowała z uczniami pierwszej klasy szkoły odpowiadającej polskiemu gimnazjum, a więc „dostawała” nowych uczniów ze szkół podstawowych. Tamtejsi nauczyciele byli już świadomi, że burmistrz planuje masową wymianę kadr. Intuicyjnie zdawali sobie sprawę, że oceny uczniów będą ważną składową algorytmu, dlatego starali się, by ich podopieczni otrzymywali jak najwyższe noty na egzaminach – nie zawsze w sposób uczciwy. Wysocki zauważyła, że w poprzednim roku oceny uczniów szkół podstawowych wyglądały na zawyżone, dlatego też ich postęp w kolejnym roku w gimnazjum okazał się niewielki. Początkowo nie było żadnych dowodów na manipulowanie ocenami w szkołach podstawowych. Kilka lat później śledztwo dziennikarskie Washington Post i USA Today wskazało, że nauczyciele w tym okresie faktycznie poprawiali egzaminy swoich uczniów. Algorytm jednak pozostaje niewrażliwy na takie wahania.

Oczywiście nie ma systemów idealnych. Można jednak dążyć do ideału i istnieją różne sposoby, by udoskonalać algorytmy. Od początku artykułu mówimy o Big Data – wielkość zbiorów danych stosowanych w modelach ma zapewnić, zgodnie z regułami statystyki, małe prawdopodobieństwo błędu. Jednak samo określenie „Big Data” bywa w przypadku algorytmów także mylące. Wadą „broni matematycznego rażenia” bywa fakt, iż za skomplikowaniem samych wzorów nie idą odpowiednio duże próby badawcze. W przypadku analizy pracy pojedynczego nauczyciela wyniki oparte są na analizie postępu najwyżej kilkudziesięciu jego podopiecznych. Aby możliwa była rzetelna statystycznie analiza pracy nauczycieli – pisze autorka – potrzebne byłyby testy na tysiącach losowo wybranych uczniów. Takie podejście pozwala na wyeliminowanie odstępstw od normy. O’Neil krytykuje „bronie matematycznego rażenia” właśnie za niesprawiedliwe karanie tych jednostek, które są wyjątkiem od reguły.

Nawet największa złożoność algorytmu nie pozwala na wzięcie pod uwagę wszystkich czynników. Model musi być więc z konieczności uproszczony. Wspomniany algorytm oceny nauczycieli w Washington DC w małym stopniu uwzględnia kwestie ważne, a niedające się wprost przełożyć na wskaźniki – na przykład angażowanie uczniów we wspólną pracę, pomoc nauczyciela w osobistych czy rodzinnych problemach. Także inne modele opisywane przez O’Neil biorą pod uwagę tylko część rzeczywistości. Gdy brakuje danych jednoznacznie wskazujących na to, czego szukają użytkownicy, szuka się zamienników lub danych przybliżonych. Model jest tylko abstrakcyjną reprezentacją rzeczywistości. Jego dokładność zmniejsza się, gdy badany obszar rzeczywistości jest bardziej złożony lub nie poddaje się łatwej kontroli. Wiąże się z tym kolejne ograniczenie. Modele – nawet te uczące się – zawsze wykorzystują dane z przeszłości, a więc u ich podstaw stoi milczące założenie, że dotychczasowe trendy będą kontynuowane. Jednakże rzeczywistość nie zawsze kształtuje się zgodnie z trendami. Między innymi stosowanie tego założenia spowodowało, że mało który analityk przewidział międzynarodowy kryzys finansowy lat 2007–2008.

Dodatkową cechą modeli matematycznych stosowanych w firmach i instytucjach jest ich ogromna skala. Modele rosną w nieskończoność w postępie geometrycznym, a wraz z nimi rosną drobne, niezauważalne pierwotnie błędy. Taka sytuacja powoduje zjawisko, które O’Neil uważa za najbardziej niebezpieczne. Nazywa je „pętlą informacji zwrotnej” – powoduje ono szybkie utrwalanie negatywnych zjawisk i różnych form dyskryminacji. Algorytmy są jednym z wyrazów makdonaldyzacji społeczeństwa, o której pisał George Ritzer. W zmakdonaldyzowanym świecie liczy się optymalizacja, a sama ilość zastępuje jakość. Człowiek jest trybem w maszynie – ale przecież nie dlatego, że twórcy tego świata są z założenia antyludzcy. Ich najważniejszym celem jest szybki efekt, oszczędność czasu i pieniędzy. Dlatego wg O’Neil „bronie matematycznego rażenia” uderzają przede wszystkim w tych, którzy pieniędzy nie mają i stosowane są tam, gdzie konieczna jest szybka i tania obróbka masowa. Dobrze prosperujące przedsiębiorstwo przy ocenie pracowników nie musi uciekać się do algorytmów – ma wystarczające zasoby czasu i pieniędzy, by każdego kandydata ocenić indywidualnie podczas bezpośrednich spotkań lub okresu próbnego.

Poważniejsze konsekwencje

Edukacja, jakkolwiek ważna, to tylko wierzchołek góry lodowej. Na stosunkowo prostym przykładzie Sary Wysocki przedstawiłem kilka najważniejszych cech algorytmów: tajność, skomplikowanie, oparcie na niewystarczająco wysokich próbach, pętla informacji zwrotnej i obliczenie na szybki efekt. Te same problemy z algorytmami wpływają na wiele sfer, od marketingu poprzez szkolnictwo wyższe, sądownictwo, rynek pracy, aż do świata finansów.

To, jaka reklama wyświetli się na ekranie Facebooka, zależy od tego, czy użytkownik jest w zdefiniowanej przez reklamodawcę grupie odbiorców – brane pod uwagę są takie cechy jak płeć, miejsce zamieszkania, przedział wiekowy oraz zainteresowania (czyli dotychczasowe polubienia stron i profili). Cathy O’Neil, podkreślmy, nie potępia w czambuł wszystkich algorytmów. Najpopularniejsze formy użycia, takie jak marketing internetowy, nie zawsze mają charakter broni matematycznego rażenia. Z pewnością dotyczą jednak ogromnych mas, co jest wg O’Neil czynnikiem wysokiego ryzyka. W Polsce z Facebooka w 2016 r. korzystało 15 milionów osób. Inne badanie wskazuje, że z oprogramowania blokującego reklamy korzysta 36 proc. Polaków. Można zatem oszacować, że wyświetlane przez Facebooka reklamy ogląda codziennie 9,6 mln polskich internautów.

„Bronie matematycznego rażenia” uderzają przede wszystkim w tych, którzy pieniędzy nie mają i stosowane są tam, gdzie konieczna jest szybka i tania obróbka masowa

Marketing oparty na algorytmach zaczyna robić się niebezpieczny, kiedy wśród zmiennych definiujących potencjalny „target” pojawiają się cechy negatywne, problemy, trudności w różnych dziedzinach życia. O’Neil wskazuje, że ci internauci, którzy mają problemy finansowe (co ujawniło się np. w ich historii wyszukiwania) bardzo szybko zostają wręcz zalani ofertami pozornie korzystnych kredytów-chwilówek. I tu znów mamy do czynienia z błędnym kołem – korzystanie z tego typu instrumentów finansowych zazwyczaj prowadzi do drastycznego zwiększenia długu. Usłużny marketing online podsuwa kolejne możliwości wysokooprocentowanych pożyczek – i błędne koło się zamyka. W USA, jak wskazuje O’Neil, tego typu problem dotyka sfery kredytów studenckich – algorytmy kierują ich reklamę przede wszystkim do osób, których po prostu nie stać na naukę – osób z najbiedniejszych dzielnic miast (wyznaczanych na podstawie kodu pocztowego), imigrantów czy tych, którzy już wcześniej klikali na ogłoszenia dotyczące kredytów-chwilówek niezwiązanych ze studiami.

Jak widać, największymi ofiarami algorytmów są osoby z grup defaworyzowanych. O’Neil wskazuje wiele przykładów. Mówi o algorytmie wspomagającym podejmowanie decyzji w sądownictwie. Ułatwiając sędziom ferowanie wyroków, wskazuje tło rodzinne, miejsce zamieszkania i otoczenie społeczne podsądnego. Osobie pochodzącej z biednej dzielnicy, otoczonej ludźmi wchodzącymi na co dzień w konflikt z prawem, grozi wyższy wyrok, choć wszystkie te kwestie mogą nie mieć żadnego wpływu na czyn, o który jest podejrzewana. W ten sposób człowiek nie jest już traktowany jako indywiduum, ale jako członek takiego czy innego plemienia. A wyższy wyrok oznacza większe prawdopodobieństwo pogorszenia jego sytuacji.

Ważną cechą algorytmów jest ich – typowe dla zmakdonaldyzowanego społeczeństwa – ukierunkowanie na szybki efekt. Opisywany przez O’Neil algorytm wspierający akcje policji wyróżniał obszary miasta, w których popełniano najwięcej przestępstw. W te rejony kierowano następnie najwięcej policjantów. Efekt faktycznie pojawiał się – zatrzymywano coraz więcej osób popełniających drobne przestępstwa typowe dla biednych dzielnic: wandalizm, używanie narkotyków, zakłócanie porządku publicznego. Dane układały się w jasny portret, a słupki rosły, podczas gdy morderstwa i oszustwa dużej skali pozostawały niezauważane.

Wziętym z rynku pracy przykładem „pętli informacji zwrotnej” są modele stosowane przez duże przedsiębiorstwa do wyszukiwania najlepszych potencjalnych pracowników. Sprawdzają one chociażby, czy potencjalny pracownik ma wysoką wiarygodność kredytową, czy płaci swoje kredyty i rachunki na czas. Tymczasem – pisze O’Neil – wielu odpowiedzialnych i pracowitych ludzi spotykają nieszczęścia, które wpływają negatywnie na ich zdolność kredytową. Stosowanie tego kryterium jest także przybliżeniem, które nie tylko może być krzywdzące, ale także przyczynia się do utrwalania złej sytuacji. Potencjalny pracownik ze względu na zaległości w płaceniu rachunków i niską zdolność kredytową otrzymuje na teście mniej punktów i nie zostaje przyjęty do pracy. Bezrobocie pogarsza jeszcze jego sytuację, co z kolei powoduje, że jego szanse na zdobycie pracy maleją. Błędne koło zdaje się nie mieć końca – a pracodawcy nigdy nie dowiedzą się, ilu dobrych pracowników stracili przez zastosowanie uproszczonego wnioskowania. Pragnienie oszczędności w ten sposób obraca się przeciwko nim.

Sfera bankowości i finansów wydaje się największym obszarem wpływu algorytmów. Przede wszystkim system oceny wiarygodności kredytowej naszpikowany jest elektronicznymi rozwiązaniami. Co prawda, jak wskazuje O’Neil, wiele z tych algorytmów ma stosunkowo jawny charakter, jednak stopień ich skomplikowania i wykorzystania różnorodnych mechanizmów jest coraz większy. Algorytmy biorą pod uwagę chociażby wzory dokonywania zakupów; na podstawie kodu pocztowego miejsca zamieszkania klasyfikują potencjalnego kredytobiorcę do grup bogatszych lub biedniejszych.

Osobie pochodzącej z biednej dzielnicy, otoczonej ludźmi wchodzącymi na co dzień w konflikt z prawem, grozi wyższy wyrok, choć wszystkie te kwestie mogą nie mieć żadnego wpływu na czyn, o który jest podejrzewana

Swoistym rodzajem broni matematycznego rażenia, o czym O’Neil mówi w wywiadzie dla „The Guardian”, jest system sondaży politycznych. Wykorzystuje on naturalną skłonność obywateli do głosowania na tych polityków, którzy zajmują w sondażach wysokie miejsca. Z kolei poparcie obywateli powoduje dalszy wzrost słupków w sondażach – i koło się zamyka. Inni, słabsi medialnie – choć niekoniecznie mniej kompetentni – pozostają zmarginalizowani. Czym wyższe wyniki w sondażach, tym więcej mówią o danym polityku media; czym więcej słychać o polityku w mediach, tym częściej jest on postrzegany jako wiarygodny, choćby przekaz na jego temat był negatywny. Ponadto – jak wskazuje O’Neil – dla większości obywateli mechanizmy sondaży są niezrozumiałe, więc rzadko decydują się na krytyczne podejście (wyjąwszy sytuacje znaczącej rozbieżności między wynikami sondaży a wynikami wyborów, co miało miejsce w Polsce podczas wyborów samorządowych w 2014 r.).

W Polsce algorytmy służą m.in. przyznawaniu finansów publicznych (np. subwencji oświatowej czy środków Funduszu Pracy).  Program algorytmów i kwestionariuszy, dotyczący interwencji w przypadku przemocy domowej, wdrażany był w Ministerstwie Spraw Wewnętrznych i Administracji w 2014 r. Policjanci mieli identyfikować ryzyko przemocy domowej na podstawie 13 pytań, z których 10 dotyczy – przynajmniej częściowo – przeszłości („Czy sprawca leczył się psychiatrycznie?”, Czy sprawca kiedykolwiek groził lub próbował popełnić samobójstwo?”), co potencjalnie grozi wpadnięciem w pętlę informacji zwrotnej.

Co robić?

Nie unikniemy algorytmów, ale możemy – tam, gdzie tylko się da – uczłowieczać je przez ich udoskonalanie i wyeliminowanie niewinnych ofiar, a po drugie – przez ograniczanie ich użycia. Trudno jednak tego dokonać, gdy z wykorzystaniem matematycznych broni wiążą się tak duże zyski. O’Neil sugeruje zatem różne formy kontroli stosowanych algorytmów.

Pierwsza, w praktyce zapewne mało skuteczna, lecz warta wspomnienia, należy do domeny etyki. To apelowanie do sumieńnaukowców zajmujący się wykorzystaniem danych. Dwóch specjalistów od modeli finansowych, Emanuel Derman i Paul Wilmot, opracowało przysięgę analogiczną do przyrzeczenia Hipokratesa. Oto jej tezy, przytaczane przez O’Neil:

• Będę pamiętał o tym, że nie stworzyłem świata i że świat nie dopasuje się do moich równań.
• Choć będę śmiało wykorzystywać modele do szacowania wartości, nie będę pod nadmiernym wrażeniem matematyki.
• Nigdy nie będę poświęcał rzeczywistości dla prostych i eleganckich wyjaśnień, nie wyjaśniwszy najpierw, dlaczego tak zrobiłem.
• Nie będę dawać ludziom, którzy wykorzystują mój model, fałszywych pociech co do jego precyzji. Zamiast tego przedstawię jego założenia i możliwe błędy.
• Rozumiem, że moja praca może mieć olbrzymie skutki dla społeczeństwa i gospodarki – wielu z nich nigdy nie zrozumiem.

Jednak, jak wskazuje O’Neil, etyczne rozwiązania działają tylko na tych, którzy kierują się w życiu moralnością. Szefowie wielkich firm, dążący przede wszystkim do osiągnięcia wyników, nie zrezygnują z nacisków na tworzących “bronie matematycznego rażenia” naukowców. Konieczna jest zatem zmiana prawa i kontrola społeczna. Stosowane algorytmy powinny podlegać społecznemu lub państwowemu audytowi.

Błędne koło zdaje się nie mieć końca – a pracodawcy nigdy nie dowiedzą się, ilu dobrych pracowników stracili przez zastosowanie uproszczonego wnioskowania. Pragnienie oszczędności w ten sposób obraca się przeciwko nim

Przede wszystkim należy ocenić, w jakim stopniu algorytmy prowadzą do ukrytych kosztów społecznych. Drapieżny marketing kredytów-chwilówek może prowadzić do wzrostu przychodów w branży finansowej, ale jednocześnie wiąże się z kosztami społecznymi związanymi ze zubożeniem kredytobiorców. Zatem jednym z najważniejszych kryteriów oceny algorytmów jest ich wpływ zarówno na grupy w nich ujęte, jak i na inne powiązane obszary gospodarki lub społeczeństwa. W ramach audytu należy też dokładnie przyglądać się wszelkim uproszczeniom i proponować rozwiązania bardziej złożone, ale umożliwiające zmniejszenie liczby niewinnych ofiar (uproszczenie jest cięższym grzechem niż skomplikowanie, choć oba te grzechy mogą występować jednocześnie).

Od twórców algorytmów należy wymagać, by poprawiali je na bieżąco na podstawie otrzymanej informacji zwrotnej. Odwrotną stroną pętli negatywnej informacji zwrotnej powinna być pętla pozytywnej informacji zwrotnej, umożliwiająca naukowcom korygowanie algorytmów tak, by były coraz bardziej sprawiedliwe.

Poza audytem O’Neil proponuje, by zapewnić możliwie największą jawność i przejrzystość algorytmów. W przypadku firm prywatnych będzie to z pewnością trudne do osiągnięcia. Dlatego według  autorki istotną rolę w regulacji algorytmów powinien odgrywać rząd. Należy jednak pamiętać, że państwowe starania o uczciwe algorytmy i ich kontrola wymaga zaangażowania wielu różnych instytucji – mediów, organizacji pozarządowych, a przede wszystkim środowiska akademickiego, które jako jedyne w pełni jest w stanie zrozumieć złożoność broni matematycznego rażenia. Ważne też, by dążenie do uczciwości poprzez działania państwa nie przerodziło się w kolejny poziom kontroli – dla której z czasem, w miarę coraz większego skomplikowania procesów kontrolnych, kolejni naukowcy wymyślą kolejne algorytmy.