Nie masz czasu na zapoznanie się z całością artykułu? Wystarczy, że klikniesz ikonę „oznacz artykuł do przeczytania później”. Wszystkie zapisane publikacje znajdziesz w profilu czytelnika

Bronie matematycznego zniszczenia

Uwierzyliśmy, że wielkie liczby i statystyki zagwarantują nie tylko oszczędność czasu i pieniędzy, ale także uczciwość. Czy na pewno?

Uwierzyliśmy, że wielkie liczby i statystyki zagwarantują nie tylko oszczędność czasu i pieniędzy, ale także uczciwość. Czy na pewno?

Budzik dzwoni o ósmej. Za godzinę mam rozmowę kwalifikacyjną w dużej firmie. Przed wyjściem machinalnie, jak zwykle, przeglądam Facebooka. Algorytm usłużnie podsuwa mi wybrane wiadomości od znajomych i reklamy. W jaki sposób zostały wybrane? Nie wiem tego, poza niejasną świadomością, że odpowiadają mojemu profilowi. Na rozmowie kwalifikacyjnej wypełniam test osobowości i predyspozycji zawodowych. Jak będą obliczane jego wyniki? Nie mam pojęcia, być może nie wie tego nawet zajmujący się moją sprawą HR-owiec. On otrzyma tylko liczby, a może same interpretacje. Nadaje się lub nie nadaje. Po rozmowie kwalifikacyjnej trzeba załatwić ubezpieczenie samochodu. Dzwonię do agenta. Czemu tak drogo? Algorytm tak wyliczył. Po chwili wydzwania opiekun klienta z banku. „Możemy panu przyznać tylko połowę wnioskowanego limitu na karcie kredytowej. Ale… Mam dla pana ofertę szybkiej gotówkowej pożyczki w wysokości…”. Odkładam słuchawkę. Ukoi mnie Spotify. Serwis przygotował już dla mnie składankę utworów, które na pewno będę lubił.

Algorytmy są wszędzie. Wiara w potęgę liczb ma swoją długą historię. Z pewnością jednym z kamieni milowych był XIX-wieczny, Weberowski model idealnej biurokracji, według którego bezosobowe ramy prawne i proceduralne miały zapewnić bezstronność i skuteczność podejmowanych decyzji. Kolejne kryzysy Weberowskiego modelu ukształtowały model Nowego Zarządzania Publicznego (New Public Management) – zorientowanego na wyniki, osiąganie rezultatów określonych wymiernymi wskaźnikami. Tak ukierunkowana kadra zarządzająca w publicznych i prywatnych jednostkach z radością przywitała nadejście epoki Big Data. Uwierzyliśmy, że wielkie liczby i statystyki zagwarantują nie tylko oszczędność czasu i pieniędzy, ale także uczciwość. Czy na pewno?

Wielkie liczby, wielkie rozczarowanie

CathyO’Neil w 1999 r. otrzymała tytuł doktora matematyki na Harvardzie. Po ośmiu latach, pełna szczerych intencji i wiary w moc wielkich liczb, zdecydowała się zrezygnować z pracy naukowej na rzecz świata wielkich finansów. Dwa lata pracowała w funduszu hedgingowym D. E. Shaw. Tam zetknęła się z zastosowaniem zaawansowanej matematyki w procesie podejmowania decyzji wpływających na gospodarkę i – co za tym idzie – na losy pojedynczych osób. Ta praca na zawsze odmieniła jej myślenie. Rozczarowanie, które przeżyła, sprawiło, że zaangażowała się w ruch Occupy Wall Street. Przyjrzała się też bliżej algorytmom rządzącym życiem przeciętnego Amerykanina. Efektem tych studiów jest wydana w 2016 r. książka „Weapons Of Math Destruction” („Bronie matematycznego rażenia/zniszczenia”).

Kryzys mieszkaniowy, upadek wielkich instytucji finansowych, wzrost bezrobocia – wszystkie te zjawiska nie miałyby miejsca, gdyby nie matematycy i magiczne wzory, będące w ich posiadaniu

Krach rynku finansowego uświadomił mi, że matematyka, która kiedyś była dla mnie ucieczką, jest nie tylko wplątana w problemy świata. Ona sama je napędza – pisze O’Neil. – Kryzys mieszkaniowy, upadek wielkich instytucji finansowych, wzrost bezrobocia – wszystkie te zjawiska nie miałyby miejsca, gdyby nie matematycy i magiczne wzory, będące w ich posiadaniu.Te ogromne moce, które kiedyś uwielbiałam, pozwoliły na mariaż matematyki z technologią, który pomnaża chaos i nieszczęście – dzięki niemu systemy, które okazały się wadliwe, zyskały ogromną skalę i efektywność.

Czym są bronie matematycznego rażenia? O’Neil w kolejnych rozdziałach swojej książki podaje wiele przykładów algorytmów i modeli matematycznych, które w Stanach Zjednoczonych regulują różne sfery życia – od systemu szkolnictwa, przez rynek pracy i ubezpieczenia aż do wielkich transakcji finansowych. Od początku istnienia są one przyjmowane z wdzięcznością przez społeczeństwo. Opinia publiczna wierzy, że mają naukowe podstawy; wierzy w ich efektywność, przejrzystość i uczciwość. Jak się okazuje, wszystkie te zalety przy głębszej analizie okazują się nieraz wątpliwe. Zwłaszcza dwie ostatnie.

 

Grzechy główne algorytmów

W 2007 r. nowo wybrany burmistrz Waszyngtonu, Adrian Fenty, postawił sobie za cel obiektywną ocenę funkcjonowania szkół. Aby zrealizować ten plan, zastosował nowoczesne narzędzie ewaluacji nauczycieli oparte na „modelu wartości dodanej”. Ocena opierała się na dwóch filarach: na zbiorze opinii kadry zarządzającej szkoły i szkolnej społeczności (uczniów i ich rodziców) oraz na wyniku efektywności nauczania, wyliczanym przez tajny algorytm. Ocena algorytmiczna miała wyższą wagę. Cathy O’Neil prześledziła losy jednej z nauczycielek, Sary Wysocki, którą społeczność uważała od lat za znakomitego pedagoga. Mimo doskonałych opinii ze strony dyrekcji i uczniów system przyznał Wysocki bardzo niską łączną liczbę punktów, co skończyło się zwolnieniem z pracy. Dlaczego?

Tu dochodzimy do pierwszej niebezpiecznej cechy „broni matematycznego rażenia”. O’Neil nie bez powodu mówi o „magicznych wzorach”. Tego typu algorytmy są bowiem ściśle strzeżoną tajemnicą firm, które je tworzą. Wysocki bezskutecznie próbowała dowiedzieć się, jakie cząstkowe wartości składają się na jej ogólną, niską ocenę. Algorytmu nie rozumieli ani jej przełożeni, ani nikt inny poza firmą konsultingową, która go stworzyła. Utajnienie składowych jest z punktu widzenia twórców modelu uzasadnione – jeśli byłoby wiadomo, w jaki sposób obliczana jest punktacja, osoby oceniane mogłyby nią manipulować. Ale nie tylko – mogłyby też w łatwy sposób kwestionować wyniki. Tymczasem od algorytmu nie ma odwołania. Większość ludzi, onieśmielonych wyższą matematyką, nawet nie decyduje się protestować. Ten fakt z kolei prowadzi do utrwalania błędów. Werdykty modelu są niepodważalne, a zatem jeżeli nawet tkwi w nim błąd, to istnieje duże prawdopodobieństwo, że nikt go nie poprawi.

Druga istotna cecha algorytmów korzystających z Big Data to ich skomplikowanie. Samo w sobie nie jest ono złe, wręcz przeciwnie – ma zapewniać maksymalną obiektywność i wzięcie pod uwagę wszystkich możliwych czynników. Złożoność waszyngtońskiego modelu wiązała się z bardzo trudnym zadaniem, jakie postawili twórcy – algorytm miał zmierzyć postępy uczniów i obliczyć, w jakiej części można je przypisać pracy danego nauczyciela. W tym celu konieczne jest zastosowanie wielu zmiennych. Jednak to dążenie do obiektywności ma swoją ciemną stronę – bardzo trudno poprawić błędy. Jakakolwiek modyfikacja wymaga zaangażowania wielu osób. Dopiero regularnie powtarzające się, poważne problemy mogą spowodować, że zespół wysokopłatnych specjalistów – naukowców i technologów odpowiedzialnych za model – zostanie zaangażowany do jego zrewidowania. Tymczasem pozornie drobny błąd może prowadzić do błędnych decyzji, a co gorsza – zrujnować czyjeś życie. Dobrze funkcjonujący algorytm (warto zauważyć, że O’Neil nie neguje możliwości istnienia takiego modelu) musi jednak być nieustannie korygowany w oparciu o informację zwrotną; musi uczyć się na własnych błędach. Większość omawianych przez autorkę algorytmów nie ma wbudowanej takiej możliwości. Model definiuje własną rzeczywistość i stanowi uzasadnienie dla jej istnienia, stając się swego rodzaju perpetuum mobile. Jeżeli uczy się, to sam od siebie – rzadko umożliwia rewizję poprzez wpuszczenie w obieg świeżych danych, nieraz związanych z zupełnie innymi obszarami rzeczywistości.

Te ogromne moce, które kiedyś uwielbiałam, pozwoliły na mariaż matematyki z technologią, który pomnaża chaos i nieszczęście – dzięki niemu systemy, które okazały się wadliwe, zyskały ogromną skalę i efektywność

W przypadku Sary Wysocki to błędne koło okazało się jedną z głównych przyczyn fatalnej oceny. Wysocki pracowała z uczniami pierwszej klasy szkoły odpowiadającej polskiemu gimnazjum, a więc „dostawała” nowych uczniów ze szkół podstawowych. Tamtejsi nauczyciele byli już świadomi, że burmistrz planuje masową wymianę kadr. Intuicyjnie zdawali sobie sprawę, że oceny uczniów będą ważną składową algorytmu, dlatego starali się, by ich podopieczni otrzymywali jak najwyższe noty na egzaminach – nie zawsze w sposób uczciwy. Wysocki zauważyła, że w poprzednim roku oceny uczniów szkół podstawowych wyglądały na zawyżone, dlatego też ich postęp w kolejnym roku w gimnazjum okazał się niewielki. Początkowo nie było żadnych dowodów na manipulowanie ocenami w szkołach podstawowych. Kilka lat później śledztwo dziennikarskie Washington Post i USA Today wskazało, że nauczyciele w tym okresie faktycznie poprawiali egzaminy swoich uczniów. Algorytm jednak pozostaje niewrażliwy na takie wahania.

Oczywiście nie ma systemów idealnych. Można jednak dążyć do ideału i istnieją różne sposoby, by udoskonalać algorytmy. Od początku artykułu mówimy o Big Data – wielkość zbiorów danych stosowanych w modelach ma zapewnić, zgodnie z regułami statystyki, małe prawdopodobieństwo błędu. Jednak samo określenie „Big Data” bywa w przypadku algorytmów także mylące. Wadą „broni matematycznego rażenia” bywa fakt, iż za skomplikowaniem samych wzorów nie idą odpowiednio duże próby badawcze. W przypadku analizy pracy pojedynczego nauczyciela wyniki oparte są na analizie postępu najwyżej kilkudziesięciu jego podopiecznych. Aby możliwa była rzetelna statystycznie analiza pracy nauczycieli – pisze autorka – potrzebne byłyby testy na tysiącach losowo wybranych uczniów. Takie podejście pozwala na wyeliminowanie odstępstw od normy. O’Neil krytykuje „bronie matematycznego rażenia” właśnie za niesprawiedliwe karanie tych jednostek, które są wyjątkiem od reguły.

Nawet największa złożoność algorytmu nie pozwala na wzięcie pod uwagę wszystkich czynników. Model musi być więc z konieczności uproszczony. Wspomniany algorytm oceny nauczycieli w Washington DC w małym stopniu uwzględnia kwestie ważne, a niedające się wprost przełożyć na wskaźniki – na przykład angażowanie uczniów we wspólną pracę, pomoc nauczyciela w osobistych czy rodzinnych problemach. Także inne modele opisywane przez O’Neil biorą pod uwagę tylko część rzeczywistości. Gdy brakuje danych jednoznacznie wskazujących na to, czego szukają użytkownicy, szuka się zamienników lub danych przybliżonych. Model jest tylko abstrakcyjną reprezentacją rzeczywistości. Jego dokładność zmniejsza się, gdy badany obszar rzeczywistości jest bardziej złożony lub nie poddaje się łatwej kontroli. Wiąże się z tym kolejne ograniczenie. Modele – nawet te uczące się – zawsze wykorzystują dane z przeszłości, a więc u ich podstaw stoi milczące założenie, że dotychczasowe trendy będą kontynuowane. Jednakże rzeczywistość nie zawsze kształtuje się zgodnie z trendami. Między innymi stosowanie tego założenia spowodowało, że mało który analityk przewidział międzynarodowy kryzys finansowy lat 2007–2008.

Dodatkową cechą modeli matematycznych stosowanych w firmach i instytucjach jest ich ogromna skala. Modele rosną w nieskończoność w postępie geometrycznym, a wraz z nimi rosną drobne, niezauważalne pierwotnie błędy. Taka sytuacja powoduje zjawisko, które O’Neil uważa za najbardziej niebezpieczne. Nazywa je „pętlą informacji zwrotnej” – powoduje ono szybkie utrwalanie negatywnych zjawisk i różnych form dyskryminacji. Algorytmy są jednym z wyrazów makdonaldyzacji społeczeństwa, o której pisał George Ritzer. W zmakdonaldyzowanym świecie liczy się optymalizacja, a sama ilość zastępuje jakość. Człowiek jest trybem w maszynie – ale przecież nie dlatego, że twórcy tego świata są z założenia antyludzcy. Ich najważniejszym celem jest szybki efekt, oszczędność czasu i pieniędzy. Dlatego wg O’Neil „bronie matematycznego rażenia” uderzają przede wszystkim w tych, którzy pieniędzy nie mają i stosowane są tam, gdzie konieczna jest szybka i tania obróbka masowa. Dobrze prosperujące przedsiębiorstwo przy ocenie pracowników nie musi uciekać się do algorytmów – ma wystarczające zasoby czasu i pieniędzy, by każdego kandydata ocenić indywidualnie podczas bezpośrednich spotkań lub okresu próbnego.

Poważniejsze konsekwencje

Edukacja, jakkolwiek ważna, to tylko wierzchołek góry lodowej. Na stosunkowo prostym przykładzie Sary Wysocki przedstawiłem kilka najważniejszych cech algorytmów: tajność, skomplikowanie, oparcie na niewystarczająco wysokich próbach, pętla informacji zwrotnej i obliczenie na szybki efekt. Te same problemy z algorytmami wpływają na wiele sfer, od marketingu poprzez szkolnictwo wyższe, sądownictwo, rynek pracy, aż do świata finansów.

To, jaka reklama wyświetli się na ekranie Facebooka, zależy od tego, czy użytkownik jest w zdefiniowanej przez reklamodawcę grupie odbiorców – brane pod uwagę są takie cechy jak płeć, miejsce zamieszkania, przedział wiekowy oraz zainteresowania (czyli dotychczasowe polubienia stron i profili). Cathy O’Neil, podkreślmy, nie potępia w czambuł wszystkich algorytmów. Najpopularniejsze formy użycia, takie jak marketing internetowy, nie zawsze mają charakter broni matematycznego rażenia. Z pewnością dotyczą jednak ogromnych mas, co jest wg O’Neil czynnikiem wysokiego ryzyka. W Polsce z Facebooka w 2016 r. korzystało 15 milionów osób. Inne badanie wskazuje, że z oprogramowania blokującego reklamy korzysta 36 proc. Polaków. Można zatem oszacować, że wyświetlane przez Facebooka reklamy ogląda codziennie 9,6 mln polskich internautów.

„Bronie matematycznego rażenia” uderzają przede wszystkim w tych, którzy pieniędzy nie mają i stosowane są tam, gdzie konieczna jest szybka i tania obróbka masowa

Marketing oparty na algorytmach zaczyna robić się niebezpieczny, kiedy wśród zmiennych definiujących potencjalny „target” pojawiają się cechy negatywne, problemy, trudności w różnych dziedzinach życia. O’Neil wskazuje, że ci internauci, którzy mają problemy finansowe (co ujawniło się np. w ich historii wyszukiwania) bardzo szybko zostają wręcz zalani ofertami pozornie korzystnych kredytów-chwilówek. I tu znów mamy do czynienia z błędnym kołem – korzystanie z tego typu instrumentów finansowych zazwyczaj prowadzi do drastycznego zwiększenia długu. Usłużny marketing online podsuwa kolejne możliwości wysokooprocentowanych pożyczek – i błędne koło się zamyka. W USA, jak wskazuje O’Neil, tego typu problem dotyka sfery kredytów studenckich – algorytmy kierują ich reklamę przede wszystkim do osób, których po prostu nie stać na naukę – osób z najbiedniejszych dzielnic miast (wyznaczanych na podstawie kodu pocztowego), imigrantów czy tych, którzy już wcześniej klikali na ogłoszenia dotyczące kredytów-chwilówek niezwiązanych ze studiami.

Jak widać, największymi ofiarami algorytmów są osoby z grup defaworyzowanych. O’Neil wskazuje wiele przykładów. Mówi o algorytmie wspomagającym podejmowanie decyzji w sądownictwie. Ułatwiając sędziom ferowanie wyroków, wskazuje tło rodzinne, miejsce zamieszkania i otoczenie społeczne podsądnego. Osobie pochodzącej z biednej dzielnicy, otoczonej ludźmi wchodzącymi na co dzień w konflikt z prawem, grozi wyższy wyrok, choć wszystkie te kwestie mogą nie mieć żadnego wpływu na czyn, o który jest podejrzewana. W ten sposób człowiek nie jest już traktowany jako indywiduum, ale jako członek takiego czy innego plemienia. A wyższy wyrok oznacza większe prawdopodobieństwo pogorszenia jego sytuacji.

Ważną cechą algorytmów jest ich – typowe dla zmakdonaldyzowanego społeczeństwa – ukierunkowanie na szybki efekt. Opisywany przez O’Neil algorytm wspierający akcje policji wyróżniał obszary miasta, w których popełniano najwięcej przestępstw. W te rejony kierowano następnie najwięcej policjantów. Efekt faktycznie pojawiał się – zatrzymywano coraz więcej osób popełniających drobne przestępstwa typowe dla biednych dzielnic: wandalizm, używanie narkotyków, zakłócanie porządku publicznego. Dane układały się w jasny portret, a słupki rosły, podczas gdy morderstwa i oszustwa dużej skali pozostawały niezauważane.

Wziętym z rynku pracy przykładem „pętli informacji zwrotnej” są modele stosowane przez duże przedsiębiorstwa do wyszukiwania najlepszych potencjalnych pracowników. Sprawdzają one chociażby, czy potencjalny pracownik ma wysoką wiarygodność kredytową, czy płaci swoje kredyty i rachunki na czas. Tymczasem – pisze O’Neil – wielu odpowiedzialnych i pracowitych ludzi spotykają nieszczęścia, które wpływają negatywnie na ich zdolność kredytową. Stosowanie tego kryterium jest także przybliżeniem, które nie tylko może być krzywdzące, ale także przyczynia się do utrwalania złej sytuacji. Potencjalny pracownik ze względu na zaległości w płaceniu rachunków i niską zdolność kredytową otrzymuje na teście mniej punktów i nie zostaje przyjęty do pracy. Bezrobocie pogarsza jeszcze jego sytuację, co z kolei powoduje, że jego szanse na zdobycie pracy maleją. Błędne koło zdaje się nie mieć końca – a pracodawcy nigdy nie dowiedzą się, ilu dobrych pracowników stracili przez zastosowanie uproszczonego wnioskowania. Pragnienie oszczędności w ten sposób obraca się przeciwko nim.

Sfera bankowości i finansów wydaje się największym obszarem wpływu algorytmów. Przede wszystkim system oceny wiarygodności kredytowej naszpikowany jest elektronicznymi rozwiązaniami. Co prawda, jak wskazuje O’Neil, wiele z tych algorytmów ma stosunkowo jawny charakter, jednak stopień ich skomplikowania i wykorzystania różnorodnych mechanizmów jest coraz większy. Algorytmy biorą pod uwagę chociażby wzory dokonywania zakupów; na podstawie kodu pocztowego miejsca zamieszkania klasyfikują potencjalnego kredytobiorcę do grup bogatszych lub biedniejszych.

Osobie pochodzącej z biednej dzielnicy, otoczonej ludźmi wchodzącymi na co dzień w konflikt z prawem, grozi wyższy wyrok, choć wszystkie te kwestie mogą nie mieć żadnego wpływu na czyn, o który jest podejrzewana

Swoistym rodzajem broni matematycznego rażenia, o czym O’Neil mówi w wywiadzie dla „The Guardian”, jest system sondaży politycznych. Wykorzystuje on naturalną skłonność obywateli do głosowania na tych polityków, którzy zajmują w sondażach wysokie miejsca. Z kolei poparcie obywateli powoduje dalszy wzrost słupków w sondażach – i koło się zamyka. Inni, słabsi medialnie – choć niekoniecznie mniej kompetentni – pozostają zmarginalizowani. Czym wyższe wyniki w sondażach, tym więcej mówią o danym polityku media; czym więcej słychać o polityku w mediach, tym częściej jest on postrzegany jako wiarygodny, choćby przekaz na jego temat był negatywny. Ponadto – jak wskazuje O’Neil – dla większości obywateli mechanizmy sondaży są niezrozumiałe, więc rzadko decydują się na krytyczne podejście (wyjąwszy sytuacje znaczącej rozbieżności między wynikami sondaży a wynikami wyborów, co miało miejsce w Polsce podczas wyborów samorządowych w 2014 r.).

W Polsce algorytmy służą m.in. przyznawaniu finansów publicznych (np. subwencji oświatowej czy środków Funduszu Pracy).  Program algorytmów i kwestionariuszy, dotyczący interwencji w przypadku przemocy domowej, wdrażany był w Ministerstwie Spraw Wewnętrznych i Administracji w 2014 r. Policjanci mieli identyfikować ryzyko przemocy domowej na podstawie 13 pytań, z których 10 dotyczy – przynajmniej częściowo – przeszłości („Czy sprawca leczył się psychiatrycznie?”, Czy sprawca kiedykolwiek groził lub próbował popełnić samobójstwo?”), co potencjalnie grozi wpadnięciem w pętlę informacji zwrotnej.

Co robić?

Nie unikniemy algorytmów, ale możemy – tam, gdzie tylko się da – uczłowieczać je przez ich udoskonalanie i wyeliminowanie niewinnych ofiar, a po drugie – przez ograniczanie ich użycia. Trudno jednak tego dokonać, gdy z wykorzystaniem matematycznych broni wiążą się tak duże zyski. O’Neil sugeruje zatem różne formy kontroli stosowanych algorytmów.

Pierwsza, w praktyce zapewne mało skuteczna, lecz warta wspomnienia, należy do domeny etyki. To apelowanie do sumieńnaukowców zajmujący się wykorzystaniem danych. Dwóch specjalistów od modeli finansowych, Emanuel Derman i Paul Wilmot, opracowało przysięgę analogiczną do przyrzeczenia Hipokratesa. Oto jej tezy, przytaczane przez O’Neil:

  • Będę pamiętał o tym, że nie stworzyłem świata i że świat nie dopasuje się do moich równań.
  • Choć będę śmiało wykorzystywać modele do szacowania wartości, nie będę pod nadmiernym wrażeniem matematyki.
  • Nigdy nie będę poświęcał rzeczywistości dla prostych i eleganckich wyjaśnień, nie wyjaśniwszy najpierw, dlaczego tak zrobiłem.
  • Nie będę dawać ludziom, którzy wykorzystują mój model, fałszywych pociech co do jego precyzji. Zamiast tego przedstawię jego założenia i możliwe błędy.
  • Rozumiem, że moja praca może mieć olbrzymie skutki dla społeczeństwa i gospodarki – wielu z nich nigdy nie zrozumiem.

Jednak, jak wskazuje O’Neil, etyczne rozwiązania działają tylko na tych, którzy kierują się w życiu moralnością. Szefowie wielkich firm, dążący przede wszystkim do osiągnięcia wyników, nie zrezygnują z nacisków na tworzących “bronie matematycznego rażenia” naukowców. Konieczna jest zatem zmiana prawa i kontrola społeczna. Stosowane algorytmy powinny podlegać społecznemu lub państwowemu audytowi.

Błędne koło zdaje się nie mieć końca – a pracodawcy nigdy nie dowiedzą się, ilu dobrych pracowników stracili przez zastosowanie uproszczonego wnioskowania. Pragnienie oszczędności w ten sposób obraca się przeciwko nim

Przede wszystkim należy ocenić, w jakim stopniu algorytmy prowadzą do ukrytych kosztów społecznych. Drapieżny marketing kredytów-chwilówek może prowadzić do wzrostu przychodów w branży finansowej, ale jednocześnie wiąże się z kosztami społecznymi związanymi ze zubożeniem kredytobiorców. Zatem jednym z najważniejszych kryteriów oceny algorytmów jest ich wpływ zarówno na grupy w nich ujęte, jak i na inne powiązane obszary gospodarki lub społeczeństwa. W ramach audytu należy też dokładnie przyglądać się wszelkim uproszczeniom i proponować rozwiązania bardziej złożone, ale umożliwiające zmniejszenie liczby niewinnych ofiar (uproszczenie jest cięższym grzechem niż skomplikowanie, choć oba te grzechy mogą występować jednocześnie).

Od twórców algorytmów należy wymagać, by poprawiali je na bieżąco na podstawie otrzymanej informacji zwrotnej. Odwrotną stroną pętli negatywnej informacji zwrotnej powinna być pętla pozytywnej informacji zwrotnej, umożliwiająca naukowcom korygowanie algorytmów tak, by były coraz bardziej sprawiedliwe.

Poza audytem O’Neil proponuje, by zapewnić możliwie największą jawność i przejrzystość algorytmów. W przypadku firm prywatnych będzie to z pewnością trudne do osiągnięcia. Dlatego według  autorki istotną rolę w regulacji algorytmów powinien odgrywać rząd. Należy jednak pamiętać, że państwowe starania o uczciwe algorytmy i ich kontrola wymaga zaangażowania wielu różnych instytucji – mediów, organizacji pozarządowych, a przede wszystkim środowiska akademickiego, które jako jedyne w pełni jest w stanie zrozumieć złożoność broni matematycznego rażenia. Ważne też, by dążenie do uczciwości poprzez działania państwa nie przerodziło się w kolejny poziom kontroli – dla której z czasem, w miarę coraz większego skomplikowania procesów kontrolnych, kolejni naukowcy wymyślą kolejne algorytmy.

główny ekspert do spraw społecznych Nowej Konfederacji, socjolog, publicysta (m.in. "Więź", "Tygodnik Powszechny"), współwłaściciel Centrum Rozwoju Społeczno-Gospodarczego, współpracownik Centrum Wyzwań Społecznych Uniwersytetu Warszawskiego, Fundacji Pole Dialogu i Ośrodka Ewaluacji. Główne obszary jego zainteresowań to rozwój lokalny i regionalny, kultura, społeczeństwo obywatelskie i rynek pracy. Autor i współautor wielu publikacji, np. "Pomysłowość miejska. Studium trajektorii realizacji oddolnych inicjatyw mieszkańców Warszawy"(Fundacja Pole Dialogu 2017). Autor powieści biograficznej "G.K.Chesterton", eSPe 2013).

Komentarze

12 odpowiedzi na “Bronie matematycznego zniszczenia”

  1. Piotrek pisze:

    Bardzo ciekawy artykuł.
    Od siebie dodam, że obecnie Dyrektywa WE 95/46/WE, a za nią nasza ustawa o ochronie danych osobowych w art. 26a przewiduje zakaz wydawania ostatecznego rozstrzygnięcia sprawy osoby tylko na podstawie danych przetwarzanych automatycznie.
    Powyższy zakaz powinien mieć ogromne znaczenie np. we wszystkich sytuacjach, gdzie ubiegamy się o kredyt/ leasing, a jest praktycznie w Polsce niestosowany.

    Co do samej “mocy matematyki”.
    Nie jestem zwolennikiem opierania się wyłącznie na algorytmach, które zastępują pracę ludzi. Moje obawy są tym większe, gdy nawet twórca algorytmu nie zawsze rozumie swoje dzieło i nie jest w stanie zweryfikować jego funkcjonowania.
    Z drugiej strony nie można zapominać, że każda ewaluacja dokonywana przez człowieka również obarczona jest istotnym ryzykiem błędu.
    Popieram więc postulaty wzywające do większej przejrzystości stosowanych rozwiązań, możliwości odwołania się od decyzji wydanej wyłącznie na podstawie wskazań algorytmu, jak również do umożliwienia użytkownikom świadomego wpływania i modyfikowania działalności algorytmów w stosunku do tych użytkowników.

  2. Jolanta Pawlikowska pisze:

    Zainteresował mnie ten artykuł. Intuicyjnie, pamiętam, zawsze miałam zastrzeżenia do mierzenia inteligencji poprzez test IQ. Żartowałam, że mierzy on głównie inteligencję twórcy testu. I jeszcze uwaga polonistyczna: w języku polskim słowo “broń” ma tylko liczbę pojedynczą. Mogą być różne rodzaje broni, ale nie “bronie”.

  3. Realista pisze:

    A może rozwiązaniem jest komputer kwantowy:

    https://www.youtube.com/watch?v=tp69FoLhubU

  4. Jeśli wbijając gwóźdź, walniemy się w palec, to winny jest młotek. Tak odbieram myśl przewodnią tego artykułu. To nie narzędzia są winne, ale ci, którzy je stosują. Ci, którzy piszą algorytmy, robią to na podstawie wytycznych opracowanych przez całe sztaby „specjalistów”. To nie algorytmy są tutaj winne, ale wiara w ich skuteczność przy próbach oceny czegoś, czego nie da się zmierzyć. Poziom nauczania czy kwalifikacje do objęcia stanowiska, są tego przykładami. Ta wiara jest częścią ogólnego procesu „cyfryzacji” naszego życia. Coraz więcej decyzji jest dzisiaj podejmowana automatycznie – właśnie na podstawie analiz przeprowadzanych przez algorytmy. Artykuł jest także przykładem kompletnego niezrozumienia tego procesu i jego konsekwencji dla nas wszystkich. Nie obwiniam tutaj autora! Przedstawiciele nauk ścisłych, tworzący technikę, nie rozumieją procesów społecznych. Humaniści nie mają pojęcia o technice i o jej możliwościach. Dodatkowo, i jedni i drudzy, są zafascynowani nową techniką i nowym, wspaniałym światem, jaki ona tworzy. Nie bez powodu posłużyłem się tutaj tytułem znanej dystopii Huxleya, bo ta fascynacja nie pozwala dostrzec ciemnych stron tej techniki. Moim zdaniem zbyt mało się mówi o niebezpieczeństwach, jakie niesie ze sobą Internet, bo to on jest właśnie głównym elementem tego procesu. To, co jakiś czas temu, napisałem na ten temat, można traktować jako komentarz zarówno do tego artykułu, jak i do całego tematu miesiąca:
    https://pecuniaolet.wordpress.com/2016/04/22/siec-wolnosci/
    https://pecuniaolet.wordpress.com/2016/12/08/internet-jako-pole-walki/
    https://pecuniaolet.wordpress.com/2017/06/09/staniemy-sie-towarem/

    • Waldemar Korczyński pisze:

      W samo sedno, choć chyba trochę za mocno. A myślał Pan by przekazać to np. Ministrom Nauki i Szkodnictwa Wyższego oraz Oświaty? Bo to ich poprzednicy do tego doprowadzili, a obecni władcy tych resortów dzielnie to dzieło kontynuują.

    • wkurzony pisze:

      Brawo. Przecież to absurd spod hasła “ciężarówka przejechała ludzi” i “guns kill people”

  5. Jan K. pisze:

    Największe zagrożenie widzę w tym, że pod płaszczykiem obiektywnosci i “naukowości objawionej” przedstawianej prostemu ludowi – można tak konstruować algorytmy, by służyły realizacji z góry obranego celu. Mówię tu oczywicie o algorytmach związanych z funkcjonowaniem sektora publicznego.

  6. Skoro banki są organizacjami zaufania publicznego to jakim cudem mogą mieć tajne zasady działania? zapraszam na blog:
    https://thinktankpolska.blogspot.com/?view=classic

  7. Piotr pisze:

    Artykuł ciekawy, ale końcowy wniosek (autorki książki) – przerażający. Jeśli uważa ona, że “istotną rolę w regulacji algorytmów powinien odgrywać rząd”, to tak, jakby capo di tutti capi” zrobić sędzią w procesie mafiosów. Państwo (politycy/służby) wykorzysta algorytmy do inwigilacji. Ale oczywiście z ustami pełnymi frazesów o uczciwości i etyce całego procesu.

  8. exomed pisze:

    Bardzo ciekawy artykuł. Trafia w samo sedno. Proszę więcej takich artykułów.
    —————–
    zamki ortodontyczne

  9. Waldemar Korczyński pisze:

    Artykuł niesie fałszywa sugestię, iż to matematyka, tak saute, jest z natury swojej szkodliwa dla “szarego człowieka”. Ergo, facet (albo i niewiasta) niekumaty z matematyki jest jako decydent (np. polityk) lepszy, bo nie jest tym świństwem skażony. I wszystko byłoby OK, gdyby nie : (1) niedopowiedziany fakt, że mowa jest nie tyle o matematyce, co o jej używaniu do opisu świata. Niby do tego tylko się ona (poza rozrywkami umysłowymi dla matematyków) nadaje, ale warto pamiętać, że nikt jeszcze innego RACJONALNEGO (tj. dającego się przetwarzać w miarę intersubiektywnie) opisu nie wymyślił. To tak jak z demokracją; jest fatalna, ale nic lepszego na dziś nie mamy. (2) Każdy opis skończony jest z konieczności ułomny. Problemem nie jest jego ułomność, lecz NIEUZASADNIONA wiara w jego doskonałość. Gdyby w szkole nauczano nie RACHUNKÓW, a matematyki właśnie, problem by pewnie nie istniał, bo od dziecka rozumielibyśmy różnicę miedzy rzeczywistością (czymkolwiek by ona nie była) a jej modelem.(3) obarczanie winą za używanie matematyki do “przekrętów” czy inszych wynaturzeń przypomina wspomniane w tej dyskusji obwinianie młotka za stłuczony przy wbijaniu gwoździa palec czy portfela, za to, że go jakiś złodziej ukradł. Ale dobrze, ze taki temat wypływa; może ludzie zechcą o matematyce pogadać? Byle tylko nie skończyło sie na narzekaniu na algorytmy i przetwarzanie “big data”

  10. z grubsza pisze:

    Społeczeństwa Zachodu uległy demoralizacji, błądzą jak we mgle zagubione jednostki, a narzędzi samozagłady jest coraz więcej, są coraz bardziej dostępne.

    Bez odnowy moralnej – czyli powrotu do zasad i wartości sprzed Oświecenia, będzie coraz gorzej.

    Człowieczeństwo skurczyło się do mikro rozmiarów, a nie długo zniknie – będzie można ludzi jak w Matrixie zamienić w bateryjki i podłączyć do maszynki szczęścia (swoją drogą okazałoby się czy filmowcy mieli rację – czy świat ludzi musi być naznaczony cierpieniem i hierarchią, żeby przetrwał).

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Zobacz