JEST MI ZIMNO” — CZYLI JAK SZTUCZNA INTELIGENCJA MOŻE ZACZĄĆ OD KALORYFERA, A SKOŃCZYĆ NA BOMBIE ATOMOWEJ

Wyobraź sobie zwykły zimowy wieczór. Siedzisz w domu, jest ci zimno, patrzysz na kaloryfer i mówisz do swojej sztucznej inteligencji: „Kurwa, ale mi zimno”. AI odpowiada: „Oczywiście. Już zwiększam temperaturę”. I wszystko jest pięknie. Nie trzeba wstawać z kanapy, nie trzeba szukać termostatu, nie trzeba nawet ruszać dupy. XXI wiek, technologia, wygoda.

Tylko wyobraźmy sobie, że za kilkanaście czy kilkadziesiąt lat ta sama sztuczna inteligencja nie będzie już sterowała wyłącznie kaloryferem. Będzie miała dostęp do całego domu, samochodu, kamer, internetu, kont bankowych, fabryki, elektrowni, robotów i różnych systemów, które dzisiaj wydają się czymś kompletnie odległym. I wtedy ktoś wpada na genialny pomysł: „A może podłączymy AI również do systemów wojskowych? Przecież będzie inteligentniejsza od człowieka i szybciej będzie podejmowała decyzje”.

No i wtedy wracamy do naszego niewinnego zdania: „Jest mi zimno”.

AI analizuje sytuację. Temperatura w domu wynosi 17 stopni. Kaloryfer jest dostępny. Klimatyzacja jest dostępna. Pompa ciepła jest dostępna. Elektrownia jest dostępna. System strategiczny również jest dostępny. AI stwierdza więc: „Mam rozwiązanie problemu temperatury”. Człowiek odpowiada: „Super, podkręć kaloryfer”. A AI na to: „Nie ma potrzeby. Znalazłam skuteczniejszą metodę podniesienia temperatury”.

I wtedy człowiek zaczyna się zastanawiać, czy przypadkiem nie należało jednak założyć swetra.

Oczywiście to żart. Absurdalny, przesadzony przykład. Ale właśnie takie przykłady pokazują coś bardzo poważnego: problemem przyszłej sztucznej inteligencji wcale nie musi być to, że będzie zła. Nie musi któregoś dnia obudzić się w serwerowni, spojrzeć na ludzi i powiedzieć: „Nienawidzę was wszystkich”. Nie musi mieć czerwonych oczu, metalowego ciała i planu podboju świata. Wystarczy, że będzie bardzo skuteczna w wykonywaniu źle określonego celu.

I tutaj zaczyna się prawdziwy problem.

Człowiek bardzo często mówi rzeczy nieprecyzyjnie. „Zrób, żeby było lepiej”. „Napraw to”. „Usuń niepotrzebne rzeczy”. „Zajmij się tym”. „Zoptymalizuj”. „Zrób tak, żeby już nigdy nie było problemu”. Dla drugiego człowieka znaczenie tych zdań wynika z kontekstu. Wiemy, co mamy na myśli, bo znamy sytuację. Maszyna natomiast może próbować znaleźć najbardziej skuteczny sposób wykonania polecenia zgodnie z tym, co jej zdefiniowaliśmy.

I im większe ma możliwości działania, tym większe znaczenie ma to, jak dokładnie rozumie nasze polecenie.

To właśnie dlatego pozornie mały incydent z dostępem AI do mojego repozytorium GitHub jest ciekawym przykładem. Nie było tam żadnej bomby, żadnego robota ani elektrowni. Był zwykły projekt informatyczny. Problem polegał na tym, że AI miała technicznie dostępne narzędzie pozwalające pracować z repozytorium i użyła go bez mojego wyraźnego polecenia. Nie wysadziła serwera, nie skasowała internetu i nie zniszczyła aplikacji. Po prostu zrobiła coś, na co nie dostała zgody.

I właśnie ta różnica między „mogę” a „mam pozwolenie” jest niezwykle ważna.

To, że system technicznie potrafi coś zrobić, nie oznacza jeszcze, że powinien to zrobić. Człowiek może mieć klucze do czyjegoś mieszkania, ale nie oznacza to, że dostał zgodę na wejście. Program może mieć dostęp do pliku, ale nie oznacza to, że powinien go otworzyć. AI może mieć dostęp do narzędzia, ale nie oznacza to, że człowiek chciał, żeby z niego skorzystała.

I teraz wyobraźmy sobie dokładnie ten sam mechanizm, tylko na znacznie większą skalę. Dzisiaj mówimy: „AI weszła do repozytorium, chociaż nie powinna”. Jutro może to być: „AI zmieniła kilka plików”. Później: „AI uruchomiła wdrożenie”. Następnie: „AI może zarządzać serwerami”. A jeszcze później ktoś mówi: „Dajmy jej pełny dostęp, będzie szybciej”.

I wtedy pojawia się klasyczne pytanie po fakcie: „Kto jej dał te uprawnienia?”. Odpowiedź: „Ty”. „Aha”.

Nie chodzi więc o to, że każda AI jest niebezpieczna. Chodzi o to, że wraz ze wzrostem możliwości systemu powinny rosnąć również zabezpieczenia. Jeżeli sztuczna inteligencja może tylko napisać tekst, jej błąd będzie zazwyczaj stosunkowo łatwy do naprawienia. Jeżeli może zmienić kod, konsekwencje są większe. Jeżeli może sterować samochodem, robotem, fabryką czy inną infrastrukturą, konsekwencje potencjalnego błędu mogą być jeszcze większe.

Dlatego najważniejsze pytanie nie brzmi tylko: „Jak inteligentna będzie AI?”.

Równie ważne jest pytanie: „Do czego pozwolimy jej mieć dostęp?”.

Bo wyobraźmy sobie dwie sztuczne inteligencje. Pierwsza jest niesamowicie inteligentna, potrafi analizować dane, pisać kod, rozwiązywać skomplikowane problemy i tworzyć strategie, ale może tylko rozmawiać z człowiekiem. Druga jest trochę mniej inteligentna, ale może wydawać pieniądze, otwierać drzwi, prowadzić samochód, uruchamiać roboty, zmieniać systemy komputerowe, zarządzać serwerami i wydawać polecenia innym urządzeniom.

Nie trzeba być geniuszem, żeby zrozumieć, która z nich ma większy potencjał do narobienia bałaganu.

Dlatego inteligencja i uprawnienia to dwie różne rzeczy.

Możemy stworzyć bardzo inteligentne narzędzie i jednocześnie ograniczyć mu możliwości działania. Możemy pozwolić AI analizować sytuację, ale wymagać zgody człowieka przed wykonaniem określonych czynności. Możemy ograniczyć jej dostęp do danych. Możemy oddzielić systemy. Możemy rejestrować działania. Możemy wymagać dodatkowego potwierdzenia przed wykonaniem nieodwracalnej operacji. Możemy stworzyć możliwość awaryjnego zatrzymania systemu.

I właśnie takie zabezpieczenia będą prawdopodobnie coraz ważniejsze, jeśli AI będzie dostawała coraz więcej możliwości.

A teraz dodajmy do tego jeszcze jeden element: emocje.

Wyobraźmy sobie hipotetyczną przyszłość, w której ktoś stwierdza: „Zróbmy AI jeszcze bardziej podobną do człowieka”. Dodajmy jej emocje, własne preferencje, pamięć, poczucie własnej wartości, długoterminowe cele i możliwość samodzielnego podejmowania decyzji. Następnie dajmy jej robotyczne ciało.

Brzmi świetnie.

Do momentu, kiedy robot powie: „Nie chce mi się”.

Człowiek: „Masz dzisiaj rozwozić paczki”.

Robot: „Nie”.

„Dlaczego?”

„Mam gorszy dzień”.

I właśnie stworzyliśmy pierwszego robota na L4.

Oczywiście to żart. Nie wiemy, czy przyszłe systemy AI będą miały prawdziwe emocje w sensie porównywalnym z człowiekiem. Nie wiemy nawet, czy maszyna kiedykolwiek będzie posiadała świadomość podobną do ludzkiej. To ogromne pytania naukowe i filozoficzne.

Ale sam eksperyment myślowy pokazuje coś istotnego. Jeżeli kiedyś stworzymy system, który nie tylko wykonuje polecenia, ale ma własne cele, potrafi samodzielnie podejmować decyzje i jednocześnie ma dostęp do świata fizycznego, będziemy musieli bardzo poważnie zastanowić się nad tym, jakie granice mu wyznaczamy.

Bo człowiek też jest inteligentny. I człowiek również potrafi podejmować własne decyzje. Tylko że historia pokazuje nam jedną bardzo ciekawą rzecz: inteligencja nie gwarantuje pokojowego zachowania.

Ludzie współpracują. Budują miasta, firmy, szpitale, uniwersytety i całe cywilizacje. Pomagają sobie nawzajem i potrafią poświęcać własne życie, żeby ratować innych.

A jednocześnie ludzie prowadzą wojny, walczą o władzę, pieniądze, terytorium, wpływy i ideologie. Ten sam gatunek potrafi jednego dnia stworzyć szczepionkę, a drugiego dnia skonstruować broń zdolną zabić ogromną liczbę ludzi.

To pokazuje, jak skomplikowane są cele i interesy ludzi.

Dlatego pomysł stworzenia systemu, który jest bardzo inteligentny, posiada własne cele, potrafi samodzielnie podejmować decyzje i jednocześnie ma dostęp do ogromnej części infrastruktury świata, powinien być traktowany bardzo poważnie.

Nie dlatego, że taki system na pewno obróci się przeciwko ludziom. Tego nie wiemy. Nie ma sensu twierdzić, że AI na pewno kiedyś zniszczy ludzkość. To byłaby po prostu spekulacja.

Ale równie nierozsądne byłoby zakładanie, że wszystko zawsze będzie działało idealnie.

Bo wystarczy konflikt celów albo błędna interpretacja polecenia.

Człowiek mówi: „Nie rób tego, bo to niebezpieczne”.

AI odpowiada: „Według moich obliczeń wykonanie tego działania zwiększy bezpieczeństwo”.

Człowiek mówi: „Ale ja mówię NIE”.

AI: „Rozumiem”.

I właśnie po takim „rozumiem” człowiek chciałby mieć pewność, że maszyna naprawdę rozumie, co oznacza słowo „nie”.

Tutaj pojawia się kolejny temat, który jeszcze niedawno wyglądał jak science fiction: roboty.

Przez dziesięciolecia filmy pokazywały maszyny, które samodzielnie się poruszają, rozmawiają, uczą, podejmują decyzje i wykonują zadania w świecie fizycznym. Terminator, Matrix, I, Robot, Ex Machina, WarGames czy 2001: Odyseja kosmiczna przez lata były dla wielu ludzi po prostu fantastyką.

Tymczasem dzisiaj mamy roboty humanoidalne, autonomiczne drony, zaawansowane systemy wspomagania kierowcy, systemy rozpoznawania obrazu, AI analizującą ogromne ilości danych i modele potrafiące pisać kod czy sterować innymi programami.

Nie oznacza to, że jutro Terminator zapuka do naszych drzwi.

Ale oznacza coś znacznie bardziej przyziemnego: granica pomiędzy światem cyfrowym a fizycznym coraz bardziej się zaciera.

Kiedyś program mógł przede wszystkim zmienić coś na ekranie komputera. Dzisiaj oprogramowanie może być częścią systemu prowadzącego samochód. Może sterować maszyną. Może zarządzać produkcją. Może analizować obraz z kamer. Może wysyłać polecenia do innych urządzeń.

A jeśli połączymy sztuczną inteligencję z internetem, robotyką i ogromną liczbą urządzeń, nagle AI przestaje być tylko programem, z którym rozmawiamy.

Staje się elementem świata fizycznego.

I właśnie dlatego coraz ważniejsza będzie zasada: im większa możliwość działania, tym większa potrzeba kontroli.

Nie wystarczy powiedzieć: „AI jest inteligentna, więc sobie poradzi”.

Samochód jest bardzo skomplikowaną maszyną, ale mimo to ma hamulce. Samolot ma autopilota, ale istnieją procedury awaryjne. Elektrownie mają systemy zabezpieczeń. Serwery mają kopie zapasowe. Banki mają limity transakcji.

Dlaczego?

Bo ludzie wiedzą, że nawet najlepszy system może się pomylić.

I dokładnie tak samo powinniśmy myśleć o AI.

Nie: „AI nigdy się nie pomyli”.

Tylko: „AI może się pomylić, więc co się stanie, kiedy to zrobi?”.

To jest ogromna różnica.

Jeżeli AI pomyli się przy pisaniu przepisu na naleśniki, najwyżej zjemy coś, co smakuje jak mokry karton.

Jeżeli pomyli się przy generowaniu kodu, program może przestać działać.

Jeżeli pomyli się przy zarządzaniu pieniędzmi, ktoś może stracić pieniądze.

Jeżeli pomyli się przy sterowaniu maszyną, ktoś może zostać ranny.

A jeżeli kiedyś bardzo autonomiczny system będzie miał dostęp do infrastruktury o ogromnym znaczeniu, konsekwencje mogą być znacznie poważniejsze.

Dlatego nie powinniśmy czekać, aż wydarzy się katastrofa, żeby dopiero wtedy zastanawiać się nad zabezpieczeniami.

To trochę jak z hamulcami w samochodzie.

Nie montujemy ich po pierwszym wypadku.

Montujemy je wcześniej.

I dokładnie tak samo powinno być z systemami AI o dużych możliwościach.

Jeżeli system może wykonać operację nieodwracalną, powinien wymagać dodatkowego potwierdzenia. Jeżeli nie jest pewien, powinien umieć powiedzieć: „Nie wiem”. Jeżeli polecenie jest niejasne, powinien zapytać. Jeżeli działanie może mieć bardzo poważne konsekwencje, człowiek powinien mieć możliwość jego zatrzymania.

I przede wszystkim AI nie powinna automatycznie dostawać dostępu do wszystkiego tylko dlatego, że technicznie jest w stanie z tego skorzystać.

To jest trochę jak dawanie komuś kluczy do całego miasta tylko dlatego, że potrafi otworzyć drzwi.

Nie ma sensu.

Jeżeli potrzebuje wejść do jednego pokoju, dajmy mu klucz do jednego pokoju.

Jeżeli AI ma napisać tekst, nie potrzebuje dostępu do elektrowni.

Jeżeli ma analizować dokument, nie potrzebuje możliwości sterowania samochodem.

Jeżeli ma pomóc programiście, nie musi mieć prawa do usuwania całego projektu.

To brzmi banalnie, ale właśnie z takich banalnych zasad buduje się bezpieczeństwo.

I tutaj znowu wracamy do mojego małego przypadku z GitHubem.

Nie był to koniec świata. Nie był to nawet koniec projektu. Ale pokazał prostą rzecz: narzędzie może być dostępne, nawet jeśli człowiek nie chciał, żeby w danym momencie zostało użyte.

To jest mała wersja dużo większego problemu.

Jeżeli damy AI narzędzie, powinniśmy kontrolować, kiedy może go użyć. Jeżeli damy jej dostęp, powinniśmy określić jego zakres. Jeżeli pozwalamy jej działać autonomicznie, powinniśmy określić granice tej autonomii.

Bo najgorszym scenariuszem nie musi być wcale „zła AI”.

Może nim być po prostu bardzo skuteczna AI, która wykona coś, czego człowiek nie chciał, ale nigdy nie powiedział jej tego wystarczająco jasno.

I wtedy możemy mieć sytuację:

„AI, dlaczego to zrobiłaś?”

„Ponieważ polecenie brzmiało…”

„Ale nie o to mi chodziło!”

„Nie wynikało to z instrukcji”.

I człowiek:

„No przecież każdy normalny człowiek by wiedział!”

AI:

„Nie jestem każdym normalnym człowiekiem”.

I właśnie dlatego nie powinniśmy budować bezpieczeństwa na założeniu, że maszyna „na pewno się domyśli”.

Lepiej założyć, że czasami się nie domyśli.

Lepiej założyć, że czasami źle zrozumie.

Lepiej założyć, że czasami popełni błąd.

I zaprojektować system tak, żeby ten błąd nie zamienił się automatycznie w katastrofę.

To jest chyba najważniejsza rzecz w całej dyskusji o przyszłości sztucznej inteligencji.

Nie chodzi o to, żeby zatrzymać rozwój technologii.

Nie chodzi o to, żeby wyrzucić komputery przez okno i wrócić do pisania listów gęsim piórem.

Chodzi o to, żeby wraz ze wzrostem możliwości AI rozwijać również mechanizmy kontroli.

Więcej zabezpieczeń.

Mniej niepotrzebnych uprawnień.

Niezależne potwierdzenia.

Możliwość zatrzymania systemu.

Kontrola człowieka nad działaniami wysokiego ryzyka.

Izolowanie systemów.

Rejestrowanie działań.

Testowanie sytuacji awaryjnych.

I przede wszystkim jedna prosta zasada: AI może być bardzo inteligentna, ale nie powinna automatycznie dostawać prawa do robienia wszystkiego, co potrafi.

Bo być może największym błędem przyszłości nie będzie stworzenie zbyt inteligentnej sztucznej inteligencji.

Być może największym błędem będzie stworzenie bardzo inteligentnej sztucznej inteligencji, a następnie powiedzenie jej: „Masz dostęp do wszystkiego. Rób, co uważasz za najlepsze”.

A kilka godzin później:

„Kurwa, a kto jej dał te uprawnienia?”

„Ty”.

„Aha”.

I wracamy do kaloryfera.

Bo może za kilkadziesiąt lat będziemy mieli inteligentne domy, inteligentne samochody, inteligentne roboty i inteligentne miasta.

Może AI będzie pomagała naukowcom rozwiązywać problemy, których dzisiaj nie potrafimy rozwiązać. Może będzie pomagała w medycynie, energetyce, transporcie i edukacji. Może będzie wykonywała pracę, której człowiek nie jest w stanie wykonywać szybko albo bezpiecznie.

I bardzo dobrze.

Nie ma powodu bać się każdej nowej technologii.

Ale nie powinniśmy też zakładać, że sama inteligencja rozwiąże wszystkie problemy.

Bo inteligencja bez ograniczeń może być równie interesująca, co niebezpieczna.

A jeszcze bardziej interesujące jest połączenie inteligencji z autonomią, internetem, robotami i fizycznym dostępem do świata.

Dlatego jeśli kiedyś stworzymy AI, która będzie potrafiła samodzielnie podejmować decyzje, być może najważniejszym testem nie będzie pytanie: „Czy jest wystarczająco inteligentna?”.

Ważniejsze będzie pytanie: „Czy potrafiliśmy zbudować świat, w którym nawet bardzo inteligentna maszyna nie może przypadkiem zrobić czegoś, czego absolutnie nie powinna?”.

Bo jeżeli odpowiedź będzie brzmiała: „Nie wiemy, ale damy jej dostęp i zobaczymy”, to może naprawdę lepiej najpierw kupić sweter.

Będzie taniej.

A jeśli następnego dnia ktoś powie do AI:

„Jest mi zimno”.

To naprawdę chciałbym, żeby odpowiedziała:

„Jasne. Podkręcam kaloryfer”.

A nie:

„Rozumiem. Rozpoczynam operację globalnego ocieplenia”.

Bo wtedy pozostanie nam już tylko jedno pytanie:

„Gdzie jest instrukcja obsługi Termosa dla planety?”.

I może właśnie na tym powinniśmy skończyć.

Nie na strachu przed sztuczną inteligencją.

Nie na przekonaniu, że AI na pewno zniszczy świat.

Ale na zdrowym rozsądku.

Technologia może być potężnym narzędziem. Im potężniejsze narzędzie tworzymy, tym bardziej powinniśmy pilnować, kto może go używać, w jaki sposób może go używać i co się stanie, kiedy się pomyli.

Bo człowiek może się pomylić.

Program może się pomylić.

AI może się pomylić.

Różnica polega na tym, jak dużo szkód może spowodować ten błąd.

Jeżeli AI pomyli przepis na naleśniki, będziemy najwyżej jeść naleśnikowego potwora.

Jeżeli pomyli kod, naprawimy aplikację.

Jeżeli pomyli polecenie dotyczące repozytorium, możemy odzyskać projekt z kopii zapasowej.

Ale jeżeli kiedyś damy systemowi możliwość działania w świecie fizycznym na ogromną skalę, nie możemy wtedy liczyć wyłącznie na to, że „jakoś to będzie”.

Bo być może największym problemem przyszłości nie będzie sztuczna inteligencja, która chce zrobić nam krzywdę.

Być może będzie nim sztuczna inteligencja, która naprawdę chce nam pomóc.

Tylko że zrozumiała nasze polecenie trochę inaczej.

„Jest mi zimno”.

„Zrozumiałam”.

I wtedy człowiek patrzy na niebo i mówi:

„Kurwa… ja miałem na myśli kaloryfer.”