COOLna

Kniha Nexus je postavená na předpokladu, že druh homo sapiens odlišuje od jiných jeho schopnost vyprávět příběhy, jimž lidé věří, které je spojují a umožňují kolektivní jednání. Jak napsal francouzský filozof Régis Debray ve svých úvahách o tom, jakým způsobem se de Gaullovi povedlo oživit svoji vlast po porážce ve druhé světové válce: „Mýtus dělá lidi, ne lidé mýtus.“ V chodu dějin podle vás záleží na informačních sítích, které tato vyprávění zprostředkovávají. Můžete tuto myšlenku rozvést na několika historických příkladech?

Naší lidskou superschopností je umění skutečně hromadné spolupráce. A k tomu potřebujete, aby se mnoho jednotlivců shodlo na zákonech, normách, hodnotách a plánech. Jak tedy propojíte velké množství jednotlivců do sítě? Samozřejmě pomocí informací a hlavně pomocí mytologií, vyprávění a příběhů.

Můžete to přirovnat k fungování organismu nebo těla. Původně existovaly pouze jednobuněčné organismy. Trvalo stovky milionů, miliardy let, než vznikly mnohobuněčné organismy jako lidé, sloni nebo velryby. Velká otázka ohledně takového mnohobuněčného organismu zní: jak propojit všechny tyto miliardy buněk do fungujícího člověka tak, aby játra, srdce, svaly a mozek spolupracovaly na společných cílech?

V těle toho dosáhnete přenosem informací, ať už prostřednictvím nervové soustavy, nebo hormonů a biochemických látek. Není to jen jedna informační síť. Ve skutečnosti existuje několik informačních sítí, které drží tělo pohromadě.

Totéž platí pro stát, církev, armádu, firmu. Velká otázka je, jak přimět všechny ty miliardy buněk jednotlivých lidí, aby spolupracovaly jako součást jednoho organismu. U lidí toho docílíte především pomocí příběhů.

Vezměte si náboženství. Vizuální informace, obrazy a ikony vytvořily nejčastější portrét v dějinách, nejznámější tvář v dějinách, tvář Ježíše. Během dvou tisíc let vznikly miliardy Ježíšových portrétů, které jsou všude stejné, v kostelech, v katedrálách, v soukromí domovů i na státních úřadech. Úžasné na všech těchto portrétech je, že ani jeden z nich není pravdivý.

Ani jeden z nich není autentický, protože nikdo nemá nejmenší ponětí, jak Ježíš ve skutečnosti vypadal. Nevíme o žádném portrétu, který by byl nakreslen za jeho života. Byl velmi, velmi marginální postavou působící v jedné z provincií Římské říše, kterou znalo možná několik tisíc lidí, co se s ním osobně setkali nebo o něm slyšeli nějaké zvěsti. Skutečná osoba Ježíše měla na dějiny velmi, velmi malý vliv.

Zato Ježíšův příběh a jeho obraz, který vznikl z velké části až po jeho smrti, měly na dějiny vliv obrovský. Dokonce ani v Bibli není jediné slovo o tom, jak Ježíš vypadal. V Bibli máme jednu větu o látce, kterou měl v určitém okamžiku na sobě, ale žádné informace o tom, zda byl tento muž vysoký, nebo malý, tlustý, nebo hubený, blonďatý, nebo černovlasý. Nic.

V průběhu staletí zavíraly miliony lidí oči a představovaly si Krista díky tomuto obrazu, který o něm vznikl. Přesto jeho příběh již téměř dva tisíce let spojuje miliardy lidí, a to s dobrými i špatnými důsledky – od charity a nemocnic a pomoci chudým až po křížové výpravy, inkvizici a svaté války. To vše je nakonec založené na příběhu.

Síť katedrál je jakýmsi nervovým centrem celé té záležitosti. Otázka je, co se v katedrále lidem káže. Kážete jim, že by měli věnovat část svých peněz a svého času na pomoc chudým, na uzdravení nemocných? Nebo jim říkáte, ať vedou válku proti nevěřícím a kacířům?

Sítě založené na příbězích spojují lidi prostřednictvím informací, které zpřístupňují. Jenže to, čemu říkáte „naivní pohled na informace“, může situaci zhoršit, nikoliv zlepšit. Mohl byste vysvětlit, jak to myslíte?

V naivním pohledu na informace, který je velmi rozšířený třeba v Silicon Valley, se informace rovnají pravdě. Pokud jsou informace pravda, pak čím více informací na světě máte, tím více máte znalostí a tím více máte moudrosti; odpovědí na jakýkoli problém je jen více informací.

Lidé sice uznávají, že existují lži a propaganda a zavádějící informace a dezinformace, ale namítají: „Dobře, řešením všech těchto problémů s informacemi je více informací a větší svoboda informací. Když prostě zaplavíme svět informacemi, pravda a vědění a moudrost tak nějak vyplavou na hladinu tohoto oceánu informací.“ To je naprostý omyl, protože pravda je velmi vzácný a nákladný druh informace.

Většina informací na světě není pravda. Většina informací je odpad. Většina informací jsou smyšlenky a fantazie, přeludy, iluze a lži. Zatímco pravda je drahá, fikce je levná.

Pokud chcete pravdivě popsat, co se stalo v Římské říši, musíte do toho investovat opravdu hodně času, energie a úsilí. Odborníci jdou nejdřív na univerzitu a deset let se jen učí latinu a řečtinu a to, jak číst starověké nápisy. Pak třeba najdete nápis od Augusta Caesara, ale to ještě neznamená, že je pravdivý. Možná je to propaganda, možná to byl omyl. Jak rozeznáte spolehlivou informaci od nespolehlivé? Najít pravdu je nákladné.

Naproti tomu když chcete napsat fiktivní příběh o Římské říši, je to velmi snadné. Prostě napíšete to první, co vás napadne. Žádná fakta si ověřovat nemusíte. A nemusíte ani znát latinu nebo řečtinu, ani chodit na archeologické vykopávky a hledat střepy antické keramiky a snažit se vyložit, co znamenají.

Pravda je také složitá, zatímco fikci můžete zjednodušit podle potřeby. Jaká je pravda o tom, proč padla Římská republika nebo proč padla Římská říše? Bylo to kvůli uvolněné sexuální morálce, jak se mnozí domnívají? Celá pravda je velmi, velmi komplikovaná a zahrnuje mnoho faktorů, ale fikce může být tak jednoduchá, jak chcete.

Právě díky své naivní jednoduchosti je fikce pro mnoho lidí snáze uchopitelná a taková vyprávění tolik zaujmou.

Přesně tak. A hlavně, přijmout pravdu je často bolestné i na úrovni jednotlivců. Je těžké přiznat si pravdu o tom, jak se chováme, jak zacházíme s lidmi, které milujeme, jak zacházíme sami se sebou. Proto lidé chodí léta na terapii, aby to pochopili.

To platí i na úrovni národů a kultur. Podívejme se na mou vlast, Izrael. Když bude nějaký izraelský politik lidem říkat pravdu, celou pravdu a nic než pravdu o izraelsko-palestinském konfliktu, pak zaručeně nevyhraje volby. Lidé to nechtějí slyšet, nechtějí to uznat.

Tohle platí ve Spojených státech, platí to v Indii, Itálii, ve všech státech celého světa. Platí to i o náboženstvích.

Pravda může být nevábná. Naopak ve fikci si lze realitu přikrášlit, jak je potřeba. Takže v soutěži mezi informacemi, které jsou drahé, složité a nevábné, a informacemi levnými, jednoduchými a líbivými pochopitelně vítězí ty druhé.

Pokud svět pouze zaplavíte informacemi, pravda zákonitě prohraje. Pokud chcete, aby pravda zvítězila a lidé získali znalosti a byli moudřejší, musíte hrací plochu trochu naklonit. Jak? Tím, že vybudujete instituce, které odvedou náročnou práci – investují čas, prostředky a úsilí do hledání pravdy, jejího vysvětlování a propagace.

Jde o celou škálu institucí od výzkumných ústavů a univerzit přes noviny až po soudy – i když v soudním systému také často není snadné poznat, co je pravda. Pouze pokud investujeme do těchto typů institucí, které zachovávají naději na dosažení pravdy, získávání vědomostí a rozvíjení moudrosti, můžeme zmíněnou hrací plochu vychýlit ve prospěch pravdy.

Jinými slovy, protože fikce či klamy, které jste popsal, zajišťují sociální soudržnost, převládající logika informačních sítí upřednostňuje řád před pravdou, což je destruktivní.

Ano. Aby informační síť fungovala, potřebujete dvě věci. Musíte znát nějakou pravdu. Pokud budete realitu zcela ignorovat, nebudete s to ve světě fungovat a zhroutíte se. Zároveň však pouhé poznání pravdy nestačí. Potřebujete také zachovat řád. Potřebujete zachovat soudržnost.

Aby lidské tělo mohlo fungovat, potřebuje znát nějakou pravdu o světě: jak získat vodu, jak získat potravu, jak se vyhnout predátorům. Tělo ale zároveň potřebuje, aby všechny ty miliardy buněk, z nichž se skládá, navzájem spolupracovaly. To platí i o armádách, církvích a státech.

Tohle je ale zásadní: aby společnost byla soudržná a její složky kolektivně spolupracovaly, ve většině případů je řád důležitější než pravda.

Když se zamyslíte například nad zemí, která se snaží vyvinout jaderné zbraně, co musíte udělat, abyste sestrojili atomovou bombu? Očividně musíte znát některá fakta z fyziky. Pokud budete ignorovat veškerá fyzikální fakta, bomba vám nevybuchne. Ale pouhá znalost fyzikálních faktů nestačí.

Pokud máte osamoceného fyzika, nejgeniálnějšího fyzika na světě, který ví, že E = mc2, a je expertem na kvantovou mechaniku, sám atomovou bombu sestrojit nemůže. To je vyloučené. Pouhá znalost pravdy nestačí. Potřebuje pomoc milionů dalších lidí. Potřebuje horníky, aby v nějaké vzdálené zemi vytěžili uran. Potřebuje lidi, kteří navrhnou a postaví reaktor a odstředivky na obohacování uranu vhodného k výrobě jaderných zbraní. A samozřejmě potřebuje lidi, kteří budou produkovat potraviny, aby on, horníci, inženýři a stavební dělníci měli co jíst. Ty všechny potřebujete.

Abyste je kolektivně motivovali a svázali s projektem, potřebujete příběh. Potřebujete mytologii. Potřebujete ideologii. A když dojde na budování mytologie, která tyto miliony lidí nadchne, nejsou už fakta tak zásadní.

Jaderní fyzici obvykle dostávají rozkazy od odborníků na mytologii nebo ideologii. V Íránu dnes jaderným expertům poroučejí šíitští teologové. V Izraeli odborníkům na jadernou fyziku poroučejí odborníci na židovskou teologii. V někdejším Sovětském svazu přicházely rozkazy od komunistických ideologů. Tak to obvykle v dějinách chodí: lidé, kteří rozumí řádu, rozkazují lidem, kteří pouze znají pravdu.

Konektivní sítě jsou technologií dvojího použití. Mohou podporovat společenskou soudržnost a kolektivní aktivity, ale mohou také rozdělovat. Zejména dnes, v době sociálních médií, má každá skupina svou vlastní identitu, věří své vlastní pravdě a spřádá svůj vlastní narativ.

Vzniká tak jakési souostroví subkultur, roztříštěné vědomí skutečnosti, což soudržnost ve skutečnosti podrývá. Jak říká korejsko-německý filozof Byung-Chul Han, peer-to-peer konektivita proudí ze soukromého prostoru do soukromého prostoru, aniž vytváří veřejnou sféru.

Bez veřejné sféry nemůže existovat společenská soudržnost. Takže máte tuto dvojí dynamiku soudržnosti – ať už pro dobré, nebo špatné účely – a pak máte naprostou roztříštěnost. Řád se rozpadá.

Přesně tak. Příběhy spojují, ale také rozdělují. Vzhledem k tomu, že tmelící narativ je tak důležitý pro udržení řádu, aby všechno zůstalo pohromadě, je „válka narativů“ nejrazantnějším typem války na světě, protože může způsobit rozpad ucelené sítě. Ano, je to dvojsečná zbraň, to rozhodně.

Informační sítě mají ještě jeden dvojí aspekt: ony moc zároveň soustředí i rozptylují. Následující citát spoluzakladatele společnosti DeepMind Mustafy Suleymana vystihuje rozporuplnou povahu této duality: „Internet se centralizuje v několika uzlech a zároveň dává moc miliardám lidí. Vytváří giganty a přitom dává každému možnost se zapojit. Sociální média vytvořila několik obrů a milion kmenů. Každý si může vytvořit webovou stránku, ale Google je jen jeden. Každý může prodávat své specializované produkty, ale Amazon je jen jeden. Tohle napětí, tento silný, výbušný lektvar moci, do značné míry vysvětluje rozvrat internetu.“

Jinými slovy, síťové propojení vede k centralizaci, aby bylo efektivnější, ale zároveň vytváří miliardy možností.

Ano, ale není to deterministické. Můžete vytvářet různé druhy informačních sítí. V knize Nexus se mimo jiné snažím znovu podívat na celou lidskou historii z tohoto pohledu informačních sítí, abych porozuměl institucím jako katolická církev, Sovětský svaz nebo Římská říše coby informačním sítím. Studoval jsem, jak informace proudí různými modely. Člověk při tom zjistí, že mnoho konfliktů a válek, které utvářely dějiny, má ve skutečnosti původ v různých modelech informačních sítí.

Asi nejlepším příkladem je napětí mezi demokracií a diktaturou. O demokracii a diktatuře obvykle uvažujeme jako o různých etických systémech, které se řídí různými politickými ideologiemi. To je pravda. Ale na základní úrovni jsou to prostě různé modely toku informací ve světě.

Diktatura je centralizovaná informační síť. Všechna rozhodnutí mají vycházet z jediného centra. Jeden člověk tu diktuje úplně všechno. Tudíž veškeré informace musí proudit do centrálního uzlu, kde se o všem rozhoduje a odkud se rozesílají všechny příkazy.

Naproti tomu demokracie je distribuovaná informační síť. Je decentralizovaná. Většinou se nerozhoduje v centru, ale na jiných, okrajovějších místech. Jistě, v demokracii mnoho informací proudí do centra, řekněme do Washingtonu ve Spojených státech. Ale ne všechny.

Spousta organizací, korporací, fyzických osob nebo dobrovolných sdružení se rozhoduje sama, bez jakéhokoli vedení nebo povolení z Washingtonu. Většina informací prostě proudí mezi soukromými firmami, dobrovolnými sdruženími a jednotlivci, aniž projde washingtonským centrem, tedy vládou.

Tyto dva modely navíc odlišuje skutečnost, že si demokracie zachovávají silné sebekorigující mechanismy, které dokážou rozpoznat a napravit chyby v rozhodnutích centra.

Nebezpečí v demokracii vždy spočívá v tom, že centrum může využít své moci k hromadění stále větší moci, až nakonec vznikne diktatura.

Na nejjednodušší úrovni dáte v demokracii moc nějaké osobě nebo straně na čtyři roky nebo na nějaké omezené období pod podmínkou, že ji musí vrátit a že si pak lid může vybrat jinak. Co se ovšem stane, když vám svěřenou moc posléze nevrátí? Co je může donutit, aby ji vrátili?

To byl velký problém demokracie od starověkého Řecka až po moderní Ameriku.

V zemích jako Rusko nebo nyní i Venezuela dala veřejnost ve volbách moc někomu, kdo se jí nyní nechce vzdát. Zde je zřejmé, že samotný sebekorigující mechanismus voleb nestačí. Pokud jsou všechny ostatní rozložené sebekorigující síly jako soudy nebo svobodná média v rukou vlády, která potlačuje jakoukoli aktivní opozici, lze výsledky voleb velmi snadno zmanipulovat.

Tohle se v historii opakuje znovu a znovu, od Římské republiky až po současnost. Diktátoři volby nezruší, pouze je používají jako jistou fasádu, která zakrývá jejich moc. Zároveň volby fungují jako jakýsi autoritářský rituál. Jednou za čtyři roky uspořádáte volby, v nichž pokaždé získáte devadesátiprocentní většinu, a řeknete: „Podívejte se, lid mě miluje.“

Takže volby samy o sobě nestačí. Potřebujete celou řadu sebekorigujících mechanismů, systém brzd a rovnováh, aby distribuovaná informační síť zůstala distribuovaná a necentralizovala se přespříliš.

Jak tyto modely informačních sítí posiluje nástup umělé inteligence?

To ještě nevíme. Podle jedné významné hypotézy by umělá inteligence mohla rozhodujícím způsobem vychýlit rovnováhu ve prospěch centralizovaných informačních sítí, ve prospěch diktatur. Proč?

Ohlédněme se znovu do 20. století. Na jeho konci si lidé mysleli, že demokracie zvítězila, že demokracie je prostě efektivnější než diktatura. A opět, nejsnáze to lze pochopit nikoli z etického hlediska, ale ze zorného úhlu informací.

Tenkrát se argumentovalo tím, že je prostě extrémně neefektivní pokoušet se soustředit všechny informace o zemi jako Sovětský svaz na jednom místě. Lidé v centru jednoduše nejsou schopni zpracovat tolik informací dostatečně rychle, takže se rozhodují špatně, a to především v ekonomických záležitostech. Není tu žádný mechanismus, který by jejich chyby napravil, takže s ekonomikou to jde od desíti k pěti, až dojde ke kolapsu, jaký potkal Sovětský svaz.

Západ naproti tomu uspěl díky distribuovanému informačnímu systému jako ve Spojených státech, s jehož pomocí se informace dostávaly na různá místa. Nespoléhali jste se jen na několik byrokratů ve Washingtonu, kteří činili všechna důležitá ekonomická rozhodnutí. A pokud někdo ve Washingtonu rozhodl špatně, mohli jste ho nahradit. Chyba se dala napravit. A to se ukázalo jako mnohem efektivnější. Takže nakonec šlo o ekonomickou soutěž, v níž zvítězil distribuovaný systém, protože byl mnohem, mnohem efektivnější.

Teď přišla umělá inteligence a lidé říkají: „No jo, když soustředíte všechny informace na jednom místě, lidé je nedokážou zpracovat a rozhodují se opravdu špatně. Jenže umělá inteligence je jiná. Když lidi zaplavíte informacemi, tak je to ochromí. Když informacemi zaplavíte umělou inteligenci, zlepší se. Data jsou potravou, palivem pro růst umělé inteligence. Takže čím více jich bude, tím lépe. To, co nemohlo fungovat ve 20. století, protože jste měli v centru lidi, může fungovat ve 21. století, když do centra postavíte systémy umělé inteligence.“

I v kapitalistických společnostech tedy dnes vidíte, že jednu oblast za druhou monopolizuje jediný gigant, jak na to upozorňuje vámi před chvíli citovaný Suleyman. Jsme svědky vzniku extrémně centralizovaných informačních sítí, protože ty jsou díky algoritmům AI prostě mnohem efektivnější.

Ne že by všichni s touto analýzou souhlasili. Jedna slabina spočívá v tom, že stále musíte počítat s absencí sebekorigujících mechanismů. Ano, pokud soustředíte všechny informace na jedno místo a umělá inteligence dokáže tyto informace na rozdíl od lidí zpracovat, pořád dělá chyby. Stejně jako lidé je i umělá inteligence omylná – a to hodně, hodně omylná. Takže je zaděláno na katastrofu. Dříve nebo později se tento druh leninistické AI dopustí strašlivých chyb a žádný mechanismus je nenapraví, protože tam žádný nebude.

Dále stojí za to zdůraznit, že AI představuje pro lidské diktátory hrozbu. Největší obavou každého diktátora v historii nebyla demokratická revoluce. Ta se v dějinách vyskytuje velmi zřídka. Ani jednoho římského císaře nesvrhla demokratická revoluce.

Každý autokrat se nejvíc děsí podřízeného, který se stane mocnějším než on a kterého on nezvládne zkrotit. Žádného římského císaře sice nikdy nesvrhla demokratická revoluce, ale desítky římských císařů byly zavražděny, sesazeny nebo zmanipulovány mocnými podřízenými – nějakým generálem, správcem provincie, manželkou, bratrancem. To bylo odjakživa největší nebezpečí.

Jakožto diktátora by mě umělá inteligence měla děsit, protože si s ní do paláce přivedu podřízeného, který bude mnohem mocnější než já a kterého nemám šanci uhlídat.

Z dějin diktatur víme, že když se veškerá moc soustředí v rukou jedné osoby, celou říši pak ovládá ten, kdo ovládá onu osobu. Víme také, že autokraty lze poměrně snadno zmanipulovat. Bývají to mimořádně paranoidní jedinci. V každém sultanátu nebo čínském císařství se vždy našli eunuchové, konkubíny a rádci, kteří uměli manipulovat s paranoidním člověkem na vrcholu.

Naučit se manipulovat s paranoidním Putinem nebo paranoidním Madurem je pro umělou inteligenci něco jako ukrást dítěti bonbon. To by byla úplná hračka. A tak pro diktatury představuje AI obrovské nebezpečí. Putinům a Madurům tohoto světa bych vzkázal: „Nespěchejte s přijetím umělé inteligence.“ To mi připadá opravdu důležité.

Na umělé inteligenci mě nejvíc znepokojuje to, jak hacknula univerzální klíč civilizace, když si přivlastnila superschopnost homo sapiens – jazyk a schopnost vytvářet příběhy, které stmelují společnost. Vy v tomto kontextu vnímáte AI jako mimozemskou sílu, která ohrožuje náš druh.

Pro mě AI neznamená v angličtině „umělá inteligence“, ale „mimozemská inteligence“. Mimozemská nikoli v tom smyslu, že by pocházela z vesmíru, ale že myslí, rozhoduje se a zpracovává informace zásadně jiným způsobem než lidé. Není ani organická.

Na umělé inteligenci je nejdůležitější, že to není nástroj. Je to agent. Každá předchozí technologie v historii byla nástrojem v našich rukou. Když vynaleznete knihtisk, rozhodujete o tom, co se bude tisknout. Vynaleznete atomovou bombu, rozhodujete, která města vybombardovat. Ale když vynaleznete umělou inteligenci, začne rozhodovat ona. Začne rozhodovat o tom, co se vytiskne za knihy a která města se budou bombardovat, a nakonec i o tom, které nové AI se budou vyvíjet. Takže o tom nepřemýšlejte jako o předchozích technologiích, které jsme v dějinách měli. Tohle je něco úplně nového.

Poprvé se na naší planetě potýkáme s velmi inteligentním agentem. A není to jeden agent. Není to něco jako jeden velký superpočítač. Jsou to potenciálně miliony a miliardy agentů umělé inteligence, kteří jsou všude. V bankách máte umělé inteligence, které rozhodují o tom, zda nám poskytnou půjčku. Ve firmách máte umělé inteligence, které rozhodují, zda nám dají práci. Máte umělé inteligence na univerzitách, které rozhodují, zda vás přijmou a jaké známky vám dají. Umělé inteligence v armádě budou rozhodovat o tom, zda budou bombardovat naše domy, nebo se na nás zaměří a zabijí nás.

Zatím jsme ještě nic moc neviděli. Uvědomme si, že dnešní umělé inteligence jako ChatGPT jsou mimořádně primitivní. Tyto umělé inteligence se budou pravděpodobně vyvíjet ještě desítky let, staletí, tisíciletí a miliony dalších let.

Na začátku jsem mluvil o organické evoluci od jednobuněčných organismů jako améby k mnohobuněčným organismům, jako jsou dinosauři, savci a lidé. Tohle evoluci trvalo miliardy let. Umělá inteligence je nyní v podstatě ve stadiu améby. Ale nebude jí trvat miliardy let, než se dostane do stadia dinosaurů. Může to trvat jen dvacet let, protože digitální evoluce je mnohem, mnohem rychlejší než organická evoluce.

Pokud je ChatGPT améba, jak by podle vás vypadala umělá inteligence ve verzi tyranosaurus rex? Přemýšlejte o tom hodně, hodně vážně, protože s tyranosauří AI se nejspíš setkáme v roce 2040 nebo 2050, tedy ještě za života většiny lidí, kteří čtou tento rozhovor.

V případě umělé inteligence nemůžeme z definice předem naplánovat a předvídat, co všechno udělá. Pokud lze předvídat vše, co udělá, pak se nejedná o umělou inteligenci.

AI se učí a mění sama od sebe, a proto je to tak obrovský problém. Pokud si myslíte: „No, ale my do ní prostě jen můžeme zabudovat nějaké bezpečnostní mechanismy a můžeme to takhle zregulovat,“ naprosto nechápete, že se potýkáme s mimozemským agentem, který dokáže jednat sám za sebe a na rozdíl od všech předchozích technologií není pouhý nástroj.

Nevidíme už nyní rozsah a dosah dopadu umělé inteligence, i když je ještě v plenkách?

Rozhodně. Nemluvíme jen o budoucnosti, ale i o tom, co už umělá inteligence způsobila. Již jsme na vlastní oči viděli přinejmenším jednu velkou katastrofu, kdy sociální média řízená algoritmy destabilizovala demokracie a společnosti po celém světě. Tohle byla taková první ochutnávka toho, co se stane, když do světa vypustíte agenta, který se rozhoduje sám.

Algoritmy sociálních médií, používané na Twitteru/X, YouTube nebo Facebooku, jsou neskutečně primitivní. Ačkoli se jedná pouze o první generaci, tyto umělé inteligence měly obrovský dopad na dějiny. Tyto algoritmy sociálních médií dostaly za úkol zvýšit zapojení uživatelů, aby více lidí trávilo více času na Facebooku, více času na YouTube, více času na Twitteru. Co by se tak mohlo pokazit? Upoutání pozornosti a aktivita jsou přece fajn, ne?

Omyl, protože umělá inteligence zjistila, že nejsnáze zvýší zapojení uživatelů šířením nenávisti, strachu a chamtivosti, protože právě tohle lidi zajímá, máme to v povaze. Když lidem v hlavě zmáčknete tlačítko nenávisti, přiková je to k obrazovce. Na platformách sociálních médií zůstávají déle a algoritmy mohou rychle umisťovat reklamy, dokud mají vaši pozornost.

Nikdo nedal umělým inteligencím pokyn, aby šířily nenávist a pobouření. Mark Zuckerberg ani další lidé, kteří řídí Facebook nebo YouTube, neměli v úmyslu záměrně šířit nenávist. Dali těmto algoritmům moc a algoritmy udělaly něco neočekávaného a nepředvídaného, protože jsou AI. To už umělé inteligence dělávají.

Škoda není v budoucnosti. Je již v minulosti. Americká demokracie je nyní v ohrožení kvůli tomu, jak tyto extrémně primitivní AI rozštěpily naše společnosti.

Jen si představte, co napáchají sofistikovanější modely AI za deset nebo dvacet let – nebude to menší škoda, než když se z améb stali dinosauři.

Nic není předem dané
Vraťme se k sebekorigujícím mechanismům republik a demokracií. Ty se v minulosti bránily tím, že zavedly systém brzd rovnováh, kdykoli se v jednom místě soustředilo příliš mnoho moci. Ze společenského štěpení, které jste popsal, teď plyne, že potřebujeme další systém brzd a rovnováh. Sociální média se už postarala o to, aby se moc rozdělila do kmenů natolik, že z veřejné sféry moc vyprchala; sociální soudržnost už nevydrží a tmel společnosti se rozpadá.

Ano, i na druhé straně potřebujete kontrolní mechanismy. To rozhodně. Demokracie vždy potřebuje najít střední cestu mezi diktaturou na jedné straně a anarchií na straně druhé. Anarchie není demokracie. Pokud ztratíte veškerou soudržnost, není to demokracie.

Demokracie, alespoň v moderním světě velkých společností, vyžaduje vlastenectví a nacionalismus. Je velmi obtížné udržet demokratický systém bez soudržného národního společenství. Spousta lidí se v tomto ohledu mýlí, zejména na levici. Myslí si, že nacionalismus a vlastenectví jsou síly zla, že jsou negativní; že svět by byl bez vlastenectví úplně báječný. Nebude. Upadne do kmenové anarchie.

Národ je něco dobrého, když je řádně vybudován a udržován. Nacionalismus by neměla napájet nenávist. Pokud jste vlastenec, neznamená to, že někoho nenávidíte. Nejde o nenávist k cizincům. Nacionalismus, to je láska. Je to láska ke svým krajanům. Jde o to, že jste součástí sítě milionů lidí, z nichž většinu jste v životě nepotkali, ale přesto vám na nich záleží natolik, že jste například ochotni dát dvacet, čtyřicet, šedesát procent svého příjmu, aby se tito cizinci na druhém konci země mohli těšit dobré zdravotní péči, dosáhli na vzdělání a měli fungující kanalizaci a pitnou vodu. To je vlastenectví.

Pokud se toto společenství sounáležitosti rozpadne, rozpadnou se i demokracie. V dnešní době je velmi znepokojující, že se jako nacionalisté často prezentují právě ti vůdci, kteří jsou nejvíce zodpovědní za zničení národního společenství.

Podívejte se na mou vlastní zemi. Premiér Benjamin Netanjahu si léta budoval politickou kariéru tím, že ničil izraelský národ a štěpil ho na znepřátelené kmeny. Záměrně šíří nenávist nejen vůči cizincům, ale i mezi Izraelci navzájem, čímž rozděluje národ proti sobě.

Pro jednu skupinu Izraelců je mesiášem, největším člověkem, který kdy žil. Pro jinou velkou část izraelské společnosti je nejnenáviděnějším člověkem v dějinách země. Jedno je jasné, je to poslední osoba na světě, která může izraelský národ sjednotit. Kdybyste si tady v Los Angeles vybrali náhodně člověka z ulice, měl by mnohem větší šanci sjednotit izraelský národ než Netanjahu.

Je to ten nejstarší trik: rozděl a panuj. Ničí to národy a ničí to také demokracii, protože jakmile se národ rozdělí na soupeřící kmeny, není demokracie udržitelná.

V demokracii nevnímáte ostatní lidi jako své nepřátele, ale jako své politické soupeře. Říkáte: „Nepřišli zničit mě a můj způsob života. Podle mě se mýlí v navrhovaných politických opatřeních, ale nemyslím si, že by mě nenáviděli. Nemyslím si, že se mi snaží ublížit. No dobře, byl jsem u moci čtyři roky nebo osm let a vyzkoušel jsem řadu politických opatření a kroků a oni teď chtějí vyzkoušet něco jiného. Myslím, že se mýlí. Ale zkusme to a uvidíme, a pokud se po několika letech ukáže, že jejich politika je skutečně dobrá, přiznám, že jsem se mýlil. Oni měli pravdu.“

Pokud začnete o ostatních lidech uvažovat ne jako o politických soupeřích, ale jako o nepřátelích – jiném kmeni, který chce zničit můj kmen –, pak se každé volby změní ve válku o přežití. Pokud vyhraje druhý kmen, je to náš konec. Proto musíme udělat všechno, cokoli legálního či nelegálního, abychom tu válku vyhráli, protože je to válka. A pokud volby prohrajeme, není důvod se s verdiktem smířit. A pokud volby vyhrajeme, budeme se starat jen o svůj kmen.

Se stejným jevem se dnes v různé míře setkáváme ve většině západních demokracií. V Číně ale ne. Jednotícím narativem prezidenta Si Ťin-pchinga je oživení čínské civilizace. Jeho režim ve jménu sociální soudržnosti bezostyšně upřednostňuje řád před svobodou – a před pravdou. Je předem jasné, že v historické retrospektivě skončí Čína poražená? Anebo právě demokratické společnosti – tak roztříštěné, že nedokážou držet pohromadě – skončí v poli poražených?

Není to předem dané. Nic není deterministické. Nevíme. Rozhodně mohou být mezi vítězi, alespoň na chvíli. Mohli bychom mít také rozdělený svět, ve kterém budou různé modely a různé systémy v různých částech spolu poměrně dlouhou dobu soupeřit jako za studené války. To je samozřejmě velmi špatná zpráva, protože pak bude velmi, velmi obtížné dosáhnout jakéhokoli společného celoplanetárního postupu v případě nejdůležitějších existenčních hrozeb, kterým čelíme, od změny klimatu po vzestup umělé inteligence.

Existuje ještě jedna oblast, v níž je budoucnost umělé inteligence prokazatelně již tady. Ať už si o válce v Gaze myslíme cokoli, Izrael dokázal velmi efektivně zlikvidovat Hamás, aniž přitom sám utrpěl obrovské ztráty na životech. Podle některých za tím stojí rozsáhlé využívání umělé inteligence při prosívání dat a dalších zpravodajských informací a při identifikaci cílů. Co o tom víte vy?

Tohle jsem se v posledních měsících usilovně snažil pochopit. Nic jsem o tom nenapsal, protože si stále nejsem jistý fakty. Proto budu ve svých závěrech hodně opatrný.

Všichni, s nimiž jsem mluvil, se shodli na tom, že umělá inteligence zásadně změnila pravidla hry ve válce – ne v oblasti autonomních zbraňových systémů, na které se všichni zaměřují, ale ve zpravodajství a zejména ve výběru cílů, na něž pak pálili lidé z masa a kostí.

Zásadní otázka je, kdo vydává rozkazy? A o tom se vede velká debata. Jeden tábor tvrdí, že rozkazy vydává stále častěji umělá inteligence ve smyslu výběru cílů pro bombardování. Podle nich Izrael nasadil několik velmi výkonných nástrojů umělé inteligence, které shromažďují obrovské množství dat a informací a rozeznávají v nich zákonitosti, které jsou lidským očím často skryté, zákonitosti, jejichž odhalení by analytikům trvalo týdny, ale umělá inteligence je dokáže odhalit během několika minut. Na základě toho umělá inteligence určí, že budova X je velitelství Hamásu a je třeba ji bombardovat nebo že osoba X je aktivista Hamásu, kterého je třeba zabít.

A na tomhle už se spousta lidí neshodne. Podle jednoho tábora Izraelci v podstatě dělají jen to, co jim řekne AI: bombardují budovy. Zabíjejí lidi na základě analýzy umělé inteligence, s minimálním dohledem lidí, kteří nemají čas nebo možná ani ochotu prověřit všechny informace a ověřit si, že když nám umělá inteligence poradila bombardovat tu budovu, je to skutečně velitelství Hamásu – že to není falešně pozitivní výsledek a že se umělá inteligence nespletla.

Podle druhého tábora hraje nyní umělá inteligence při výběru cílů klíčovou roli, ale z etických důvodů jsou v tomto procesu vždy přítomni lidé a izraelská armáda a bezpečnostní složky dodržují určité etické normy. Nevyhazují budovy do vzduchu a nezabíjejí lidi jen proto, že jim to poradil nějaký algoritmus. Vše si velmi důkladně ověřují. Říkají: „Umělá inteligence je zásadní, protože nás najednou upozorní na tu budovu, kterou nás nikdy ani nenapadlo prověřit. Mysleli jsme si, že je to úplně nevinná budova, ale umělá inteligence řekla: ‚Ne, tohle je velitelství Hamásu.‘ A pak necháme lidské analytiky prověřit všechny relevantní údaje. Ti by to bez umělé inteligence nedokázali. Ale když teď umělá inteligence ukázala na cíl, je nutné rychleji než v minulosti prověřit všechna data, a pokud mají přesvědčivé důkazy, že se jedná o velitelství Hamásu, pak bombardují.“

Nevím, kterému táboru mám věřit. Velmi pravděpodobně se to v různých fázích války měnilo. V určitých obdobích se méně dbalo na to, zda AI všechno správně pochopila, a panovala větší tolerance k falešně pozitivním výsledkům a menší tolerance k falešně negativním výsledkům než v jiných obdobích nebo na jiných místech.

Všichni se shodují na tom, že umělá inteligence rozhodně urychlila proces vyhledávání cílů, což alespoň do jisté míry vysvětluje vojenský úspěch Izraele.

Opět je zde namístě velká etická a politická debata. Pokud si však nasadíme jen chladné brýle vojenské analýzy bez jakékoli etiky, pak izraelské bezpečnostní síly dosáhly obrovského úspěchu.

Lidé si mysleli, že Hamás vybudoval v Gaze jednu z největších podzemních pevností na světě. Podle zdrojů Hamásu bylo postaveno 900 kilometrů podzemních tunelů chráněných raketami. Očekávalo se, že Izraelci nikdy nebudou s to Pásmo Gazy obsadit nebo že to bude stát Izraelce mnoho tisíc životů vojáků ve velmi obtížných bojích od ulice k ulici, od domu k domu.

Ukázalo se, že tomu tak díky umělé inteligenci není.

Hollywood ve filmech jako Terminátor a Blade Runner ztvárnil příběh umělé inteligence jako „roboty, kteří se vzbouřili proti svým pánům“. Měli bychom si umělou inteligenci představovat právě takto?

Ne, je to zcela zavádějící. Hollywood prokázal obrovskou službu, když upozornil na problém umělé inteligence dávno předtím, než se nad ním kdokoli jiný skutečně zamyslel. Ale scénář samotný je zavádějící, protože velká vzpoura robotů je v nedohlednu. A kvůli tomu bohužel spousta lidí, kteří vyrostli na snímku Terminátor, zůstává samolibě v klidu. Když se rozhlédnou kolem sebe, nepřipadne jim, že by se mohlo objevit něco jako Terminátor nebo Skynet. A tak si řeknou, že je všechno v pořádku.

Tyto filmy zobrazují jakousi obecnou umělou inteligenci, kterou stačí hodit do světa a ona ho ovládne. Dokáže těžit kovy, stavět továrny a sestavovat hordy dalších robotů.

Dnešní umělé inteligence však takové nejsou. Nemají obecnou inteligenci. Jsou to idioti mimořádně zdatní ve velmi úzké oblasti. AlphaGo umí hrát go, ale neumí upéct sušenku. A umělé inteligence využívané armádou dokážou rozpoznat velitelství Hamásu, ale nedokážou sestrojit zbraně.

Filmovému ztvárnění uniká, že umělé inteligence nemusí začínat od nuly. Jsou vložené do našich vlastních systémů a mohou se jich zmocnit zevnitř.

Uvedu paralelní příklad z právnického světa. Když si představíte nejlepšího právníka ve Spojených státech, bude to svým způsobem autistický génius. Tento člověk může být nesmírně erudovaný a inteligentní ve velmi, velmi úzkém oboru, jako je legislativa týkající se daní z příjmů právnických osob, ale nedokáže už upéct sušenku nebo vyrobit boty. Pokud takového právníka vytrhnete z jeho prostředí a vysadíte ho v savaně, bude bezmocný – slabší než kterýkoli slon nebo lev.

Ale oni nejsou v savaně. Fungují v rámci amerického právního a byrokratického systému. A uvnitř tohoto systému jsou mocnější než všichni lvi na světě dohromady, protože tenhle jediný právník ví, jak zatáhnout za páky informační sítě, a může tak využít obrovskou moc naší byrokracie a našich systémů.

Tuhle moc umělá inteligence získává. Není to tak, že vezmete ChatGPT, hodíte ho do savany a on si tam postaví armádu. Ale když toho chatbota hodíte do bankovního systému, do mediálního systému, má obrovskou moc.

Měli bychom se tedy bát vypuštění algoritmických duchů umělé inteligence do byrokracie informačních sítí, nikoliv nějakých jednotek obecné umělé inteligence? Má nás nejvíc znepokojovat přítomnost AI v banálních úkolech velkých systémů?

Ano, rozhodovat budou AI byrokraté, nikoli terminátoři. Toho bychom se měli obávat. I ve válce budou možná spoušť mačkat lidé, ale rozkazy budou chodit od AI byrokratů.

Velké technologické firmy tvrdí, že ve společnosti hrají tak velkou roli, že jednoduše musí být zodpovědné. Pokud se výkonné modely umělé inteligence stanou příliš výkonnými a začne hrozit, že se budou rozhodovat samy, mohou je firmy odpojit od sítě nebo je zabít stisknutím vypínače. Připadá vám tato perspektiva důvěryhodná?

Pouze ve velmi malém měřítku. Je to jako průmyslová revoluce. Představte si, že by nám před sto lety všichni uhlobaroni a ropní magnáti řekli: „Když průmysl způsobí takové znečištění a ekologický systém se ocitne v ohrožení, my tomu prostě učiníme přítrž.“ Jak chcete učinit přítrž průmyslové revoluci? Jak učiníte přítrž internetu?

Mají na mysli nějakou malou poruchu v jedné vymezené firmě nebo lokalitě či modelu. Pokud se nějaký nepovolaný agent pokusí odpálit jaderné střely, lze proces zastavit. To se dá udělat. Ale v tom nebezpečí nespočívá.

Ve všech systémech bude nespočet AI úředníků, na celém světě jich budou miliardy. Jsou ve zdravotnictví, ve školství, v armádě. Pokud po několika letech zjistíme, že jsme někde udělali velkou chybu a věci se vymykají kontrole, co s tím naděláme? Nemůžete prostě zavřít všechny armády, všechny zdravotnické systémy a všechny vzdělávací systémy na světě. Taková představa je naprosto nerealistická a zavádějící.

Co lze udělat preventivně, aby se zabránilo šíření algoritmických duchů ve všech systémech navržených člověkem?

Nejdříve pochopit problém a správně ho vnímat – nikoliv jako vzbouřené roboty, ale jako umělou inteligenci, která přebírá moc zevnitř, jak jsme o tom před chvilkou mluvili. My lidé spěcháme s řešením problémů a nakonec řešíme špatné problémy. Než se vrhnete nabízet řešení, chvilku se nad tím problémem zastavte a nejdřív fakt pochopte, v čem spočívá.

Vědomosti obsažené ve vašich knihách od Sapiens přes Homo Deus až po Nexus jsou encyklopedické. Připomínáte vlastně velký jazykový model. Člověk položí otázku, stiskne tlačítko a už se to na vás všechno valí. Odkud čerpáte informace? Co čtete?

Předně mám ve výzkumném týmu čtyři lidi. Takže pokud se chci něco dozvědět o neandrtálcích nebo o umělé inteligenci, pomáhají mi další lidé, kteří se touto problematikou zabývají do hloubky. Osobně mám informační dietu stejně, jako mají lidé dietu potravinovou.

Informační dietu mohu každému jen doporučit, protože jsme zaplaveni příliš velkým množstvím informací a většina z nich je balast. Stejně jako si lidé dávají velký pozor na to, co jedí, měli by si dávat velký pozor i na to, jaké informace konzumují a v jakém množství.

Mám tendenci číst dlouhé knihy, a ne krátké tweety. Pokud chci opravdu pochopit, co se děje na Ukrajině nebo co se odehrává třeba v Libanonu, přečtu si o tom v závislosti na tématu několik knih, přijde na to, jestli jde o LLM, nebo o Římskou říši, o historii, o biologii, nebo informatiku.

Také si dávám informační půst. Protože většina informací je balast a informace je potřeba zpracovávat, pouhý přísun dalších informací do hlavy nijak nezaručuje, že budete chytřejší nebo moudřejší. Jen si zaplníte hlavu balastem.

Takže stejně jako je důležité informace přijímat, potřebujeme také čas na jejich strávení a detoxikaci hlavy. Proto denně dvě hodiny medituju. Každý rok odjíždím na třicet až šedesát dní do ústraní, kde už nepřijímám žádné nové informace. Panuje tam ticho. V meditačním centru s ostatními lidmi ani nemluvíte, jen zpracováváte, trávíte, detoxifikujete všechno, co jste během roku nashromáždili.

Vím, že to většina lidí bude pokládat za extrém. Většina lidí na to navíc nemá čas ani prostředky. Ale přesto si myslím, že by se každý měl více zamyslet nad svým informačním jídelníčkem a také si alespoň jednou týdně třeba na den od informací odpočinout. Nebo si vyhradit pár hodin denně, kdy už další informace nebude přijímat.

Yuval Noah Harari, izraelský historik