COOLna

Před pár lety jsem se zapojil do diskuse s jedním z mých přátel, která vyústila do sporu ohledně toho, zda je Internet jakýmsi malým lidským hivemindem, či nikoliv. Zatímco někteří považovali Internet za pouhý nástroj propojování informací a lidí, já jsem se postavil na opačný břeh spektra tvrzením, že Internet má něco víc – že představuje jakousi kolektivní vědomí. Samozřejmě, že Internet je nástrojem na propojení lidí, ale taktéž zde vzniká emergentním jevem jakási sdílená identita lidstva. Jsem přesvědčen, že tomu tak je a navíc představení velkých jazykových modelů (LLM), jako je například OpenAI ChatGPT, uvádí tento hivemind do dalšího evolučního stádia.

Nejdříve si ale musíme vysvětlit, co hivemind vlastně je. „Hivemind“ je termín, který pochází z biologie a přesněji z oboru chování sociálního hmyzu, jako jsou včely a mravenci, ale i jiní. U těchto druhů se zdá, že kolektivní chování skupiny vykazuje větší inteligenci nebo schopnost řešit problémy než jakýkoli jednotlivý příslušník druhu, znovu se zde setkáváme s emergencí. Skupina hmyzu neboli „úl“ funguje jako jeden celek, přičemž každý jedinec přispívá k celkovým cílům skupiny a z akcí každého jedince vzniká mnohem komplexnější úl, kde například dochází k farmaření hub nebo k chování dobytka.

Emergence (z lat. e-mergere, vynořovat se, vyvstávat) znamená spontánní vznik makroskopických vlastností a struktur složitých systémů, jež není snadné odvodit z vlastností jejich složek. Takové vlastnosti a struktury, jež vznikají z množství poměrně jednoduchých interakcí, se nazývají emergentní.

V technologickém nebo science fiction kontextu se hivemind často používá k popisu formy kolektivního vědomí nebo kolektivní inteligence, kdy více jednotlivců, počítačů nebo jiných entit sdílí své znalosti nebo výpočetní výkon, aby pracovali na dosažení společného cíle. Populární příklady jsou Borgové ze Star Treku, Tyranidi z Warhammer 40k, Zergové ze Starcraftu a mnoho dalších, což jen ukazuje oblíbenost této tropy, která často zobrazuje tento druh negativně.

Technologický/lidský hivemind lze realizovat různými způsoby. Jedním z jednoduchých příkladů může být fórum nebo wiki, kde uživatelé přispívají svými znalostmi a spolupracují na vytvoření komplexní databáze informací. Každý uživatel přispívá svou malou částí, ale celek je větší než součet jeho částí, podobně jako včelí úl. Toto je i můj argument proč Internet je ve skutečnosti počátek lidského hivemindu.

Nekonečná studnice vědomostí a názorů je přístupná komukoliv s připojením internetu. V podstatě ihned můžete kolaborovat s tisíci lidmi z rozdílných koutů světa a z této kolaborace vlastně vznikají společné projekty celého lidstva (např. vědomosti v rámci vědeckých žurnálů, kde vědci sdílí své dílčí poznatky, aby z nich budovali komplexnější poznání světa). Nicméně s příchodem sociálních sítích se tento jev prohloubil a nyní se vzájemně ovlivňuje v rámci celé země.

V primitivní verzi takto fungují a fungovaly i knihy (vytvořili jakousi textovou paměť) a Internet pouze toto sdílení a kolaborování lidí vylepšil.

Dobrým příkladem by mohla být open source intelligence, kterou jsme mohli sledovat na začátku i v průběhu ruské invaze na Ukrajinu. I zde stovky a tisíce lidí spolupracovali, aby postupně odhalovali postup ruských vojsk i jejich zvěrstva.

Děsivějším a také vzdálenějším příkladem hivemindu by také mohla být jakási alterace Muskova Neuralinku, který přímo propojí lidské mysli, ale to vlastně nikdo nechce.

A kam do toho všeho zapadají LLM? Pro to si nejdříve musíme vysvětlit, jak ve skutečnosti fungují. V zjednodušené verzi nabízím přehled/schéma základních principů fungování LLM. Pokud je již znáte můžete je v klidu přeskočit.

Jak pracují velké jazykové modely?
Základním principem LLM je machine learning, což je metoda, o které jste již všichni slyšeli, ale pro potřeby tohoto textu ji představím. Ve své podstatě je machine learning metoda, jak naučit program provádět určitý úkol, aniž by je bylo nutné explicitně programovat. V případě GPT je tímto úkolem porozumění lidskému jazyku a jeho generování. Lze pak stroji pomáhat při učení, nebo ho nechat zcela samostatně se učit a přicházet na věci sám. Prvnímu způsobu se říká supervised learning a druhému unsupervised learning.

Tak jako lidé i modely strojového učení se ale musí z něčeho učit, a to jsou obrovské sady dat. V případě GPT se data skládají z velkého množství textů z internetu. Model prochází tento text a učí se vzory jazyka. Například se naučí, že slovo „kočka“ je často spojováno se slovy jako „domácí mazlíček“, „chlupatý“, „mňoukat“ atd. Učí se také gramatiku a strukturu vět, například to, že věty obvykle začínají velkým písmenem a končí tečkou, otazníkem, nebo vykřičníkem.

Výsledkem tohoto učení jsou vektory (vectors) a váhy (weights).

Vektory: Vektor je ve strojovém učení matematický konstrukt, který může obsahovat soubor čísel. Vektory si lze představit jako body v kodimenzionálním prostoru. Tyto vektory mohou v závislosti na kontextu představovat různé věci. V kontextu jaykových modelů se vektory často používají k reprezentaci slov nebo frází ve formátu známém jako word embeddings nebo word vectors. Každá dimenze vektoru může kódovat různé vlastnosti slova. Jedna dimenze může například kódovat rod slova, jiná jeho číslo (jednotné vs. množné číslo) atd. Takže každé slovo má nakonec spoustu dimenzí.

Když je slovo nebo fráze zadána do modelu, je nejprve převedena na vektor, který pak prochází vrstvami modelu, z nichž každá s ním provádí určité matematické operace na základě vah.

Schéma strojového učení, váhy jsou zde šipky
Váhy: Váhy jsou to parametry, které se model učí během procesu trénování. V kontextu jazykového modelu se váhy používají k určení důležitosti různých vstupů a způsobu, jakým by měly být kombinovány při vytváření předpovědi.

Například při zpracování věty modelem je každé slovo ve větě reprezentováno zmíněným vektorem. Váhy se používají k určení toho, jak velká pozornost (pravděpodobnost) by měla být věnována každému slovu při vytváření předpovědi o dalším slově ve větě. Pokud jsou váhy nastaveny správně, model bude schopen provádět přesné předpovědi a dodávat dobré výstupy.

Během trénování model začíná s náhodnými váhami a poté tyto váhy iterativně upravuje na základě své výkonnosti. Když model provede předpověď, porovná tuto předpověď se správnou odpovědí. Pokud byla předpověď chybná, použije tuto zpětnou vazbu k úpravě vah tak, aby jeho budoucí předpovědi byly přesnější. Tento proces se na trénovacích datech opakuje mnohokrát, což modelu umožňuje naučit se nejlepší váhy pro přesné předpovědi.

GPT také používá něco, čemu se říká transformační architektura (transformers), což je specifický typ modelu strojového učení. Část názvu „transformátor“ odkazuje na schopnost modelu zpracovávat pořadí slov ve větě, což je pro porozumění jazyku zásadní. Například věty „Kočka honila myš“ a „Myš honila kočku“ mají velmi odlišný význam, přestože obsahují stejná slova. Transformátoři jsou schopni tyto rozdíly pochopit díky tomu, že věnují pozornost pořadí slov. Víceméně transformers stojí za dnešním vzestupem LLM a skokově zlepšily výsledky umělých inteligencí po roce 2017, kdy je představil Google.

Při interakci s GPT zadáte vstup (například otázku nebo příkaz) a model vygeneruje výstup na základě toho, co se naučil během tréninku. Model neví ani nerozumí ničemu tak, jak to dělají lidé; jednoduše generuje text na základě vzorců, které se naučil z tréninkových dat. Nemá přesvědčení, emoce ani vědomí. Nemá ani vytvořenou databázi celého internetu, jak se někdy uvádí, nicméně se tato kvanta dat naučil obdobně jako se malé děti učí mluvit z naposlouchování tisíců hodin rozhovorů mezi rodiči.

LLM je Hivemind.
A zde začíná zajímává část. Umělé inteligence a především tedy LLM by mohly v budoucnu představovat takový zjednodušený hivemind lidstva. Důležitým aspektem je, že LLM se učí na našich vlastních datech vytvořenými pouze lidmi. Tudíž v rámci učení LLM vydestiluje obecné poznání/chování lidstva. Propojí každý psaný text a zahrne ho do svého učícího procesu, díky čemuž v podstatě propojí myšlenky a ideje velkého množství lidí a získá tím představu o stavu lidstva. Učící fáze je to důležité v rámci této myšlenky o hivemindu, LLM si nesahá někam do databáze pro vědomosti, ale naučil se je od nás.

GPT-1 byl trénován na 5 GB textových, GPT-2 na 40 GB dat a GPT-3 už byl trénován na přibližně 540 GB dat, což odpovídá asi 300 miliardám slov.  U GPT-4 nebylo publikováno, jak velký dataset byl použit. Je ale jasné, že data nasypána do GPT-4 jsou radikálně vyšší než u GPT-3, jak může dokazovat obrovský nárůst počtu parametrů (z 175 miliard na předpokládáné biliony).

Potenciální rozsah GPT-4 zahrnuje všechny digitalizované knihy lidstva, vědecké články a značnou část blogosféry přístupnou na internetu. Je možné si představit budoucí systémy umělé inteligence, které rychle konzumují veškeré naše textové záznamy a průběžně aktualizují své znalosti, jak píše Ross Anderson pro The Atlantic. Na takovou podobu GPT si budeme muset počkat s tím, jak je náročné a nákladné trénovat a udržovat umělé inteligence už teď
Anderson dále pokračuje s tím, že většina internetových textů není v současnosti ideální pro tréninková data. Budoucí algoritmy by však mohly umělé inteligenci umožnit, aby dodávala smysl našim společným tweetům, popiskům na Instagramu a příspěvkům na Facebooku ve spojitosti i s vědeckými poznatky. Navíc i přes nižší kvalitu těchto zdrojů se v dohledné době nevyčerpají. Dále se také nabízí zpracování audiovizuálního obsahu, což by do určité míry měl zvládat i GPT-4. Internet by v takové chvíli sloužil jako databáze nás lidí a LLM jako její tlumočník či překladatel. S podobnou leč rozdílnou myšlenkou si pohrával i čínský autor Liou C’chin v knížce Věk supernovy (spoiler warning), kdy protagonisté využili umělé inteligence k podpoření rozhodovacího procesu milionů dětí v celé Číně, a tím vytvořili do určité míry přímou demokracii. Umělá inteligence vydestilovala názory všech dětí a poté je tlumočila hlavním představitelům země jako jednotný názor.
Takovýto překladatel by pak ve skutečnosti začal být hivemindem lidstva.

Strangecatch

Udělej mi radost a pozvi mě na kávu. Opravdu mě potěší, když si ji jednou nebudu muset koupit sama.