Zabýváme se výzkumem rizik, jež lidstvo podceňuje

„Je potřeba pokládat si zajímavé otázky, které jsou důležité, ale často podceňované. Třeba jak naučit umělou inteligenci opravdu to, co lidé chtějí,“‎ říká odborník na komplexní rizika Jan Kulveit, jenž několik posledních let působil na Institutu budoucnosti lidstva v Oxfordu. Nyní díky interní univerzitní podpoře Primus založil vlastní výzkumnou skupinu v Praze; kromě jiného je také alumnus MFF UK.

Několik posledních let jste strávil v Institutu budoucnosti lidstva na Oxfordské univerzitě. Od letošního ledna díky interní podpoře Primus UK vedete vlastní výzkumnou skupinu v Centru pro teoretická studia (CTS), které je společným pracovištěm Univerzity Karlovy a Akademie věd. Proč právě tam?

Jsem Pražák a Univerzita Karlova je moje alma mater: vystudoval jsem fyziku na Matfyzu. Už když jsem odcházel do Oxfordu, tak jsem uvažoval, že bych se jednou i z osobních důvodů chtěl vrátit. Na Oxfordu mám stále částečný úvazek, ale Primus je skvělá příležitost pro založení vlastní skupiny.

A právě CTS mi připadalo jako ideální místo, protože je stejně jako můj výzkum mezioborové. Navíc CTS má nepřímo vliv i na to, co dnes dělám – před lety jsem chodil k (nedávno zemřelému) Ivanu Havlovi na seminář Přirozené a umělé myšlení, což byla velmi zajímavá směs myšlenek, jež mě později inspirovala i k uvažování nad komplexními sítěmi a přemýšlení o tom, jak lidé uvažují, co je racionalita a tak dále. Myslím, že to byl jeden z těch brzkých impulsů, který mě přivedl ke směru, jemuž se nyní věnuji. Mé současné působení v Centru pro teoretická studia je tak vlastně takový oblouk a návrat k počátku.

Čemu přesně se vaše skupina věnuje?

Zabýváme se výzkumem rizik, která lidstvo z nejrůznějších důvodů podceňuje, což jsou třeba rizika spojená s rozvojem technologií. Svět se dost rychle mění – například před třiceti lety byl internet něčím, co život lidí ovlivňovalo velmi málo. Nyní na internetu trávíme mnoho času a jsme na něm závislí.

Snažíme se však dívat spíše dopředu. Speciálně za důležitou považujeme umělou inteligenci; myslíme si, že to bude transformativní technologie, která změní svět a možná i velmi rychle. Pozitivní potenciál je obrovský – umělá inteligence může mnoho věcí zjednodušit nebo zefektivnit, zautomatizovat velkou část ekonomiky a umožnit růst blahobytu. Zároveň to může přinést rizika, která jsou potenciálně velká a lidstvo jim věnuje málo pozornosti. Nezvládnutí rozvoje umělé inteligence (artificial intelligence, AI) považujeme v horizontu desítek let za dokonce vůbec největší riziko pro lidstvo...

Proč tomu tak je? Možné hrozby tušíme, ale přesto je stejně podceňujeme.

S riziky to je typicky tak, že speciálně pokud se zdají neobvyklá nebo nejsou v čerstvé zkušenosti, tak se podceňují. Dobře je to vidět na pandemii. To, že světu hrozí globální pandemie, která může způsobit ohromné škody, se dlouho vědělo a všichni se shodovali, že je to oblast, jež by potřebovala mnohonásobně větších investic a pozornosti. Zároveň nestačilo, aby se připravila jedna země: do pandemické připravenosti by musel investovat celý svět.

I proto se takovým tématům věnuje málo pozornosti. Jsou totiž tak komplexní, že přesahují horizont uvažování a rozhodování politických reprezentací – za jedno volební období se většinou nic nestane a rozumná příprava působí dojmem vyhozených peněz. Třeba kdyby někdo v roce 2018 navrhoval, aby Česko masivně investovalo do pandemické připravenosti, nebo i jen do hygienické služby, že je potřeba modernizace a větší kapacita, tak to vzbudí negativní ohlasy, že by se za ty peníze raději mělo přidat zdravotním sestřičkám, nebo něco podobného. Lidé dobře chápou rizika v malém měřítku, třeba že je dobré mít v budovách hasicí přístroje a že i když tam ještě nikdy nehořelo, neznamená to, že je to zbytečné, ale je dobré ho tam mít. Ovšem nebývá to srozumitelné ve velkém měřítku.

Zabýváte se obecnými riziky spjatými s technologiemi, ale i těmi zcela konkrétními. Můžete uvést příklady?

Doposud jsme byli zvyklí na prostředí, kde většinu komunikace ve formě jazyka tvořili lidé. To se ale dnes díky strojově tvořeným textům rychle mění. Nové technologie možná brzy způsobí, že budeme žít v prostředí, kde výraznou část interakcí ve formě jazyka budeme mít s algoritmickými systémy. Nás zajímá, co to může způsobit na úrovni kolektivní tvorby názorů nebo porozumění světu. Mnoho informací vnímáme i z formy sdělení. Dnešní jazykové modely umějí už výborně „překládat“‎ mezi různými styly. Umí konkrétní informaci vyjádřit v jazyce voličů té či oné skupiny. To může mít i řadu skvělých použití, například jak se dá sdělení zjednodušit, aby tomu rozumělo i pětileté dítě. Nás zajímá, jaké to může mít efekty a dopady.

Dalším tématem jsou komplexní rizika, kde komplexní myslím ve smyslu komplexních sítí. Tím myslíme, že když má něco mnoho částí, které interagují, tak tam může docházet k jevům, jež vyžadují popis na jiné úrovni. Třeba ve fyzice mohu vodu popsat na úrovni molekul, ale to často není ta úroveň, která by mi prakticky pomohla. V některých případech je lepší například hydrodynamika; popisuje proudění. Podobně, když nás zajímají situace, kdy třeba bude mnoho různých AI systémů interagovat s mnoha lidmi a přitom budeme chtít, aby celý ten systém byl nějak sladěn s lidskými zájmy.

Naznačte, jak váš výzkum „vypadá“‎?

Stojíme u tabule a na ni píšeme nebo kreslíme obrázky. To je i dnes často nejproduktivnější způsob. Fyzická tabule je rozšířením krátkodobé paměti, umožní pracovat s více myšlenkami najednou. Obecně řečeno snažíme se řešené problémy a výzkumné otázky matematizovat – popsat rovnicí. Jinak samozřejmě také čteme články kolegů, a občas píšeme vlastní (usmívá se).

Ve své přednášce na předvánoční konferenci Czexpats in Science, která je dostupná ze záznamu, jste mluvil o tom, že k multidisciplinaritě často přistupujeme špatně. Jak tedy vypadá „dobrá“‎ multidisciplinarita?

Mezioborovost, které moc nefandím, často vypadá tak, že se uměle spojí dva obory, jen aby se mohlo říci, že máme multidisciplinární výzkum. Pro mě zajímavější multidisciplinarita je motivována dobrou a důležitou výzkumnou otázkou, která nepasuje do tradičních oborů.

Jak se bude pohybovat elektron v magnetickém poli mikrovlnky, je jasně otázkou fyziky. Ale jak reprezentovat lidské preference v systémech strojového učení a jak by se tyto systémy měly snažit naučit, co lidé chtějí? Na to nepasuje žádný existující obor, ale mají k tomu co říci informatici, ekonomové, neurovědci, sociologové, psychologové i další. A tak vzniká mezioborový výzkum přirozeně.

Pracoval jste v již zmíněném oxfordském Institutu pro budoucnost lidstva. Co byste poradil dnešním studentům, jak studovat a jak se připravit na budoucnost?

Neexistuje jedna dobrá rada pro všechny. Pro někoho to může být vybrat si dobrého vedoucího, pro jiné začít psát brzy články... Já bych snad mohl poradit to, co fungovalo pro mě: nepokazit si „vkus“, co jsou zajímavá témata k přemýšlení.

Možných témat k řešení je mnoho. Jak si vybíráte, čemu se budete věnovat?

V Oxfordu jsem se zabýval i oborem, kterému říkáme takzvané makrostrategie – snažili jsme se najít, co jsou potenciálně nejdůležitější témata, která jsou opomíjená a nevěnuje se jim příliš pozornosti. Když to uvedu na konkrétním příkladu: lidstvo bude v budoucnu čelit obtížím se změnou klimatu. My si myslíme, že je to důležité, ale když se vezme výzkumná pozornost, tak se tomuto tématu věnuje již poměrně velký počet odborníků, i dost prostředků. Ale například rizika spojená s rozvojem umělé inteligence nebo rizika spjatá s pandemiemi – to jsou také důležitá témata, jež jsou oproti klimatu relativně velmi podhodnocená. Takže vybírám dle toho, co mi přijde zajímavé, důležité, zatím málo prozkoumané, a zároveň mám nějakou představu konkrétního postupu.

Jak vznikal váš univerzitní záměr Primus?

Projekt Primus jsme psali společně s kolegou Tomášem Gavenčiakem (expertem na strojové učení a umělou inteligenci – pozn. red.) a v dané kategorii byl náš projekt ohodnocen jako nejlepší. To nás potěšilo a povzbudilo. Měli jsme trochu obavu, že to, co chceme zkoumat, nezapadá do jednoho tradičního oboru; nevěděli jsme, jak to bude přijato. Financování bereme jako pozitivní signál.

Jan Kulveit je milovníkem kvalitního čaje. V minulosti dokonce spoluzaložil pražskou čajovnu Dharmasala.

Čím byste nalákal studenty a studentky do vaší skupiny?

Záleží, čeho by to byli studenti; třeba pro matfyzáky může být základní motivací, že dobré otázky a problémy reálného světa vedou k zajímavé matematice. Například John von Neumann chtěl porozumět tomu, proč vznikají války, jak matematizovat konflikty, to se mu povedlo a vymyslel teorii her, která má dnes široké uplatnění. Ale zajímavé je to i z té druhé strany, třeba pro studenty filozofie, matematizace se nevyhne žádnému oboru. A ze zcela praktického hlediska: studenty dokážeme zaplatit a nabídnout jim prostředí, které je plně konkurenceschopné komerční sféře. Prostředí CTS i naší skupiny není uzavřené do chlívečků tradic, že „tu již třicet let zkoumáme ten náš miniproblém a každý rok z něho vydolujeme tři další články...“ Jsme otevření, máme hodně spolupracovníků v zahraničí.

Když porovnáte prostředí oxfordského Institutu budoucnosti lidstva a českého CTS, co mají společné a čím se liší? Co se vám v Oxfordu líbilo a chcete si „přivézt“‎ i do Česka?

V Česku například nechybějí chytří lidé, ale občas tu chybí intelektuální ambice. Před pár lety jsem byl na výzkumném retreatu, kde převažovali lidé z amerického MIT a Stanfordu a tématem bylo, když teorie her matematizuje konflikt, zda bychom mohli nějak matematicky modelovat laskavost. Kdyby s tím někdo přišel v Česku, častou reakcí by asi bylo: „To se zbláznil, to je neuchopitelné.“ Na lidech z MIT anebo Oxfordu se mi líbí odvaha pustit se do bádání i v naprosto nečekaných oblastech.

Češi mají dobré nápady, ale často rezignují na to udělat z nich to hlavní, na čem pracují. Místo toho někdy upadají do módu práce, kdy je hlavním cílem vygenerovat pár článků, které vykáží v systému. Chceme přitáhnout více lidí z ciziny; dnešní věda je internacionalizovaná. V tomto bude naše skupina, doufám, velmi podobná Oxfordu. Ale samozřejmě nechceme kopírovat vše – třeba česká schopnost improvizace je skvělá.