Překladač z Matfyzu dohání v kvalitě běžné překladatele

„V zaslepeném testu byl náš překladač CUBBITT hodnotiteli označen sice jako v průměru o něco méně plynulý, ale obsahově mírně přesnější než překlady lidské,“ říká jeden z jeho tvůrců a hlavní autor studie, již publikoval  přední vědecký časopis Nature Communications, Martin Popel z Ústavu formální a aplikované lingvistiky MFF UK.

S překladačem CUBBITT jste zvítězil v mezinárodní soutěži už v roce 2018. Díky čemu byl nejlepší?
Již v roce 2016 se ve strojovém překladu používala technika takzvaného back translation, kdy se neuronová síť trénuje na dvou zdrojích dat – autentických (anglických větách přeložených lidmi do češtiny) a syntetických (českých větách strojově přeložených do angličtiny). My jsme ale stávající postup vylepšili tím, že jsme se zaměřili na to, jak se tyto dva zdroje dat míchají dohromady. Do té doby se neuronová síť překladačů trénovala na obou typech dat najednou. My jsme náš překladač trénovali na autentických a syntetických datech zvlášť, čímž jsme dosáhli celkově lepších výsledků.

Jak vás to napadlo?
Vlastně náhodou. Jednou se mi totiž stalo, že mísení dat zůstalo omylem vypnuté, a když jsem tedy poté přepnul na jiný typ dat, všiml jsem si, že tato „chyba“ způsobila okamžitý růst úspěšnosti překladače.

Čím to?
Díky vyvážení. Kdybychom trénovali jenom jedním nebo jenom druhým způsobem, dostali bychom překladače s odlišnými specifickými silnými a slabými stránkami. Ale díky našemu postupu, kdy modely z obou typů dat nakonec zprůměrujeme, se jejich silné stránky spojí.

A slabé nikoli?
Podle všech výsledků, které jsme nechali hodnotit i profesionálními překladateli, se prokázalo, že se kvalita našeho překladu opravdu zlepšila.

Jak dlouho se této problematice věnujete? Neuronové sítě se ve strojových překladech začaly využívat poměrně nedávno.
Strojovým překladem se zabývám od dob magisterského studia a deset let jsem pracoval na překladači TectoMT, který ale ještě nevyužíval neuronové sítě a takzvané hluboké učení, kdy se trénují stále hlubší a hlubší vrstvy neuronových sítí. Tuto metodu představili vědci na konferenci v roce 2015. Vybavuji si, jak se na ně řada mých kolegů, včetně mě, tak trochu blahosklonně dívala. Jenže další rok už neuronové překladače vyhrály soutěž ve strojovém překladu (WMT 2016 - Conference on Machine Translation). V červnu 2017 pak vyšel převratný vědecký článek, v němž byla popsána nová architektura neuronových sítí Transformer, která způsobila revoluci v mnoha oborech – ve zpracování přirozeného jazyka, obrázků, hudby… Pro mě byl impulzem a poslední kapkou k tomu opustit po deseti letech vývoj překladače TectoMT a zaměřit se právě na Transformer.

V čem byl tak odlišný?
Hodně zjednodušeně řečeno neuronová síť do té doby pracovala tak, že překládala větu zleva doprava – od začátku do konce četla jednotlivá slova, něco si z nich zapamatovala a nějak je zpracovala. Pokud tam ovšem byly vztahy mezi slovy, která jsou hodně daleko od sebe, bylo pro ni obtížné je objevit a v překladu uplatnit. Oproti tomu Transformer se dívá na celou větu naráz.

S Transformerem jste se seznámil v roce 2017 a o rok později už jste díky němu měl „svůj“ překladač, který vyhrál v anglicko-českém překladu v mezinárodní soutěži WMT. To muselo být hodně nečekané.
Ta soutěž byla výjimečná tím, že do ní organizátoři poprvé zařadili i lidský překlad. A nejenomže můj překladač porazil všechny ostatní strojové překladače, on byl dokonce v jistých směrech signifikantně lepší než lidský překlad. Nemohl jsem tomu uvěřit. Proto jsem se rozhodl zpracovat na toto téma seriózní studii a najmout si vlastní anotátory, kteří budou překlad hodnotit opět v zaslepené studii (nevěděli, kdo věty překládal) a za ještě přísnějších podmínek.

Jakých?
Naše studie je unikátní tím, že jsem anotátorům předložil kompletní text v angličtině a k němu jeho český překlad – jeden strojový a jeden lidský. Dosud se hodnotily pouze izolované věty – bez kontextu dokumentu, v našem případě novinového článku. Mně přišlo, že to není férové, protože docházelo ke dvěma druhům zkreslení. Vezměte si například slovo cousin – z jedné věty nemusí být jasné, zda jde o bratrance nebo sestřenici. Za takovouto chybu nemohli hodnotitelé strhnout strojovému překladu body. A naopak penalizovali lidský překlad za něco, co se jim zdálo jako chyba, ale kdyby si přečetli celý článek, zjistili by, že šlo o správný překlad.

Počítačový cluster MFF UK strávil celé týdny zpracováváním více než sto milionů českých a anglických vět.

Jak studie probíhala?
Vzorek anglických novinových textů byl přeložen překladačem CUBBITT a nezávisle na něm také profesionálními překladateli z překladatelské agentury. Šlo o stejný vzorek textů a stejné překlady, které již předtím vybrali organizátoři zmíněné soutěže WMT 2018. Kvalita výsledných automatických i ručních překladů byla následně hodnocena patnácti českými rodilými mluvčími, které jsme najali my – šest z nich byli profesionální překladatelé a tři translatologové. Ti měli posoudit přesnost a plynulost překladu. Výsledkem bylo, že automatický překladač sice nepatrně pokulhával za lidskými překladateli v hodnocení plynulosti, byl ale v průměru o něco přesnější, pokud jde o obsahovou správnost překladu.

Bylo by možné využít váš překladač i pro beletrii?
Kdokoli si to může vyzkoušet – máme ho volně dostupný na webových stránkách. Stačí vložit text a algoritmus ho přeloží do zvoleného jazyka. Domnívám se ale, že v případě beletristického překladu bude mít horší výsledky než lidský překlad.

Proč?
Kniha je literární dílo a překladatel je svým způsobem také jeho autorem. Musí vystihnout náladu, ducha, což se mu nepodaří jen tím, že správně přeloží význam slov.

Spoluautory studie jsou mimo jiné vaše sestra a švagr, kteří se ale strojovým překladům nevěnují. Čím do ní přispěli?
Stejně jako já vystudovali Matfyz, ale více je lákala medicína. Teď žijí v Oxfordu. Sestra se věnuje výzkumu rakoviny a epigenetiky a její manžel kardiologii, kde kombinuje výpočetní modelování arytmií s experimentálním výzkumem v laboratoři. Mají skvělé matematické myšlení a umí pracovat s velkým množstvím dat, což je i principem vývoje překladače CUBBITT, který „operuje“ s 58 miliony anglických a českých větných párů. Přesně kladenými otázkami, ačkoli neznali kompletní lingvistickou problematiku, mi pomohli si celý problém ujasnit a nahlédnout na něj zvnějšku.

Mají také zkušenosti s publikováním v časopisech tohoto formátu, a navedli mě na jiný styl psaní. Já byl zvyklý psát především konferenční příspěvky, které jsou sice důležité, ale pořád určené pouze úzkému okruhu lidí. Časopis Nature Communications publikuje články srozumitelné i vědcům z jiných oborů. Je zde proto nutné přesně zvažovat každé slovo a zároveň přijít s něčím opravdu průlomovým. Naší velkou výhodou bylo, že tématika strojového překladu je relevantní pro všechny. Každý někdy musí pracovat s textem v jazyce, jemuž nerozumí.