Neexistuje zázračný program, který zaručí, že naše data budou v bezpečí

Luděk Nezmar: Děkuji za přivítání, přeji dobrý den tobě, i posluchačům Rádia Universum.

Martina: A já ještě doplním, že jsi předsedou Asociace manažerů informační bezpečnosti, a spoluautorem knihy Právo a umělá inteligence.

Luděk Nezmar: Přesně tak.

Martina: Tak už tě známe, a teď nám, prosím, pojď říct, do čeho se to řítíme, nebo jestli tam běžíme s radostným úsměvem, protože nás čeká vysněný pohodlný svět. Než se pustím do tajů, příslibů a rizik umělé inteligence, tak by mě zajímala kybernetická bezpečnost, o které jsme si spolu povídali už několikrát. Řekni mi, existuje už nějaký geniální program, počítač, dokonalý policajt v mobilu, se kterým mohu říct: Má data jsou naprosto v bezpečí?

Luděk Nezmar: Neexistuje, a nikdy existovat nebude. Naše data nikdy v bezpečí nebudou. To je velmi stručná odpověď. A zejména v poslední době, právě s nástupem umělé inteligence, se objevují nové hrozby, které lidé ani nedokážou rozpoznat. Takže si myslím, že celkově spíš došlo k nepřehlednosti celé situace, a ke zhoršení stavu v oblasti kybernetické bezpečnosti.

Martina: Protože je víc hráčů na trhu?

Luděk Nezmar: Spíš bych řekl, protože je mnohem víc přístrojů, softwaru, jinými slovy celý náš život se digitalizuje, a tím pádem i nepřátelé, i kyberzločinci, se z ulic přesunují do světa digitálních technologií.

Martina: Takže jsou mezi námi technologie, které jsme doposud brávali jako velkou fantazii scénáristů filmů? Mám na mysli to, že stojím v kavárně u stolečku, k vedlejšímu si přisedne někdo jiný, oba máme na stole mobil, a protože jsme blízko, tak on si dokáže z mého mobilu zkopírovat veškerá data. Je toto mezi námi?

Luděk Nezmar: Za určitých okolností ano. Pokud člověk není dostatečně na svá data opatrný, tak bezpochyby. Zrovna teď, v poslední době je krásný příklad: Microsoft a jeho Majorana 1, což je skutečně první funkční kvantový čip, před tím už byl Google, ale řekněme, že tady u toho jsme ještě o další úroveň dál. Vývoj v oblasti digitálních technologií je neuvěřitelně rychlý – a naprostá většina lidí si neuvědomuje dopady a změny, které nás čekají.

Vývoj v oblasti digitálních technologií je neuvěřitelně rychlý, a naprostá většina lidí si neuvědomuje dopady a změny, které nás čekají

Martina: Je pravda, že když se tady bavíme o tomto zcizování dat, tak se mi chce říct, že to byla ještě stará poctivá zlodějna. Ale možná nás čekají technologie, které nás budou okrádat především o naše myšlení. Teď se velmi řeší takzvané deepfake technologie, které umožňují vytvářet realistická videa a audia, která mohou manipulovat s jednotlivci, s celým veřejným míněním. Příklady zahrnují falešná prohlášení politiků, nebo podvodné zprávy kolem voleb. Jak moc tyto deepfake technologie ovlivňují náš veřejný život už dnes?

Luděk Nezmar: Já si myslím, že zcela jednoznačně. Kdo z vás sleduje třeba českou scénu deepfakeů, tak velmi zdařilá deepfake videa má Vidlák, který to dělá pro pobavení lidí, ale protože se to dělá, v uvozovkách, na relativně obyčejné mašině, na běžném PC, tak je tam stále ještě vidět, že to není dokonalé. Ale pokud použijete stroj s mnohem větším výpočetním výkonem a s kvalitnějším softwarem, tak samozřejmě nemáte šanci rozpoznat rozdíl. A to není jenom o veřejném životě, kde dopad do politiky může být zcela jednoznačný. Představte si situaci, že sociální sítě zaplaví deepfake video s panem prezidentem Zelenským, který vyhlásí něco, co může ve světě rozpoutat katastrofu – to se klidně může stát -, nebo s Donaldem Trumpem, či Putinem. A úplně stejně se to odráží ve světě businessu. Minulý rok v únoru jedna finanční skupina přišla o 20 miliónů dolarů na základě deepfake videa, kdy si nějaký hacker stáhl z YouTubu přednášky finančního ředitele, to znamená, tím získal obličej a jeho hlas, svolal teamsovou schůzku – protože celá řada organizací se naučila během covidu teamsovat – a přes obličej a hlas toho finančního ředitele rozdal úkoly, včetně několika plateb. A oni samozřejmě poslechli svého šéfa, takže 20 miliónů dolarů odešlo, a už je nikdo nikdy neuvidí.

Martina: Takže tyto technologie jde velmi dobře využívat třeba k nekalé hospodářské soutěži.

Luděk Nezmar: Zcela jednoznačně.

Martina: Ale toto použití je možná ještě nebezpečnější. Když jsi zmiňoval Daniela Sterzika, Vidláka, tak já myslím, že oni chtějí, aby bylo poznat, že to je deepfake, aby to nemohlo být bráno až bůhví jak vážně.

Luděk Nezmar: Zcela souhlasím. A musím říct, že z hlediska parodie má velmi povedená videa.

Martina: Třetí říše je opravdu velmi vtipné video. My jsme se teď pobavili, zasmáli, a v tu chvíli je člověk vstřícný k tomu říct: „Tak, vždyť si lidé hrají. Je to takové neškodné, pro pobavení.“ Ale, řekni mi: Kde je hranice, kdy je to, řekněme, ironie, satira, humor, a kdy to může být trestný čin?

Luděk Nezmar: Já si myslím, že tato hranice se zcela stírá: Trestný čin by to měl být v momentě, kdy to někomu skutečně ublíží, ať už finančně, nebo na jeho reputaci, to si myslím, že je zásadní problém, ale za chvilku nebude možno tuto hranici jasně stanovit, protože bude tak rozplizlá, že bych řekl, že technologie, které vždycky předbíhaly právo, jsou před právem v současné době naprosto na úprku, a to proto vůbec nestíhá.

Dostali jsme se do časů, kdy kvůli AI nelze věřit vlastním očím a uším. To je realita.

Martina: Jaroslav Dušek mi vyprávěl, že o něm vyšly na sítích dvě fejkové zprávy. Ta jedna je, že se zabil v autě. A je tam i nějaký rozhovor s policistou, který říká: „Ano, ano, byl vyproštěn bez známek života.“ A Jaroslav z toho byl trochu vyděšený, protože říkal: „Co kdyby to někdo zavolal mému tátovi. Tátu by z toho kleplo.“ Tak se pokoušel nechat to ze sociálních sítí odstranit, ale nepovedlo se mu to. Myslíš si, že v tomto musíme ještě nějak řešit právní řád, protože tyto zjevně fejkové informace, které mohou způsobit v nejbližších kruzích nějakých paniku, jsme nuceni sledovat, když si prohlížíme třeba Google?

Luděk Nezmar: Přesně k tomu mělo sloužit GDPR, a zákon o zpracování osobních údajů, neukazuje se, že to tak efektivní není, a je to zase zejména kvůli penězům. Jak říkal Friedman: „Za vším hledej peníze.“ A je to z toho důvodu, že digitální platformy nechtějí o tento obsah, který jim generuje sledovanost, přicházet, protože čím jsou sledovanější, tím víc vydělávají na reklamě. To znamená, nečekal bych v tomto případě nějakou extra rychlou reakci. Na druhou stranu, oni to také musí ověřit. Dostali jsme se do časů, kdy nelze věřit vlastním očím a vlastním uším. To je realita.

Martina: Když si přijde Dušek stěžovat, že je mrtvý, tak ověřování možná není až tak náročné. Ale GDPR se nám někde v překladu ztratilo, protože nakonec tato věc, která měla chránit lidskou intimitu, sloužila k tomu, že paní učitelka přestupovala právo, když říkala: „Aničko, k tabuli,“ protože ji před ostatními dětmi už tímto nějak identifikovala. Znamená to, že GDPR nám je v tuhle chvíli úplně k ničemu?

Luděk Nezmar: V této souvislosti bych neřekl, že úplně k ničemu, pokud na tom člověk trvá, tak Google nakonec donutí stáhnout informace, které se člověka týkají. Ale představa, že to je jednoduchý proces, že do formuláře napíšu: „Milý Google, toto je nepravda, stáhni to,“ a Google na to zareaguje, tak takto to bohužel nefunguje. A to si myslím, že je problém.

Martina: Nechci poskytovat návod, ale pro úplnost: Řekni nám, co všechno takovýto plagiátor potřebuje k vytvoření opravdu věrohodného deepfakeu? Kromě příslušného softwaru, který nemusí být asi příliš zdatný, potřebuje vlastně jenom nahrávku tvého hlasu, tvou fotografii, a to je asi úplně všechno?

Luděk Nezmar: Ještě potřebuje nějaký kvalitní, nejlépe herní počítač, na kterém to celé zprocesuje. Ale to je v podstatě všechno. Deepfake si v současné době může udělat téměř každý. A pokud má člověk velmi výkonný mobil, tak koneckonců by to mohl dokázat i na mobilu.

Martina: Zlaté doby, když anonymové na korespondenční lístky lepili moji hlavu k tělu nějaké pornoherečky, a rozesílali to mé rodině.

Luděk Nezmar: Tak teď už to udělají tak, že nelze poznat, že ti toto tělo nepatří.

Martina: No, bylo to poznat – já jsem tam měla čtyřky. Takže, když někdo bude mít žaludek na to, aby se rozhodl někoho pomocí deepfakeu kompromitovat, znemožnit, zostudit, třeba – jak už jsem zmínila – v pornografických pozicích, tak mu stačí fotografie obličeje. A jestliže to chce i se zvukem, tak potřebuje jeden, dva jeho výroky, které daný člověk pronese ve veřejném prostoru.

Luděk Nezmar: Potřebuje kvalitní fotografii, to znamená, nestačí jenom drobné obrázky, které jsou v outlooku, například k identifikaci člověka, od koho přišel email, A nestačí jeden dva výroky s materiálem hlasu, je toho potřeba víc, to znamená nějaký delší projev, třeba přednáška na YouTubu, nebo něco podobného. Přeci jenom je potřeba umělou inteligenci daný hlas naučit, a to přeci jenom trochu trvá. Ještě to není tak, že by stačilo vzít dvacet vteřin nějakého krátkého rozhovoru – tak daleko ještě nejsme.

Martina: Když si to tedy shrneme, tak je zcela oprávněné označit tento jev deepfakeu, a to, čeho můžeme jeho prostřednictvím dosáhnout, za možná jedno z největších nebezpečí současné doby. Protože jakožto zmanipulovaný politik mohu vydat, jak už jsi zmínil, děsivá prohlášení, mohu prodávat a okrádat lidi, třeba jim prodávat škodlivé věci, a to všechno vlastně legálně, protože zatím ještě není žalobce.

Luděk Nezmar: I tak by se to dalo říct. Já si myslím, že přišel čas, kdy je základem používat zdravý selský, nebo se také říká – kritický rozum, protože, opakuji, nelze věřit tomu, co člověk vidí, nebo co slyší.

O našem soukromí už nelze hovořit – je pasé

Martina: To je velmi děsivá představa, že pokud se člověkem nesetkáš přímo z očí do očí, a on ti neřekne: „Neblázni, znáš mě přece, já bych tohle neřekl. Vždyť víš, že bych nehajloval a nevyzýval k záboru pohraničí“, tak nemáš jistotu, jak to vlastně je.

Luděk Nezmar: Tak obávám se, že přijde doba, že i když se člověk s člověkem potká takhle face to face, tak ani to nemusí být technologie – obecně ověření, protože tyto technologie – obecně všechny, nemluvím jen o digitálních – jdou dopředu strašně rychle. Zrovna včera jsem studoval nový software Helix AI, který umožňuje robotům velmi kvalitně rozpoznávat věci, a tyto roboty rozpohybovat. Je tam krásná scéna, kdy člověk dá robotům na stůl nákup – oni tyto věci ještě v životě neviděli – ale jenom na základě právě softwaru, a znalosti této AI, je dokázali perfektně roztřídit, a dát do lednice to, co patřilo do lednice, do ošatky dát ovoce, a skutečně si poradili naprosto perfektně. Takže tyto technologie běží strašně rychle. A jak říkám, většina lidí si neuvědomuje, jak strašně daleko to už je.

Martina: Ty jsi člověk technologií. Naplňuje tě to úžasem, nebo děsem?

Luděk Nezmar: Tak to je hezká otázka. Neděsím se toho, protože se snažím k tomu přistupovat jednak racionálně, a jednak tyto technologie využívat smysluplně. A s úžasem už ani ne, protože se snažím sledovat technologický vývoj. Na druhou stranu si myslím, že člověk, který se tomu nevěnuje, bezpochyby u některých věcí užasne. A celá řada těchto technologií ještě takzvaně není venku, je v laboratořích, a lidé si dopad, který to na ně bude mít, zatím vůbec neuvědomují.

Martina: Rozvoj umělé inteligence určitě přinese sofistikovanější způsoby, jak nás zbavit našich peněz, možná našich firem, naších soukromých dat, a tím pádem, jak nás připravit o pocit, že máme někde soukromí, že ještě někde máš své místo, svou intimní zónu. To asi bude měnit lidskou povahu, a hlavně – lidskou psychiku?

Luděk Nezmar: V současné době už bych o soukromí nehovořil. Troufám si říct, že Google o tobě ví víc věcí, než si ty sama uvědomuješ, takže o soukromí bych vůbec nehovořil. To myslím, že už je pasé. A teď jde spíš o to, jak ještě uchránit nějakou intimitu, nebo něco podobného, ale i to, bych řekl, je otázka času. To je taky důvod, proč jsou velcí technologičtí giganti tak bohatí, protože vydělali všechny své peníze díky nám a díky našim datům. Data jsou něco jako ropa jednadvacátého století: Kdo má data, má šanci uspět. A to není jenom o negativních věcech, jsou i pozitivní věci, kde umělá inteligence může pomoci. Mně třeba ulehčuje to, že už se nenamáhám odpovídat na některé emaily, protože to za mě všechno připraví umělá inteligence, a tyto emaily jsou napsány krásně, a já jenom odkliknu, jestli s tím souhlasím, nebo nesouhlasím. Protože když má člověk za den vyřídit třeba sto, dvě stě emailů, tak mu toto neuvěřitelně pomůže. Ale na druhou stranu, pokud je člověk neopatrný, a nechá číst svá data, informace, umělé inteligenci, která je provozována někým jiným, tak o tato data samozřejmě přijde. Takže jde o to vědět, jak to použít.

Martina: To už je skutečně stav: Vždy ve střehu.

Luděk Nezmar: Zcela jednoznačně. Protože když začínala jezdit auta, tak taky nebyla pravidla, a s nástupem množství aut pravidla a regulace přišly. A úplně stejné to bude s umělou inteligencí. Teď je neuvěřitelně prudký rozvoj, a to jsme zatím stále u křemíkových čipů. Až přijdou kvantové počítače, tak jsme na úplně jiné úrovni. To znamená, že člověk musí být velmi opatrný v tom, jak umělou inteligenci používá. Bacha. Já rád říkám, že to je jako oheň: Dobrý sluha, zlý pán.

Martina: Ale zdá se, že za čas to bude požár, že to není možné udržet v krbu, a už vůbec ne na svíčce.

Luděk Nezmar: Tak pokud to půjde tím vývojem, kterým to běží teď, tak se to samozřejmě stát může, protože se to vymkne – nechci říkat kontrole, ale – rozumnému použití, kdy se to může stát velmi nebezpečnou zbraní.

Martina: K nejnebezpečnějším a nejčastějším kouskům umělé inteligence teď patří takzvaný phishing, což je útok, při kterém se někdo pokouší ukrást naše peníze, nebo naši identitu, či naše údaje tak, že nás přiměje, abychom je my sami rádi dali, protože se tváří věrohodně jako banka, a my jim nadiktujeme čísla kreditních karet, bankovní údaje, nebo hesla, protože to na webových stránkách vypadá velmi legitimně. Stále častěji slyším výzvy: Prosím, neodpovídejte na maily, které vypadají, jakože jsou pravé, ale přesto vás na nich něco zarazí.“ Je to v současné době ještě možné rozpoznat, nebo jsou už lidé masově obíráni?

Luděk Nezmar: Phishing už tady byl dlouhá léta předtím, ještě před umělou inteligencí, ale byly to maily z Nigérie, kdy člověk na první pohled poznal, že se jedná o něco nekalého. V současné době, pokud nechám umělou inteligenci připravit phishingový mail, tak nemám šanci poznat, že se jedná o nekalou věc, pokud nevím, jak takový mail poznat. A já ho reálně dokážu poznat jenom tak, že v hlavičce mailu, kterou musím rozkliknout, uvidím adresu, která bude jiná než ta, ze které má mail přijít.

Martina: Myslíš URL adresu?

Luděk Nezmar: Ne, URL ne. Hlavička mailu znamená, když tam mám nezmar@acresia. com, tak oni klidně můžou udělat to, že tam nechají nezmar@, a místo acresia tam dají ocresia.com, a pak nemám šanci na první pohled poznat, o co se jedná. Navíc spousta lidí má zapnuto pouze zobrazování jména, tedy, že pouze vidí, že přišel mail od Luděk Nezmar, ale nevidí celou adresu. Takže klíčové je koukat se na adresu. Ale na druhou stranu jde vývoj natolik rychle, že v současné době můžu říct umělé inteligenci: „Milá umělá inteligence, připrav mi webovou stránku, která bude vypadat…“, a přesně popíšu, jak má vypadat, a ona mi vygeneruje kód, a celou webovou stránku, během – nechci říct pár sekund, ale řekněme během jedné, dvou minut – a já ji můžu rovnou vzít a spustit. To znamená, že i bez znalosti programování dokážu vytvořit v zásadě z tohoto kódu cokoliv.

Viry v počítači dokážou pomocí AI měnit svou strukturu tak, že je antivirové programy nerozpoznají

Martina: Existují nějaké antivirové, antiphishingové programy, které nás na to upozorní?

Luděk Nezmar: Dva pohledy: První problém je v tom, že si můžete nainstalovat antivirový program, který sice funguje poměrně dobře, to znamená, dokáže viry zachytit, ale na druhou stranu má tato antivirová společnost svou dcerku, organizaci, a sbírá veškerá data o tom, co na počítači děláte, a prodává je reklamním agenturám – což je reálná věc. Není to tak dávno, co jedna velká antivirová společnost za to dostala poměrně velkou pokutu. A druhá věc je, že právě viry, malwary, jsou pomocí umělé inteligence schopny v reálném čase měnit svou strukturu. To znamená, že mail, nebo vir, se dostane tvého počítače, zeptá se umělé inteligence: „Hele, potřebuji, abych stále fungoval takhle, jak to teďka běží, ale potřebuji trošku změnit kód, aby mě to nepoznalo.“ A on se dokáže změnit…

Martina: Umělá inteligence mu poradí.

Luděk Nezmar: Nemusí to být zrovna ta tvá, protože on má v sobě naprogramováno, aby se zeptal někde nějaké konkrétní umělé inteligence, ta mu poradí, dá mu nazpátek informaci, co je potřeba změnit. To znamená, že v počítači zůstane, a antivirový program, pokud je nastaven jen tak, že zná jenom tu strukturu, která se pak změní, tak to v ten moment pustí. Samozřejmě, i antivirové programy začínají používat umělou inteligenci, a na základě nějakých behaviorálních analýz, to znamená chování počítače, a viru, to dokáže poznat. Ale bohužel, hackeři jsou stále o krok napřed.

Martina: To znamená, že hacker za pomoci AI vytvoří velmi rafinovaný virus, a někdo jiný musí za pomoci AI vytvořit protivirus.

Luděk Nezmar: Ano, dostali jsme se do času, kdy spolu bojují umělé inteligence. Dá se to tak říct.

Martina: To znamená, že vlastně bez AI pak nemáme šanci takovýto virus porazit?

Luděk Nezmar: V podstatě ne. Standardní, běžný uživatel nemá moc šancí to poznat.

Martina: Jedině krumpáč – na počítač. Ale to je zase někde na cloudu, takže ani tak ne. Viď?

Luděk Nezmar: Ne. Já si myslím, že je potřeba si uvědomit, že technologie jsou dobrý sluha a zlý pán, a že ne všechno je smysluplné, tedy ani používání těchto technologií tak, že se za každou cenu budeme digitalizovat.

Martina: Vždyť jsme k tomu nuceni. O tom už jsme se také kdysi dávno bavili.

Luděk Nezmar: Já jsem strašně rád, že – pokud se nemýlím – v Senátu přišla iniciativa „Právo žít off-line“. Myslím, že se zrovna paní senátorka Kovářová hodně snaží v tomto věci posunout, protože člověk by měl mít právo žít off-line bez toho, aby ho úřady nutily být digitalizován. Jak starší člověk, který nemá ani chytrý telefon, přijde k tomu, že ho stát nutí, aby se učil něco nového…

Martina: A měl datovou schránku, čímž to si musí pořídit počítač.

Luděk Nezmar: Je jeho právo a svobodné rozhodnutí, aby žil tak, jak chce on.

Banky chtějí vše digitalizovat a zrušit hotovost. Digitální euro je jen otázkou času. Evropská centrální banka je ve třetí fázi implementace e-eura.

Martina: Nutí ho i k tomu, aby měl bankovní účet.

Luděk Nezmar: To je samozřejmě taky špatně. Já myslím, že tady je riziko, protože zájmem bankovního sektoru je věci digitalizovat – to znamená zrušit hotovost – a centrální banky zkoušejí CBDC měny. Třeba Rusko s Indií už díky sankcím obchodují v digitální měně, protože je to pro ně samozřejmě cesta, jak sankce obejít. Takže vnímám, že je otázkou času, než přijde digitální euro. Koneckonců Evropská centrální banka nejenom že je ve fázi pokusů, ale už vstoupila do třetí fáze implementace e-eura.

Martina: Ale v tu chvíli už úplně ztratíme své soukromí, úplně ztratíme svou intimitu, a budeme neustále vysledovatelní kdekoli na světě, když zaplatíme přes internetbanking.

Luděk Nezmar: Ano. Ono není to jenom o tom, že budeme vysledovatelní – tedy toky peněz, to znamená, komu platíme – ale taky za co platíme. A pokud někdo bude chtít, tak nás může v těch platbách omezit, nebo může říct: „Fajn, já teď potřebuji, abyste podpořili nějaký sektor, nebo nějaké území. Takže 20 procent z peněz, které máte na účtě, musíte utratit tam, nebo za to a za to. Nebo naopak, nesmíte utrácet za moc masa, abyste nenechali velkou uhlíkovou stopu.“ Toto nebezpečí tady samozřejmě je.

Martina: Konec osobní svobody, a svobody jako takové.

Luděk Nezmar: Tak si myslím, že toho už jsme v posledních letech svědky, že se osobní svoboda omezuje čím dál tím víc.

Martina: Omezuje, ale toto už by mělo zase další rozměr.

Luděk Nezmar: Bezpochyby.

Martina: A když pozoruju, jak lidé platí – někdo prstenem, někdo hodinkami – a ještě u toho mají pořád výraz, kdy se přitom rozhlídnou kolem sebe, jestli se lidé dívají, jak jsou napřed…

Luděk Nezmar: Když ono je to strašně pohodlné. Pokud by to fungovalo tak, že by data, informace o každé platbě de facto neexistovaly, tak pak by to bylo v pořádku. Ale tato data existují.