Stačí jediný prompt. Zaměstnanec do ChatGPT nahraje smlouvu, zdrojový kód nebo databázi klientů, aby si ušetřil pár minut práce. O několik sekund později už firma nemusí mít svá nejcennější data plně pod kontrolou. Právě tak vzniká fenomén shadow AI, který se tiše šíří firmami. Co všechno může způsobit jediný neuvážený dotaz a kdo za něj nakonec ponese odpovědnost?
Když se před pár lety začaly ve firmách masově objevovat první generativní nástroje umělé inteligence, většina manažerů řešila jedinou otázku: povolit, nebo zakázat? Dnes už je jasné, že byla špatně položená. Zaměstnanci totiž na rozhodnutí vedení nečekali. Umělou inteligenci začali používat stejně přirozeně jako internetový vyhledávač nebo překladač.
Právě tomu odborníci říkají shadow (stínová) AI. Jde o situaci, kdy lidé při práci používají veřejně dostupné nástroje umělé inteligence mimo schválené firemní prostředí, často přes vlastní účty, bez vědomí zaměstnavatele a bez jasných pravidel pro práci s citlivými daty.
Na první pohled přitom nejde o nic dramatického. Zaměstnanec požádá ChatGPT o shrnutí smlouvy. AI pomůže s prezentací pro klienta. Opraví část zdrojového kódu nebo navrhne lepší formulaci obchodní nabídky.
Umělá inteligence sice dokáže ušetřit čas, zároveň ale může otevřít cestu k úniku dat mimo prostředí, které má firma pod kontrolou. Cena za několik minut navíc pak může být překvapivě vysoká – od právních komplikací přes bezpečnostní incident až po poškozenou reputaci.
Nejde o zlý úmysl
Odhalit shadow AI není podle právníků jednoduché. Většinou za ní totiž nestojí zlý úmysl, ale snaha zaměstnanců pracovat rychleji a efektivněji. „Fenomén Shadow AI považujeme za velmi reálný a ve firmách bude výrazně častější, než si jejich vedení často připouští,“ konstatuje Dalibor Kovář z advokátní kanceláře Havel & Partners.
Firmy často neví, kdo jaký nástroj používá, jaké informace do něj vkládá, kde jsou tato data uložena, zda mohou být využita k dalšímu zlepšování služby a zda má organizace vůbec smluvně a bezpečnostně ošetřené předávání těchto dat třetí straně.
„Pokud organizace blokují instalaci neschválených desktop aplikací, mají maximálně přehled o tom, kolikrát zaměstnanec přistoupil z pracovního zařízení na konkrétní doménu webového AI nástroje. Přístupy z vlastních zařízení ale logovat ani monitorovat přirozeně nedokážou, byť i na nich se AI asistovaná práce s firemními daty reálně může odehrávat,“ upozorňuje Kovář.
Česká statistika, která by rozsah shadow AI přesně popsala, zatím neexistuje. Zahraniční výzkumy ale naznačují, že nejde o okrajový fenomén. Podle studie Microsoft Work Trend Index používají generativní AI při práci tři čtvrtiny znalostních pracovníků a 78 procent z nich si do zaměstnání přináší vlastní AI nástroje.
Ještě dál jdou data, která shromáždila česká kyberbezpečnostní společnost Sysnetshield. Podle ní používá neschválené AI nástroje více než 80 procent zaměstnanců, 57 procent lidí své využívání před zaměstnavatelem aktivně skrývá a každá pátá organizace už zaznamenala bezpečnostní incident související se shadow AI.
„Před měsícem jsme ukázali, že umělá inteligence dokáže proniknout do firemní sítě za 21 hodin zvenku. Poslední dobou však vidíme, že si zaměstnanci pouští AI do firem dobrovolně každý den, aniž by o tom kdokoli z vedení tušil,“ říká zakladatel společnosti Sysnetshield Patrik Žák.
Jenže zaměstnance nelze označit za hlavní viníky. Ve skutečnosti jde o přirozený důsledek toho, že veřejné AI nástroje jsou jednodušší, rychlejší a často i dostupnější než firemní řešení. Pokud organizace lidem nenabídne bezpečnou alternativu, najdou si ji sami.
Největší riziko navíc nespočívá v samotném používání umělé inteligence, ale v tom, jaká data do ní lidé zadávají. Kovář říká, že se s podobnými situacemi setkává opakovaně při nastavování interních pravidel, compliance programů i školení zaměstnanců.
„Nemohu komentovat konkrétní klientské situace, ale typově jde velmi často o případy, kdy zaměstnanci v dobré víře vloží do AI nástroje dokument nebo data, aby si zrychlili práci nebo dodali graficky zajímavé ztvárnění tradičních dat. Excel reporting v interaktivním HTML vypadá nesporně lépe, nicméně účetní data nebo stovky osobních údajů jsou v takovém případě mimo perimetr organizace,“ popisuje.
Podle něj se ve veřejných AI nástrojích nejčastěji objevují interní dokumenty, smlouvy, obchodní nabídky, zápisy z porad, marketingové strategie, neveřejné finanční informace, technická dokumentace, zdrojové kódy, zákaznická data, exporty z interních systémů, životopisy uchazečů nebo hodnocení zaměstnanců. Nejcitlivější jsou však osobní údaje, obchodní tajemství, důvěrná klientská data a informace o interní IT či bezpečnostní architektuře.
Ne všechny organizace přitom nesou stejné riziko. Shadow AI se nejvíce může týkat oborů, kde lidé denně pracují s velkým množstvím textu, dokumentů, dat, kódů nebo klientských informací. Typicky tedy finanční sektor, pojišťovnictví, technologie a software, telekomunikace, poradenství a další profesionální služby, HR a recruitment, marketing, média, zdravotnictví, farmacie a také veřejná správa.
„Ani v těchto případech ale automaticky neplatí, že každé použití ChatGPT znamená porušení zákona. Vždy záleží na tom, jaká data byla použita, jaký nástroj a účet byl využit, zda existuje smluvní vztah s poskytovatelem, jak jsou nastavena bezpečnostní a organizační opatření a zda zaměstnavatel zaměstnance dostatečně proškolil a stanovil jasná pravidla,“ vysvětluje Kovář.
Kdo ponese odpovědnost?
Pokud zaměstnanec nahraje do veřejného AI nástroje osobní údaje nebo jiné citlivé informace a dojde k jejich úniku, nemusí automaticky nést následky pouze zaměstnavatel. Rozhodující bude, zda organizace vytvořila prostředí, které podobným situacím předchází.
„Firmám může hrozit například regulatorní sankce za porušení GDPR, pokud by došlo k úniku dat a firma neměla nastavená vhodná organizační a technická opatření. Kromě úniku dat ale také může dojít k neoprávněnému trénování na osobních údajích. V těchto případech by se ale také řešila přičitatelnost. Pokud by firma měla jasně nastavená interní pravidla, odpovědný by mohl být samotný zaměstnanec,“ vysvětluje Jana Vorlíček Soukupová z advokátní kanceláře Dentons.
Do hry vstupuje také evropský AI Act. Přestože se v posledních měsících hodně mluvilo o zmírnění některých jeho ustanovení, povinnosti firem nezmizely.
„V případě AI Actu může firmám momentálně hrozit porušení povinnosti zajistit AI gramotnost. Tato povinnost se ale nedávno poměrně zmírnila v rámci zjednodušení předpisu v rámci tzv. AI omnibusu. Došlo taktéž k odložení účinnosti pravidel pro vysoce rizikové AI systémy. Česká republika navíc v současné době nemá dozorový orgán pro vymáhání povinností dle AI Actu,“ připomíná Vorlíček Soukupová.
Přesto by bylo chybou usuzovat, že když v Česku zatím nepadly vysoké pokuty ani známé soudní rozsudky, problém neexistuje. Podle obou advokátních kanceláří se většina incidentů řeší interně.
„V Česku zatím podle našich informací nejde o oblast, kde by existovala veřejná rozhodovací praxe nebo větší množství medializovaných sporů. To ale neznamená, že problémy nejsou. Spíše jsou zatím často řešeny interně, preventivně nebo neveřejně v rámci compliance, IT security, pracovněprávních opatření, interních auditů nebo nastavování pravidel pro používání AI,“ shrnuje Kovář.
Stejnou zkušenost mají i v Dentons. „Zkušenosti máme primárně s klienty, kteří se shadow AI rozhodli řešit preventivně. Pro ty jsme připravovali například školení AI gramotnosti nebo jim radili s nastavením interních AI pravidel. Ještě jsme se ale nesetkali s tím, že bychom museli řešit například pokutu od dozorového orgánu za únik dat v souvislosti se shadow AI, případně ani s žádnou žalobou. Z naší zkušenosti přibývá firem, které sledují, jaké AI nástroje jejich zaměstnanci používají a zda nedochází k nekontrolovanému nahrávání dokumentů do těchto nástrojů,“ doplňuje Vorlíček Soukupová.
První známé oběti
Že nejde jen o hypotetické scénáře, ale o reálné situace, ukazují příklady ze zahraničí.
Asi nejznámější je případ Samsungu z roku 2023. Firma tehdy dočasně povolila zaměstnancům používat ChatGPT. Během jediného měsíce ale došlo hned ke třem incidentům. Jeden z inženýrů vložil do chatbota část zdrojového kódu, aby mu pomohl najít chybu. Jiný nahrál algoritmus používaný při hledání vad ve výrobě čipů. Třetí nechal umělou inteligenci přepsat interní poradu. Výsledkem byl únik mimořádně citlivých technologických informací a okamžitý zákaz používání ChatGPT ve firmě.
Podobně reagoval také Amazon. Interní právní oddělení upozornilo zaměstnance, že zaznamenalo případy, kdy odpovědi ChatGPT nápadně připomínaly důvěrné firemní materiály. Firma proto doporučila přejít na vlastní interní AI nástroje.
Nejde přitom o ojedinělé příběhy velkých technologických firem. Bezpečnostní společnost Cyberhaven při analýze chování 1,6 milionu zaměstnanců zjistila, že jedenáct procent obsahu vkládaného do ChatGPT obsahovalo důvěrná data. Analýza společnosti Harmonic Security pak ukázala, že z 22,4 milionu firemních promptů obsahovalo více než 579 tisíc citlivé informace a téměř každá šestá z těchto situací vznikla přes soukromé účty zaměstnanců, nad nimiž firmy neměly žádnou kontrolu.
Největším rizikem není samotná umělá inteligence. Největším rizikem je představa, že ji lze jednoduše zakázat nebo ignorovat.
Právě proto se přístup firem v posledních měsících výrazně mění. Z právního pohledu podle Vorlíček Soukupové ubývá společností, které AI plošně zakazují, stejně jako těch, které ji zcela ignorují. Naopak nejrychleji přibývá organizací, které se snaží její používání řídit. Začínají interním auditem používaných AI nástrojů, vytvářejí schvalovací procesy pro nové aplikace, školí zaměstnance a stále častěji přecházejí na enterprise verze služeb, které smluvně garantují, že firemní data nebudou využívána pro trénování veřejných modelů.
Shoda mezi právníky i bezpečnostními experty je v jednom překvapivě jednoznačná. Největším rizikem není samotná umělá inteligence. Největším rizikem je představa, že ji lze jednoduše zakázat nebo ignorovat.
„Za nejvhodnější reakci jsme nikdy nepovažovali plošný zákaz AI. Ten v praxi často vede jen k tomu, že se AI přesune do ještě méně kontrolovaného prostředí. Funkční je kombinace jasné interní politiky, klasifikace dat, seznamu schválených nástrojů, používání enterprise řešení s odpovídajícími smluvními a bezpečnostními garancemi, školení zaměstnanců, technických a bezpečnostních auditů a jednoduchých pravidel typu: do veřejných AI nástrojů nevkládat osobní údaje, klientská data, obchodní tajemství, zdrojové kódy ani neveřejné interní dokumenty, pokud k tomu firma výslovně neschválila bezpečný režim,“ uzavírá Dalibor Kovář.
Většina firem už dnes nestojí před rozhodnutím, zda umělou inteligenci pustit do kanceláří. Ta už tam dávno je. Skutečnou konkurenční výhodou proto nebude zákaz AI, ale schopnost naučit se s ní bezpečně pracovat dříve, než jeden zdánlivě nevinný prompt přeroste v incident za miliony korun.
