Společnosti zabývající se umělou inteligencí slibovaly vydavatelům, že AI vyhledávače přivedou na jejich stránky více čtenářů prostřednictvím odkazů. Nová data ukazují, že tomu tak není.
Společnosti jako OpenAI a Perplexity vznešeně prohlašovaly, že jejich AI vyhledávače, které získávají informace z webů a vytvářejí souhrnné odpovědi, přivedou na stránky vydavatelů více čtenářů, a poskytnou jim tak nové zdroje příjmů.
Skutečnost je však zcela jiná – podle nové zprávy platformy TollBit pro licencování obsahu, kterou exkluzivně sdílela s Forbesem, generují AI vyhledávače o 96 procent méně odkazů na zpravodajské weby a blogy než tradiční vyhledávání přes Google. Podle zprávy se přitom v posledních měsících více než zdvojnásobilo využívání webových stránek a vypůjčování jejich obsahu vývojáři umělé inteligence.
OpenAI, Perplexity, Meta a další AI společnosti ve čtvrtém čtvrtletí loňského roku využily obsah webových stránek v průměru dvoumilionkrát. To uvádí zpráva, která analyzovala 160 webů včetně amerických celostátních a místních zpravodajských, spotřebitelských, technologických a nákupních blogů za poslední tři měsíce roku 2024. Umělá inteligence v průměru projela každou stránku přibližně sedmkrát.
„Zaznamenáváme příliv botů, kteří tyto stránky napadají pokaždé, když se uživatel na něco zeptá,“ řekl Forbesu Toshit Panigrahi, generální ředitel TollBitu. „Množství poptávky po obsahu vydavatelů je nezanedbatelné.“
Platforma TollBit spolupracuje s vydavateli, aby sledovala aktivity AI vyhledávačů a účtovala jim poplatky za každé využívání jejich obsahu. Od vydavatelů, kteří se na její platformě zaregistrovali k analýze, shromáždila údaje a získala tak přehled o návštěvnosti a aktivitě AI vyhledávačů na jejich webech.
OpenAI se k tomu nevyjádřila a Meta na žádost o komentář nereagovala. Mluvčí Perplexity se ke konkrétním tvrzením zprávy také nevyjádřil, ale uvedl, že respektují směrnice „robots.txt“, které určují, do kterých částí webu mají prohlížeče povolen přístup.
robots.txt
Takzvaný robots.txt je soubor v kořenovém adresáři webu, který reguluje přístup webových robotů k určitým částem stránek pomocí Robots Exclusion Protocol (REP). Umožňuje správcům určit, které stránky mají být pro vyhledávače nepřístupné, pomocí pravidel „User-agent“, „Disallow“ a „Allow“. Většina vyhledávačů jej respektuje, ale škodlivé boty jej mohou ignorovat. Slouží k ochraně citlivého obsahu a optimalizaci indexace webu.
Loni v únoru výzkumná společnost Gartner předpověděla, že návštěvnost z tradičních vyhledávačů klesne do roku 2026 o 25 procent, a to zejména kvůli chatbotům a dalším virtuálním agentům s umělou inteligencí. Firmy, které se spoléhají na návštěvnost z vyhledávání, už začaly pociťovat negativní dopady.
Společnost Chegg, která se zabývá vzdělávacími technologiemi, nedávno zažalovala Google a prohlásila, že souhrny generované umělou inteligencí vyhledávacího giganta uváděly obsah z jejích webových stránek bez autorství, čímž jí odebíraly návštěvníky a poškozovaly její již tak klesající příjmy.
Je na čase říci ne.
Nathan Schultz, generální ředitel společnosti Chegg
Návštěvnost stránek společnosti Chegg se v lednu meziročně propadla o 49 procent, což je výrazný pokles oproti osmi procentům ve druhém čtvrtletí loňského roku, kdy Google se souhrny s umělou inteligencí začal. Pokles návštěvnosti ovlivnil společnost Chegg do té míry, že zvažuje odchod do soukromého vlastnictví nebo převzetí, uvedl generální ředitel Nathan Schultz během prohlášení o výsledcích hospodaření.
„Je na čase říci ne,“ řekl Schultz Forbesu. Podle něj mají Google a vydavatelé již dlouho nepsanou dohodu, že bude přivádět uživatele ke kvalitnímu obsahu, a ne jen udržovat návštěvnost na Googlu. „Není v pořádku, když tuto dohodu porušíte.“
Ian Crosby, partner v advokátní kanceláři Susman Godfrey zastupující společnost Chegg, uvedl, že tato praxe v dlouhodobém horizontu poškodí vyhledávací společnosti, jako je Google. To podle něj bude mít za následek vytvoření „AI břečky“, pokud budou společnosti jako Chegg vyřazeny z provozu. „Je to hrozba pro celý internet,“ dodal.
Google označil žalobu společnosti Chegg za neopodstatněnou a tvrdí, že její vyhledávací služba s umělou inteligencí posílá návštěvnost na větší množství webů.
Jak Forbes reportoval už dříve, webové stránky pro rezervaci cestování, jako jsou Kayak a TripAdvisor, se také obávají, že AI přehledy vyhledávání Googlu snižují jejich návštěvnost. Mezitím vydavatelé zpráv podnikli právní kroky proti OpenAI i Perplexity za údajné porušování jejich duševního vlastnictví. (Obě společnosti se žalobám brání.)
Vývojáři umělé inteligence používají k procházení webu a shromažďování dat takzvané uživatelské agenty, ale mnozí z nich své scraperské roboty řádně neidentifikují ani nezveřejňují, což majitelům webů ztěžuje odhalení a pochopení toho, jak AI společnosti přistupují k jejich obsahu.
Panigrahi uvedl, že se zdá, že některé z nich, jako například Google, používají stejné roboty k více účelům, včetně indexování webu a shromažďování dat pro své nástroje umělé inteligence.
Pro vydavatele je velmi těžké blokovat Google. Mohlo by to mít dopad na jejich SEO
Olivia Joslin, spoluzakladatelka společnosti TollBit
„Pro vydavatele je velmi těžké blokovat Google. Mohlo by to mít dopad na jejich SEO a pro nás je nemožné odvodit, k čemu přesně jejich boti slouží,“ řekla spoluzakladatelka společnosti TollBit Olivia Joslin.
Společnost Google na žádost o komentář nereagovala.
Nezvaný host
Startup Perplexity se zabývá vyhledáváním pomocí umělé inteligence a jeho hodnota činí devět miliard dolarů. I když vydavatelé zablokují Perplexity přístup ke svým stránkám, tento AI startup nadále posílá pomocí referenčních odkazů návštěvnost zpět k nim, což naznačuje, že i nadále tajně prochází weby nepozorovaně.
V jednom z případů prošel Perplexity podle statistik web vydavatele pětsetkrát, ale odeslal na něj více než deset tisíc odkazů. Jedním z vysvětlení je podle Panigrahiho to, že Perplexity k přístupu na web použil neidentifikovaný webový crawler. Společnost Perplexity v reakci na zjištění pouze zopakovala, že respektuje „robots.txt“.
V loňském roce si tento populární startup vysloužil kritiku za převzetí a opětovné publikování placených článků bez uvedení autora, přičemž v některých případech zkopíroval téměř slovo od slova obsah ze zpravodajských serverů, jako jsou Forbes, CNBC a Bloomberg.
Loni v červnu americký Forbes zjistil, že Perplexity citovala také nekvalitní blogy generované umělou inteligencí a příspěvky na sociálních sítích, které obsahují nepřesné informace. Aravind Srinivas, generální ředitel Perplexity, v reakci na reportáže z Forbesu uvedl, že funkce pro opětovné publikování, nazvaná Perplexity Pages, má ještě „nedostatky“.
V červnu zaslal Forbes Perplexity výzvu k zastavení činnosti a obvinil ji z porušování autorských práv.
V říjnu zažalovaly deníky New York Post a Dow Jones společnost Perplexity za údajné porušování autorských práv a přisuzování vymyšlených faktů médiím. Perplexity tehdy uvedla, že žaloba odráží postoj, který je „v zásadě krátkozraký, zbytečný a kontraproduktivní“.
Začátkem tohoto měsíce se v hledáčku mediálních společností ocitl další AI startup. Skupina vydavatelů včetně společností Condé Nast, Vox a The Atlantic podala žalobu na startup Cohere, který se zabývá podnikovou umělou inteligencí, za to, že údajně využil čtyři tisíce děl chráněných autorskými právy z internetu a použil je k trénování své sady velkých jazykových modelů. (K žalobě se připojil i Forbes.)
Rozsáhlé využívání umělé inteligence nepoškozuje jen návštěvnost a příjmy vydavatelů z vyhledávání. Podle Panigrahiho stále více botů navštěvuje webové stránky, aby si přečetli a načetli jejich obsah, a tím se také zvyšují milionové náklady na server.
Vzhledem k tomu, že společnosti jako OpenAI a Perplexity spouštějí výzkumné agenty AI, kteří autonomně navštěvují stovky webů a vytvářejí hloubkové zprávy, se tento problém bude nejspíš zhoršovat.
Jedním z jasných způsobů, jak tento problém řešit, je přímé licencování článků. Například Associated Press, Axel Springer a Financial Times uzavřely s OpenAI dohody o obsahu. Objevila se však také nová skupina společností, které se snaží najít jiné ekonomické modely pro vydavatele v éře umělé inteligence.
Například TollBit vybírá od AI firem poplatky pokaždé, když z webu vydavatele využijí obsah. TollBit spolupracuje s pěti sty vydavateli včetně TIME, Hearst a Adweek.
„Umělá inteligence nefunguje jako člověk. Lidé kliknou na jeden odkaz, kliknou na druhý odkaz a pak jdou dál,“ říká Panigrahi. „Umělá inteligence si přečte deset až dvacet odkazů, aby získala správnou odpověď.“
