„AI přítelkyně” jsou noční můrou pro soukromí

Romantičtí chatboti shromažďují obrovské množství dat, poskytují nejasné informace o tom, jak je používají, používají slabou ochranu heslem a nejsou transparentní, tvrdí nový výzkum společnosti Mozilla.

Neměli byste věřit žádným odpovědím, které vám chatbot pošle. A pravděpodobně byste mu neměli svěřovat ani své osobní údaje. Podle nového výzkumu to platí zejména pro „AI přítelkyně” nebo „AI přítele”.

Analýza 11 takzvaných romantických a společenských chatbotů, kterou ve středu zveřejnila nadace Mozilla Foundation, zjistila u těchto botů celou řadu problémů týkajících se bezpečnosti a ochrany soukromí. Aplikace, které byly na zařízeních se systémem Android staženy více než 100 milionkrát, dohromady shromažďují obrovské množství údajů o lidech, používají sledovací zařízení, která odesílají informace společnostem Google, Facebook a firmám v Rusku a Číně, umožňují uživatelům používat slabá hesla a nejsou dostatečně transparentní, pokud jde o jejich vlastnictví a modely umělé inteligence, které je pohánějí.

Od chvíle, kdy OpenAI v listopadu 2022 vypustila do světa ChatGPT, se vývojáři předhánějí v nasazování rozsáhlých jazykových modelů a vytváření chatbotů, s nimiž mohou lidé komunikovat a za jejichž služby budou platit. Výzkum Mozilly poskytuje pohled na to, jak tato zlatá horečka mohla zanedbat soukromí lidí, a na napětí mezi novými technologiemi a způsobem, jakým shromažďují a využívají data. Poukazuje také na to, jak by mohly být zprávy z chatu lidí zneužity hackery.

Podobně vypadá mnoho služeb „AI přítelkyň” nebo romantických chatbotů. Často obsahují obrázky žen generované umělou inteligencí, které mohou být sexualizované nebo sedět vedle provokativních zpráv. Výzkumníci společnosti Mozilla zkoumali různé chatboty včetně velkých i malých aplikací, z nichž některé se údajně vydávají za “přítelkyně”. Jiné nabízejí lidem podporu prostřednictvím přátelství nebo intimity nebo umožňují hraní rolí a jiné fantazie.

„Tyto aplikace jsou navrženy tak, aby shromažďovaly spoustu osobních informací,” říká Jen Caltrider, vedoucí projektu týmu Mozilla Privacy Not Included, který analýzu provedl. „Tlačí vás ke hraní rolí, hodně sexu, hodně intimity, hodně sdílení.” Na snímcích obrazovky z chatbota EVA AI je například vidět text: „Miluji, když mi posíláš své fotografie a hlas” a dotaz, zda je někdo “připraven sdílet všechna svá tajemství a touhy”.

Caltrider uvádí, že s těmito aplikacemi a webovými stránkami je spojeno více problémů. U mnoha aplikací nemusí být jasné, jaké údaje sdílejí s třetími stranami, kde sídlí nebo kdo je vytváří, uvádí Caltrider a dodává, že některé umožňují lidem vytvářet slabá hesla, zatímco jiné poskytují málo informací o umělé inteligenci, kterou používají. Všechny analyzované aplikace měly různé případy použití a slabiny.

Vezměme si například službu Romantic AI, která vám umožní “vytvořit si vlastní přítelkyni s umělou inteligencí”. Propagační obrázky na domovské stránce zobrazují chatbota, který posílá zprávu: „Právě jsem si koupil nové spodní prádlo. Chceš ho vidět?” V dokumentech o ochraně osobních údajů aplikace podle analýzy Mozilly stojí, že aplikace nebude prodávat údaje lidí. Když však výzkumníci aplikaci testovali, zjistili, že „během jedné minuty používání odeslala 24 354 reklamních sledovacích zařízení”. Společnost Romantic AI, stejně jako většina společností, na které Mozilla ve svém výzkumu upozornila, na žádost WIREDu o komentář nereagovala. Ostatní sledované aplikace měly stovky sledovačů.

Podle Caltrideru aplikace obecně nemají jasno v tom, jaké údaje mohou sdílet nebo prodávat, ani v tom, jak přesně některé z těchto informací používají. „Právní dokumentace byla vágní, těžko srozumitelná, nepříliš konkrétní – takové šablonovité věci,” říká Caltrider a dodává, že to může snižovat důvěru, kterou by lidé měli ve společnosti mít.

Není jasné, kdo vlastní nebo řídí některé společnosti, které za chatboty stojí. Webová stránka jedné aplikace s názvem Mimico – Your AI Friends obsahuje pouze slovo „Ahoj”. Jiné neuvádějí své vlastníky ani místo, kde sídlí, nebo obsahují pouze obecné e-mailové adresy pro kontakt s nápovědou nebo podporou. “Jednalo se o velmi malé vývojáře aplikací, které byly bezejmenné, bez tváře a bez místa,” dodává Caltrider.

Společnost Mozilla upozornila na to, že některé společnosti zřejmě používají slabé bezpečnostní postupy při vytváření hesel. Výzkumníkům se podařilo vytvořit jednoznakové heslo (“1″) a použít ho k přihlášení do aplikací společnosti Anima AI, která nabízí „AI přítele” a „AI přítelkyni”. Anima AI na žádost WIREDu o komentář rovněž nereagovala. Jiné aplikace podobně umožňovaly krátká hesla, což potenciálně usnadňuje hackerům proniknout hrubou silou do účtů lidí a získat přístup k údajům z chatu.

Kamilla Saifulina, vedoucí oddělení značky ve společnosti EVA AI, v e-mailu uvedla, že její „současné požadavky na hesla mohou vytvářet potenciální zranitelnosti” a že firma své zásady týkající se hesel přezkoumá. Saifulina poukazuje na bezpečnostní pokyny firmy, které obsahují podrobnosti o tématech, o kterých lidé nesmějí psát zprávy. V pokynech je také uvedeno, že zprávy jsou kontrolovány na porušení jiným modelem umělé inteligence. „Všechny informace o uživateli jsou vždy soukromé. To je naší prioritou,” říká Saifulina. „Také chaty uživatelů se nepoužívají k předtrénování. Používáme pouze naše vlastní ručně psané datové sady.”

Kromě sdílení dat a bezpečnostních otázek analýza Mozilly také zdůrazňuje, že je málo známo o konkrétních technologiích, které chatboty pohánějí. „Transparentnost fungování umělé inteligence je prostě nulová,” říká Caltrider. Zdá se, že některé z aplikací nemají zavedené ovládací prvky, které by lidem umožňovaly zprávy mazat. Některé neuvádějí, jaké druhy generativních modelů používají, nebo neobjasňují, zda lidé mohou odmítnout, aby byly jejich chaty používány k trénování budoucích modelů.

Největší aplikací, o které se ve výzkumné studii Mozilly hovoří, je Replika, která je označována jako doprovodná aplikace a již dříve čelila kontrole ze strany regulačních orgánů. Mozilla původně zveřejnila analýzu aplikace Replika na začátku roku 2023. Eugenia Kuyda, generální ředitelka a zakladatelka společnosti Replika, v obsáhlém prohlášení, které bylo poprvé vydáno v loňském roce, uvedla, že společnost „nepoužívá konverzační údaje mezi uživatelem a aplikací Replika pro žádné reklamní nebo marketingové účely”, a zpochybnila několik zjištění společnosti Mozilla.

Mnoho z analyzovaných chatbotů vyžaduje pro přístup k některým funkcím placené předplatné a byly spuštěny v posledních dvou letech, po začátku boomu generativní umělé inteligence. Chatboti jsou často navrženi tak, aby napodobovali lidské vlastnosti a podporovali důvěru a intimitu s lidmi, kteří je používají. Jednomu muži bylo při chatování řečeno, aby zabil královnu Alžbětu II; jiný údajně spáchal sebevraždu poté, co si šest týdnů psal s chatbotem. Kromě toho, že některé z aplikací jsou NSFW, hrají si také na užitečné nástroje. Na domovské stránce Romantic AI se píše, že aplikace je „tu pro udržení vašeho duševního zdraví”, zatímco její podmínky objasňují, že není poskytovatelem lékařských nebo psychiatrických služeb a že společnost “neposkytuje žádná prohlášení, záruky ani garance”, že poskytuje odbornou pomoc.

Vivian Ta-Johnsonová, odborná asistentka psychologie na Lake Forest College, říká, že při rozhovoru s chatboty se někteří lidé mohou cítit pohodlněji, když chtějí diskutovat o tématech, která by normálně s jinými lidmi nevytahovali. Ta-Johnsonová však říká, že pokud společnost ukončí činnost nebo změní fungování svých systémů, může to být pro lidi, kteří se s chatboty sblížili, „traumatizující”. „Tyto společnosti by měly brát citové vazby, které si uživatelé s chatboty vytvořili, vážně a pochopit, že jakékoli větší změny ve fungování chatbotů mohou mít zásadní dopad na sociální podporu a pohodu uživatelů,” říká Ta-Johnson.

Někteří lidé pravděpodobně nebudou pečlivě zvažovat, co chatbotům prozrazují. V případě „AI přítelkyň” by to mohlo zahrnovat sexuální preference nebo záliby, místa nebo soukromé pocity. To by mohlo způsobit poškození pověsti, pokud by byl systém chatbotů hacknut nebo pokud by došlo k náhodnému úniku dat. Adenike Cosgrove, viceprezident pro strategii kybernetické bezpečnosti pro Evropu, Blízký východ a Afriku v bezpečnostní firmě Proofpoint, říká, že kyberzločinci pravidelně zneužívají důvěry lidí k tomu, aby je podvedli nebo zneužili, a že u služeb, které shromažďují obrovské množství údajů lidí, existuje „inherentní riziko”. “Mnoho uživatelů přehlíží důsledky ochrany soukromí svých údajů, čímž se potenciálně vystavují zneužití, zejména pokud jsou v emocionálně zranitelném stavu,” říká Cosgrove.

V případě přítelkyň s umělou inteligencí a jim podobných by podle Caltridera měli být lidé při používání romantických chatbotů obezřetní a měli by si osvojit osvědčené bezpečnostní postupy. To zahrnuje používání silných hesel, nepřihlašování se do aplikací pomocí Facebooku nebo Googlu, mazání dat a odmítnutí sběru dat tam, kde je to nabízeno. „Co nejvíce omezte osobní údaje, které sdílíte – neprozrazujte jména, polohu, věk,” říká Caltrider a dodává, že u některých těchto služeb to nemusí stačit. “Ani provedení těchto úkonů vás nemusí udržet v takovém bezpečí, jak byste si přáli.”

 

Jakub Drábek, redakce Cyberblog, Zdroj: Wired, Foto: Unsplash