Zkoumání oblasti škodlivé generativní umělé inteligence: nové výzvy pro digitální bezpečnost

Nedávno se kybernetická bezpečnost střetla s novou hrozivou skutečností – vzestupem škodlivé generativní umělé inteligence, jako jsou FraudGPT a WormGPT. Tyto podlé výtvory, které číhají v temných zákoutích internetu, představují pro svět digitální bezpečnosti výraznou hrozbu. V tomto článku se podíváme na podstatu podvodů s generativní umělou inteligencí, zanalyzujeme zprávy kolem těchto výtvorů a zhodnotíme jejich potenciální dopad na kybernetickou bezpečnost. I když je zásadní zachovat ostražitost, stejně důležité je vyhnout se všeobecné panice, protože situace, ačkoli znepokojivá, zatím není důvodem k poplachu. Zajímá vás, jak se může vaše organizace chránit před generativními útoky AI pomocí pokročilého řešení zabezpečení e-mailů?

Seznamte se s FraudGPT a WormGPT

FraudGPT představuje předplatitelskou škodlivou generativní umělou inteligenci, která využívá sofistikované algoritmy strojového učení ke generování klamavého obsahu. Na rozdíl od etických modelů umělé inteligence nezná FraudGPT žádné hranice, což z něj činí univerzální zbraň pro nesčetné nekalé účely. Je schopen vytvářet pečlivě přizpůsobené spear-phishingové e-maily, padělané faktury, smyšlené zpravodajské články a další – to vše lze využít při kybernetických útocích, online podvodech, manipulaci s veřejným míněním, a dokonce i při údajném vytváření “neodhalitelného malwaru a phishingových kampaní”.

Na druhé straně je WormGPT, zlověstný sourozenec FraudGPT, v oblasti podvodné umělé inteligence. WormGPT, vyvinutý jako neschválený protějšek ChatGPT od OpenAI, funguje bez etických zábran a dokáže reagovat na dotazy související s hackerskými a dalšími nezákonnými aktivitami. I když jsou jeho schopnosti ve srovnání s nejnovějšími modely AI poněkud omezené, slouží jako názorný příklad vývojové trajektorie škodlivé generativní AI.

Pozérství GPT zloduchů

Vývojáři a propagátoři FraudGPT a WormGPT neztrácejí čas s propagací svých škodlivých výtvorů. Tyto nástroje založené na umělé inteligenci jsou prodávány jako “startovací sady pro kybernetické útočníky”, které nabízejí řadu prostředků za předplatné, čímž zpřístupňují pokročilé nástroje začínajícím kyberzločincům.

Při bližším zkoumání se ukazuje, že tyto nástroje nemusí nabízet podstatně více, než co by kyberzločinec mohl získat ze stávajících generativních nástrojů AI s kreativním obcházením dotazů. Potenciální důvody mohou pramenit z využití starších modelových architektur a neprůhledné povahy jejich tréninkových dat. Tvůrce WormGPT tvrdí, že jejich model byl vytvořen s využitím různorodých zdrojů dat, přičemž se zaměřil zejména na data související s malwarem. Zdržel se však zveřejnění konkrétních použitých datových sad.

Stejně tak propagační příběh kolem FraudGPT sotva vzbuzuje důvěru ve výkonnost jazykového modelu (LM). Na stinných fórech dark webu jej tvůrce FraudGPT vychvaluje jako špičkovou technologii a tvrdí, že LLM dokáže vyrobit “nezjistitelný malware” a identifikovat webové stránky náchylné k podvodům s kreditními kartami. Kromě tvrzení, že se jedná o variantu GPT-3, však tvůrce poskytuje jen málo informací o architektuře LLM a nepředkládá žádné důkazy o nezjistitelném malwaru, což ponechává prostor mnoha spekulacím.

Jak zlovolní aktéři využijí nástrojů GPT

Nevyhnutelné nasazení nástrojů založených na GPT, jako jsou FraudGPT a WormGPT, je stále vážnou obavou. Tyto systémy s umělou inteligencí mají schopnost vytvářet vysoce přesvědčivý obsah, což je činí atraktivními pro různé činnosti, od vytváření přesvědčivých phishingových e-mailů přes vnucování obětí do podvodných schémat až po generování malwaru. Přestože existují bezpečnostní nástroje a protiopatření pro boj s těmito novými formami útoků, problém se neustále komplikuje.

Některé potenciální aplikace nástrojů generativní umělé inteligence pro podvodné účely zahrnují:

1. Vylepšené phishingové kampaně: Tyto nástroje mohou automatizovat vytváření hyperpersonalizovaných phishingových e-mailů (spear phishing) v několika jazycích, čímž se zvyšuje pravděpodobnost úspěchu. Nicméně jejich účinnost při vyhýbání se odhalení pokročilými systémy zabezpečení e-mailů a ostražitými příjemci zůstává sporná.
2. Zrychlené shromažďování informací z otevřených zdrojů (OSINT): Útočníci mohou pomocí těchto nástrojů urychlit průzkumnou fázi svých operací a shromažďovat informace o cílech, včetně osobních údajů, preferencí, chování a podrobných firemních údajů.
3. Automatizované generování malwaru: Generativní umělá inteligence má znepokojivý potenciál generovat škodlivý kód a zjednodušit tak proces vytváření malwaru i pro osoby bez rozsáhlých technických znalostí. Nicméně i když tyto nástroje mohou generovat kód, výsledný výstup může být stále primitivní, což vyžaduje další kroky k úspěšným kybernetickým útokům.

Vyzbrojený dopad generativní umělé inteligence na prostředí hrozeb 

Výskyt FraudGPT, WormGPT a dalších škodlivých nástrojů generativní umělé inteligence nesporně je varovným signálem pro komunitu kybernetické bezpečnosti. Existuje potenciál pro sofistikovanější phishingové kampaně a nárůst objemu útoků generativní AI. Kyberzločinci by mohli tyto nástroje využít ke zmenšení vstupních bariér do kybernetické kriminality a nalákat tak osoby s omezenou technickou zdatností.

Tváří v tvář těmto nově vznikajícím hrozbám je však nutné nepropadat panice. FraudGPT a WormGPT jsou sice zajímavé, ale nepředstavují převratné změny v oblasti kyberkriminality – tedy alespoň zatím. Jejich omezení, nedostatečná sofistikovanost a skutečnost, že v těchto nástrojích nejsou zařazeny nejpokročilejší modely umělé inteligence, je zdaleka nečiní odolnými vůči pokročilejším nástrojům poháněným umělou inteligencí, jako je IRONSCALES, který dokáže autonomně odhalovat spear-phishingové útoky generované umělou inteligencí. Stojí za zmínku, že navzdory neověřené účinnosti FraudGPT a WormGPT již sociální inženýrství a přesně cílený spear phishing prokázaly svou účinnost. Nicméně, tyto škodlivé nástroje umělé inteligence poskytují kyberzločincům větší dostupnost a snadnost při vytváření takových phishingových kampaní.

Vzhledem k tomu, že se tyto nástroje dále vyvíjejí a získávají na popularitě, musí se organizace připravit na vlnu vysoce cílených a personalizovaných útoků na své zaměstnance.

Není třeba panikařit, avšak připravte se na zítřek

Nástup generativních podvodů s umělou inteligencí, které ztělesňují nástroje jako FraudGPT a WormGPT, skutečně vyvolává obavy v oblasti kybernetické bezpečnosti. Nicméně není zcela neočekávaný a poskytovatelé bezpečnostních řešení na této výzvě pilně pracují. Ačkoli tyto nástroje představují nové a hrozivé překážky, v žádném případě nejsou nepřekonatelné. Zločinecké podsvětí je stále v počátečních fázích osvojování těchto nástrojů, zatímco dodavatelé bezpečnostních řešení jsou ve hře již mnohem déle. Již existují robustní bezpečnostní řešení poháněná umělou inteligencí, jako je například IRONSCALES, která účinně čelí e-mailovým hrozbám generovaným umělou inteligencí.

Aby si organizace udržely náskok před vyvíjejícím se prostředím hrozeb, měly by zvážit investice do pokročilých řešení zabezpečení e-mailů, která nabízejí:

1. Pokročilou ochranu proti hrozbám v reálném čase se specializovanými funkcemi pro obranu proti útokům sociálního inženýrství, jako je Business Email Compromise (BEC), vydávání se za osobu a podvody s fakturami.
2. Automatizované simulační testování spear-phishingu, které zaměstnancům umožní osobní školení.

Kromě toho je nezbytné být informován o vývoji v oblasti generativní umělé inteligence a o taktikách, které používají škodliví aktéři pomocí těchto technologií. Připravenost a ostražitost jsou klíčem ke zmírnění potenciálních rizik vyplývajících z využití generativní umělé inteligence v kyberkriminalitě.

Jakub Drábek, redakce Cyberblog
Zdroj: The Hacker News
Foto: Bing