Raporty

Teksty generowane przez sztuczną inteligencję nową bronią cyberprzestępców

Teksty generowane przez sztuczną inteligencję nową bronią cyberprzestępców

Powszechny dostęp do modeli SI, które w kilka sekund dostarczają tekst brzmiący jak napisany przez człowieka to punkt zwrotny w ewolucji cyberzagrożeń. Seria eksperymentów przeprowadzonych przez ekspertów WithSecure (dawniej F-Secure Business) przy użyciu GPT-3 wskazuje, że modele językowe wykorzystujące sztuczną inteligencję umożliwiają cyberprzestępcom zwiększanie skuteczności komunikacji będącej częścią ataku.

Modele językowe SI

GPT-3 (Generative Pre-trained Transformer 3) to model językowy, który wykorzystuje uczenie maszynowe do generowania tekstu. W prowadzonych eksperymentach badacze WithSecure bazowali na tzw. „prompt engineering” – koncepcji związanej z przetwarzaniem języka naturalnego (NLP). Polega ona na szukaniu danych wejściowych, które wprowadzone do modelu przynoszą pożądane lub użyteczne rezultaty. Eksperci sprawdzali w jaki sposób mogą być generowane potencjalnie szkodliwe treści.

W eksperymentach oceniano jak zmiany danych wejściowych w dostępnych modelach wpływają na otrzymywane wyniki. Celem było sprawdzenie, w jaki sposób generowanie języka przez SI może być używane w złośliwej lub przestępczej działalności.

Konieczny jest sceptycyzm wobec treści

Eksperymenty obejmowały phishing i spear-phishing, nękanie, uwierzytelnianie scamu, przywłaszczanie stylu pisanego, celowe tworzenie polaryzujących opinii, wykorzystywanie modeli językowych do tworzenia podpowiedzi złośliwych tekstów oraz fake newsów.

Obecnie każdy kto posiada łącze internetowe może mieć dostęp do zaawansowanych modeli językowych, a to ma jedną bardzo praktyczną konsekwencję. Lepiej zakładać, że każda nowa wiadomość, którą otrzymujemy, mogła zostać stworzona przez bota – wskazuje Andy Patel, analityk WithSecure Intelligence, który kierował badaniami. – Możliwość wykorzystania SI do generowania zarówno szkodliwych, jak i użytecznych treści będzie wymagała strategii wykrywania, które są zdolne do zrozumienia znaczenia i celu tekstu pisanego.

Zagrożenia płynące z modeli językowych

Wyniki przeprowadzonych eksperymentów oraz analiza rozwoju GPT-3 doprowadziły badaczy do kilku wniosków:

  • Prompt engineering to koncepcja, która będzie się intensywnie rozwijać – podobnie jak tworzenie promptów w złośliwych celach;
  • Cyberprzestępcy będą w nieprzewidywalny sposób rozwijać możliwości, jakie dają duże modele językowe;
  • Identyfikacja złośliwych lub obraźliwych treści będzie coraz trudniejsza dla dostawców platform;
  • Zaawansowane modele językowe już teraz dają przestępcom możliwość zwiększenia skuteczności komunikacji będącej częścią ataku (np. wiadomości phishingowe)

Rozpoczęliśmy badania zanim jeszcze ChatGPT udostępnił technologię GPT-3 dla wszystkich – tłumaczy PatelRozwój narzędzia zintensyfikował nasze wysiłki. Teraz w pewnym sensie wszyscy jesteśmy „łowcami androidów”, próbując dowiedzieć się czy inteligencja, z którą mamy do czynienia, jest „prawdziwa”, czy sztuczna.

Rezultaty badania mogą być wykorzystane do projektowania bezpieczniejszych modeli językowych w przyszłości.

 

Pełny raport z badania dostępny jest pod adresem: https://labs.withsecure.com/publications/creatively-malicious-prompt-engineering

Badanie wspierane jest przez CC-DRIVER, projekt finansowany przez program Unii Europejskiej Horyzont 2020 w zakresie badań i innowacji na podstawie umowy o dofinansowanie nr 883543.

 

WithSecure™