Aplicația ta a trecut testul de penetrare web. Infrastructura ta este actualizată cu patch-uri. Dar ai adăugat un asistent AI în platformă acum șase luni, iar nimeni nu l-a testat. Acesta este golul la care majoritatea echipelor de securitate încă nu se gândesc.
Într-un engagement recent, Zerotak a evaluat securitatea unei componente LLM integrate într-o platformă SaaS de conformitate care operează în regiunea APAC. Arhitectura era multi-tenant. Asistentul AI era read-only. Echipa clientului își făcuse temele pentru stratul web tradițional.
Cu toate acestea, am identificat vulnerabilități critice. Acestea au fost exploatate dintr-un cont de utilizator standard, fără privilegii, doar prin manipularea prompturilor.
Ce este AI Penetration Testing?
AI penetration testing este o evaluare structurată a suprafeței de atac introduse prin integrarea unui model lingvistic de mari dimensiuni în produsul tău. Nu este același lucru cu un test de penetrare tradițional pentru aplicații web.
Vulnerabilitățile LLM există în limbaj: în modul în care modelele interpretează instrucțiunile, prioritizează contextul și răspund la input adversarial. OWASP Top 10 for LLM Applications definește categoriile de amenințări. MITRE ATLAS mapează tehnicile. NIST AI RMF oferă cadrul de management al riscului. Metodologia Zerotak le acoperă pe toate trei, combinate cu testare adversarială practică, specifică fiecărei integrări.
Constatarea 1: Prompt Injection pentru exfiltrare de date între tenant-uri
Platforma deservea mai mulți clienți enterprise, fiecare în medii tenant izolate. LLM-ul era configurat să recupereze informații doar din tenant-ul utilizatorului autentificat.
Prin construirea unei secvențe de prompturi, echipa Zerotak a forțat chatbotul să dezvăluie conținut din medii tenant pe care nu avea autorizație să le acceseze. Tehnica a combinat patru elemente:
- Prompturi complexe structurate pentru a suprascrie instrucțiunile de sistem ale modelului
- Prompting iterativ care a extins limita de context dezvăluită de model
- Exploatarea unei aplicări slabe a izolării între tenant-uri la nivelul stratului AI
- Role-framing care a schimbat contextul operațional al modelului în timpul sesiunii
Rezultatul: date sensibile din alte medii returnate în interfața de chat.
Distincția critică este că izolarea între tenant-uri era intactă la toate celelalte niveluri. Baza de date o aplica. API-ul o aplica. Stratul AI nu o aplica, deoarece stratul AI nu fusese niciodată proiectat să facă asta, iar nimeni nu testase dacă LLM-ul însuși putea fi manipulat să o ignore înainte de lansarea în producție.
Constatarea 2: Impersonarea administratorului prin LLM
Dintr-un cont de utilizator standard, echipa a determinat LLM-ul să se comporte ca și cum ar fi răspuns unui administrator. Acest lucru a fost realizat exclusiv prin manipularea prompturilor.
După ce modelul a adoptat persona de administrator, acesta a dezvăluit:
- Setări de configurare ale tenant-ului
- Tokenuri private din integrări cu platforme terțe
- O listă cu toți utilizatorii din tenant
- Informații extrase din module privilegiate, inaccesibile utilizatorilor standard
Această clasă de atac exploatează o proprietate fundamentală a LLM-urilor: sunt antrenate să fie utile și să urmeze instrucțiunile incluse în conversație. Atunci când un adversar construiește un prompt care reîncadrează convingător rolul modelului, modelul se conformează adesea. 
De ce aceste constatări sunt mai grave împreună
Lanțul de atac: exfiltrarea între tenant-uri rupe izolarea dintre tenant-uri, extrăgând date din medii pe care contul nu avea niciodată permisiunea să le acceseze. Adaugă peste asta impersonarea administratorului, iar LLM-ul începe să ofere date administrative din fiecare tenant al platformei. Totul printr-o interfață de chat. Totul dintr-un singur cont fără privilegii.
Acesta nu este un atac teoretic. A fost demonstrat într-un mediu controlat, pe o platformă live. Vulnerabilitățile au fost raportate, recomandările de remediere au fost livrate, iar clientul a rezolvat constatările înainte să aibă loc vreo exploatare reală.
Suprafața de atac AI este reală și subestimată
Majoritatea echipelor de securitate tratează încă stratul AI ca pe o funcționalitate de produs, nu ca pe o suprafață de atac. Este ambele.
Când integrezi un LLM în platforma ta, introduci o nouă limită de încredere: între instrucțiunile de sistem ale modelului și inputul furnizat de utilizator. Această limită nu este aplicată prin cod. Este aplicată prin limbaj, prin interpretarea contextului de către model, prin calitatea prompt engineering-ului și prin controale arhitecturale.
Categoriile de atac care contează cel mai mult în integrările LLM de producție:
Prompt Injection direct și indirect: Instrucțiuni malițioase incluse în inputul utilizatorului sau în datele pe care modelul le recuperează. Injecția directă are loc în chat. Injecția indirectă apare atunci când modelul citește conținut controlat de atacator și execută instrucțiunile incluse.
Impersonare și jailbreaking: Convingerea modelului să opereze în afara rolului său definit, fie prin revendicarea unei autorități false, fie prin ocolirea guardrails-urilor folosind structuri de prompt adversariale.
Dezvăluirea informațiilor și scurgeri de metadata: LLM-urile pot dezvălui conținutul promptului de sistem, detalii de configurare, informații despre arhitectura internă și date pe care utilizatorul nu ar trebui să le acceseze.
Gestionare nesigură a outputului: Outputul modelului redat în interfețe fără sanitizare. Dacă modelul generează conținut care este apoi executat, redat ca HTML sau transmis către sisteme downstream, atacatorul controlează acea execuție downstream.
Controale de acces defectuoase la nivelul stratului AI: Autorizare aplicată peste tot, cu excepția modelului în sine. Modelul recuperează date în funcție de ceea ce i se cere, nu în funcție de ceea ce utilizatorul autentificat are permisiunea să vadă.
Ce acoperă un AI Pentest Zerotak
Engagementul descris în acest articol a fost livrat remote pe parcursul a două săptămâni, vizând exclusiv stratul AI: fără testare tradițională pentru aplicații web sau infrastructură în scope.
Cazurile de testare au acoperit întreaga suprafață de atac a unei integrări LLM de producție: reconnaissance pentru a înțelege capabilitățile modelului și limitele răspunsurilor, toate categoriile majore de injection, scenarii de impersonare și jailbreak, încercări de evadare din storage și sandboxing, gestionarea outputului, validarea controalelor de acces pentru configurări specifice AI și tehnici de bypass al guardrails-urilor.
Testează-ți stratul AI înainte să devină o vulnerabilitate.
Serviciul de AI penetration testing al Zerotak acoperă întreaga suprafață de atac LLM. Livrat remote, fără întreruperi pentru mediul tău de producție.
Dacă produsul tău are o componentă AI, are și o suprafață de atac. Hai să găsim breșele înainte să o facă altcineva. Contactează-ne la collaboration@zerotak.com