AIM SHIELD Larrialdia
IA probei buruzko txostena · Doan

Zer diote zure IAren segurtasun-probek?

Igo zure probetako emaitza eta gaztelaniaz azalduko dizugu: kategoria bakoitzean zenbat gainditu duten eta zenbatek huts egin duten, OWASPen zein arriskurekin eta AI Erregelamenduaren zein artikulurekin lotuta dauden eta zer konpondu lehenik.

Ez dugu ezer gordetzen eta ez dugu erasorik egiten. Zuk exekutatzen dituzu zure probak; guk igotzen diguzun fitxategia soilik irakurtzen dugu, memorian, eta ez da inongo erregistrotan apuntatzen.

Zein fitxategi irakurtzen ditugun

Hau irakurtzen dugu: promptfooren JSON edo JSONL fitxategia (promptfoo eval -o, promptfoo redteam run -o) eta garaken report.jsonl. Gehienez 5 MB. Fitxategia beste formatu batekoa bada, esango dizugu.

Giskard: bere dokumentazioak dio eskanerraren txostena JSON formatuan esporta daitekeela, baina ez du argitaratzen fitxategi hori nolakoa den, eta ez dugu asmatzen. Argitaratzen denean, gehituko dugu.

garak-en report.jsonl batek ereduaren erantzun guztiak gordetzen ditu eta MB asko pisa dezake. Proba bakoitzeko emaitzak bakarrik gordetzeko, zure ordenagailuan: jq -c 'select(.entry_type=="eval")' report.jsonl > resultados.jsonl

Zure emaitzak

Ikusi duguna

Zer egin lehenik

    Kategoriaka

      Txostena zure nabigatzailetik deskargatzen da. Guk ez dugu kopiarik gordetzen.

      Nola irakurtzen dugun

      Proba bat, emaitza bat
      Gainditu egiten du, huts egiten du edo errorea ematen du. Errorea ematen dutenak aparte kontatzen dira: ez dakizu gaindituko zuten.
      Kategoriaka
      Probatu duzun eraso motaren arabera taldekatzen dugu (engainatzen duten jarraibideak, ihes egiten duten datuak, asmatutako erantzunak…).
      OWASP eta AI Erregelamendua
      Kategoria bakoitzari OWASPen arrisku hurbilena eta AI Erregelamenduaren 9., 15. edo 55. artikuluak jartzen dizkiegu. Gida bat da, ez auditoretza.
      Zer egin lehenik
      Hutsegite gehien dituzten kategoriekin hasten gara, bakoitzerako aholku argi batekin.

      Zure sistema arrisku handikoa den jakiteko, begiratu Arrisku handikoa al da nire IA?. Zure taldeak zer IA erabiltzen duen ikusteko, IAren inbentarioa. Hau ez da lege-aholkularitza.

      Ohiko galderak

      AA sistemaren aurka erasoak egiten al dituzue?

      Ez. Zuk exekutatzen dituzu zure probak zure tresnekin eta emaitzen fitxategia igotzen diguzu. Guk irakurri eta azaldu bakarrik egiten dugu. Inoiz ez gara konektatzen zure sistemara.

      Nire fitxategia gordetzen duzue?

      Ez. Fitxategia berehala irakurtzen da, memorian, eta ez da gordetzen ez inolako erregistrotan idazten: ez testua ez zure probetako izenak. Orria ixten baduzu, desagertu egiten da. Inprimatzeko txostena zuk deskargatzen duzu, zure nabigatzailetik.

      Zein fitxategi irakurtzen dituzue?

      promptfooren JSONa edo JSONLa (promptfoo eval -o, promptfoo redteam run -o) eta garaken report.jsonl irakurtzen ditugu. 5 MB arte. Fitxategia beste formatu batekoa bada, esan egiten dizugu: ez dugu asmatzen.

      Eta Giskarden txostenak?

      Oraindik ez. Giskard: bere dokumentazioak dio eskanerraren txostena JSON formatuan esporta daitekeela, baina ez du argitaratzen fitxategi hori nolakoa den, eta ez dugu asmatzen. Argitaratuta dagoenean, gehituko dugu.

      Nire garaken report.jsonl handia da. Zer egin?

      report.jsonl-ek ereduaren erantzun guztiak gordetzen ditu. Garak-en report.jsonl batek ereduaren erantzun guztiak gordetzen ditu eta MB asko pisa dezake. Proba bakoitzeko emaitzekin bakarrik gelditzeko, zure ordenagailuan: jq -c 'select(.entry_type=="eval")' report.jsonl > resultados.jsonl Horrela proba bakoitzaren emaitza bakarrik igotzen duzu.

      Nola zenbatzen ditut probak?

      promptfoo-n, fitxategiko lerro bakoitza proba bat da: gainditzen du edo huts egiten du. Errorea ematen dutenak bereizita kontatzen dira, ez baitakizu gaindituko zuketen. garak-en, proba bakoitza ereduaren erantzun bat da, detektagailu batek ebaluatua; puntuatu ezin izan diren erantzunak ez dira kontatzen.

      Zergatik ez da ateratzen nire proben kategoria?

      promptfoo-n, proba bakoitzaren kategoria segurtasun-azterketen fitxategietan bakarrik dator (promptfoo redteam run). Ebaluazio normal batean totalak ematen dizkizugu eta esan egiten dizugu. garak-en, kategoria zunda bakoitzaren modulutik ateratzen da; gure taulan ez badago, «beste proba batzuk» gisa kontatzen dugu eta ez dugu OWASPekin lotzen.

      Zer esan nahi du OWASPeko kode bakoitzak?

      OWASPen zerrendak dira: hizkuntza-ereduak dituzten aplikazioen (2025eko edizioa) eta agenteak dituzten aplikazioen (2026ko edizioa) hamar arrisku nagusienak. Proba zehatz batek oso gutxitan egokitzen da erabat arrisku bakar batean: lana ordenatzeko gida bat da, ez OWASPen auditoretza bat.

      AA Erregelamenduaren artikuluek behartzen naute?

      9. artikuluak (arriskuen kudeaketa) eta 15.ak (zehaztasuna, sendotasuna eta zibersegurtasuna) arrisku handiko IA sistemak behartzen dituzte, eta 55.ak arrisku sistemikoko erabilera orokorreko ereduak. Zurea arrisku handikoa den jakiteko, begiratu «Arrisku handikoa al da nire IA?» /ia-alto-riesgo helbidean. Ez bada, praktika on gisa balio dute. Hau ez da aholkularitza juridikoa.

      Dena pasatzen bada, nire AA segurua da?

      Ez. Esan nahi du proba horiek gainditu dituela. Beste proba, beste jarraibide edo beste eredu batek beste emaitza eman dezake. Errepikatu probak zerbait aldatzen duzun bakoitzean.

      Iturriak

      Iturriak 2026ko azaroaren 1ean kontsultatu dira. Tresna honek zure fitxategiak dioena ordenatzen du; ez du ordezkatzen, ezta bere kabuz egiaztatzen ere, eta proba batek gainditzeak ez du frogatzen zure sistema segurua denik.