Què diuen les proves de seguretat de la teva IA?
Puja el resultat de les teves proves i t'ho expliquem en català: quantes han passat i quantes han fallat en cada categoria, amb quins riscos d'OWASP i articles del Reglament d'IA es relacionen i què cal arreglar primer.
No desem res i no llancem atacs. Tu executes les teves proves; nosaltres només llegim el fitxer que ens puges, a la memòria, i no s'anota en cap registre.
Quins fitxers llegim
Llegim el JSON o el JSONL de promptfoo (promptfoo eval -o, promptfoo redteam run -o) i el report.jsonl de garak. Fins a 5 MB. Si el fitxer és d'un altre format, t'ho diem.
Giskard: la seva documentació diu que l'informe de l'escàner es pot exportar a JSON, però no publica com és aquest fitxer, i no ho endevinem. Quan estigui publicat, ho afegirem.
Un report.jsonl de garak desa totes les respostes del model i pot pesar molts MB. Per quedar-te només amb els resultats per prova, al teu ordinador: jq -c 'select(.entry_type=="eval")' report.jsonl > resultados.jsonl
El que hem vist
Què cal fer primer
Per categoria
L'informe es descarrega des del teu navegador. Nosaltres no en desem cap còpia.
Com ho llegim
- Una prova, un resultat
- Passa, falla o dona error. Les que donen error es compten a part: no saps si haurien passat.
- Per categoria
- Agrupem pel tipus d'atac que has provat (instruccions que enganyen, dades que s'escapen, respostes inventades…).
- OWASP i Reglament d'IA
- A cada categoria li posem el risc d'OWASP més proper i els articles 9, 15 o 55 del Reglament d'IA. És una guia, no una auditoria.
- Què cal fer primer
- Comencem per les categories amb més errors, amb un consell clar per a cadascuna.
Per saber si el teu sistema és d'alt risc, mira És d'alt risc la meva IA?. Per veure quina IA fa servir el teu equip, l'inventari d'IA. Això no és assessorament jurídic.
Preguntes freqüents
Llanceu atacs contra la meva IA?
No. Tu executes les teves proves amb les teves eines i ens puges el fitxer de resultats. Nosaltres només el llegim i l'expliquem. No ens connectem mai al teu sistema.
Deseu el meu fitxer?
No. El fitxer es llegeix a l'instant, a la memòria, i no es desa ni s'anota en cap registre: ni el text ni els noms de les teves proves. Si tanques la pàgina, desapareix. L'informe per imprimir el descarregues tu, des del teu navegador.
Quins fitxers llegiu?
Llegim el JSON o el JSONL de promptfoo (promptfoo eval -o, promptfoo redteam run -o) i el report.jsonl de garak. Fins a 5 MB. Si el fitxer és d'un altre format, t'ho diem: no endevinem.
I els de Giskard?
Encara no. Giskard: la seva documentació diu que l'informe de l'escàner es pot exportar a JSON, però no publica com és aquest fitxer, i no ho endevinem. Quan estigui publicat, ho afegirem.
El meu report.jsonl de garak pesa molt. Què faig?
El report.jsonl guarda totes les respostes del model. Un report.jsonl de garak guarda totes les respostes del model i pot pesar molts MB. Per quedar-te només amb els resultats per prova, al teu ordinador: jq -c 'select(.entry_type=="eval")' report.jsonl > resultados.jsonl Així només puges el resultat de cada prova.
Com compto les proves?
A promptfoo, cada fila del fitxer és una prova: passa o falla. Les que donen error es compten a part, perquè no saps si haurien passat. A garak, cada prova és una resposta del model avaluada per un detector; les respostes que no es van poder puntuar no es compten.
Per què no surt la categoria de les meves proves?
A promptfoo, la categoria de cada prova només ve als fitxers de les anàlisis de seguretat (promptfoo redteam run). En una avaluació normal et donem els totals i t'ho diem. A garak, la categoria surt del mòdul de cada sonda; si no és a la nostra taula, la comptem com a «altres proves» i no la relacionem amb OWASP.
Què vol dir cada codi d'OWASP?
Són les llistes d'OWASP dels deu riscos principals de les aplicacions amb models de llenguatge (edició 2025) i de les aplicacions amb agents (edició 2026). Una prova concreta poques vegades encaixa a la perfecció en un sol risc: és una guia per ordenar la feina, no una auditoria d'OWASP.
Els articles del Reglament d'IA m'obliguen?
Els articles 9 (gestió de riscos) i 15 (precisió, solidesa i ciberseguretat) obliguen els sistemes d'IA d'alt risc, i el 55 els models d'ús general amb risc sistèmic. Per saber si el teu és d'alt risc, mira «És d'alt risc la meva IA?» a /ia-alto-riesgo. Si no ho és, serveixen com a bona pràctica. Això no és assessorament jurídic.
Si tot passa, la meva IA és segura?
No. Vol dir que ha passat aquestes proves. Altres proves, altres instruccions o un altre model poden donar un altre resultat. Repeteix les proves cada cop que canviïs alguna cosa.
Fonts
- promptfoo: formats de sortida (llicència MIT) (s'obre en una altra pestanya)
- promptfoo: plugins i OWASP LLM Top 10 (s'obre en una altra pestanya)
- garak: l'informe de resultats (llicència Apache-2.0) (s'obre en una altra pestanya)
- garak: sondes disponibles (s'obre en una altra pestanya)
- OWASP Top 10 for LLM Applications 2025 (s'obre en una altra pestanya)
- OWASP Top 10 for Agentic Applications for 2026 (s'obre en una altra pestanya)
- Reglament (UE) 2024/1689 (Reglament d'IA), articles 9, 15 i 55 (s'obre en una altra pestanya)
Fonts consultades l'1 de novembre de 2026. Aquesta eina ordena el que diu el teu fitxer; no el substitueix ni el comprova per ella mateixa, i que una prova passi no demostra que el teu sistema sigui segur.