Dans un contexte où les entreprises intègrent de plus en plus d’agents d’intelligence artificielle dans leurs processus, la sécurité et la conformité de ces systèmes deviennent primordiales. Pour répondre à ce besoin croissant, OpenAI annonce l’acquisition de Promptfoo, une plateforme spécialisée dans la détection et la correction des vulnérabilités des systèmes d’IA.
Intégration de Promptfoo dans OpenAI Frontier
L’acquisition de Promptfoo, une fois finalisée, verra l’intégration de sa technologie directement dans OpenAI Frontier, la plateforme d’OpenAI dédiée à la construction et à l’exploitation d’assistants IA. Cette intégration permettra aux entreprises de bénéficier d’outils de test et d’évaluation des comportements des agents, de détecter les risques avant le déploiement et de maintenir des registres clairs pour la surveillance, la gouvernance et la responsabilisation.
Les atouts de Promptfoo
L’équipe de Promptfoo, dirigée par Ian Webster et Michael D’Angelo, a développé une suite d’outils performants, déjà utilisés par plus de 25 % des entreprises du Fortune 500. Promptfoo a également créé une interface en ligne de commande (CLI) open-source et une bibliothèque largement utilisées pour l’évaluation et le « red-teaming » des applications LLM. Cette expertise sera mise à profit pour enrichir les capacités d’OpenAI Frontier et continuer à développer le projet open-source.
Les bénéfices pour les entreprises
Srinivas Narayanan, CTO of B2B Applications chez OpenAI, souligne l’expertise de Promptfoo dans l’évaluation, la sécurisation et le test des systèmes d’IA à grande échelle. L’intégration de ces capacités dans Frontier apportera plusieurs avantages clés :
- Sécurité et tests intégrés à la plateforme : Des capacités de tests de sécurité automatisés et de « red-teaming » seront directement intégrées à Frontier.
- Sécurité et évaluation intégrées aux flux de travail : Frontier s’intégrera aux processus d’identification, d’investigation et de correction des risques des agents, faisant de la sécurité un élément central du développement des systèmes d’IA.
- Supervision et responsabilisation : Des outils de reporting et de traçabilité aideront les organisations à documenter les tests, à suivre les changements au fil du temps et à respecter les exigences croissantes en matière de gouvernance, de risque et de conformité.
L’avenir de la sécurité de l’IA
Ian Webster, cofondateur et PDG de Promptfoo, explique que l’entreprise a été créée pour répondre au besoin de sécuriser les systèmes d’IA. En rejoignant OpenAI, Promptfoo pourra accélérer ce travail et apporter des capacités de sécurité, de sûreté et de gouvernance renforcées aux équipes qui développent des systèmes d’IA pour le monde réel. Cette acquisition marque une étape importante dans l’évolution de la sécurité de l’IA, en intégrant des outils de protection directement dans les plateformes de développement.
En savoir plus : https://openai.com/index/openai-to-acquire-promptfoo/
Laisser un commentaire