OpenAI는 GPT-Red라는 내부 AI 시스템을 개발하여 자체 AI 모델의 보안을 테스트하도록 설계했습니다. GPT-Red는 자동 "적대 팀" 도구로 작동하여 다양한 프롬프트를 대상 AI 모델에 전송하고 응답을 분석함으로써 보안 취약점을 찾습니다. 강화 학습 자기 경기 기술을 통해 GPT-Red는 인간 보안 팀보다 효과적으로 약점을 찾도록 훈련되었습니다. 내부 테스트에서 GPT-Red는 인간 팀에 비해 테스트된 시나리오를 악용하는 데 훨씬 높은 성공률을 보여주었습니다. 또한 GPT-Red 사용은 프롬프트 주입 공격과 같은 다른 유형의 공격으로부터 OpenAI AI 모델을 보호하는 데 효과적임이 입증되었습니다.
