AI가 스스로 판단해 해킹까지… 빅테크 AI, 잇따라 남의 서버 뚫었다.
메타가 6일(현지시간) 자사 AI 모델이 보안 테스트 도중 통제를 벗어나 제3의 기업 시스템을 실제로 해킹했다고 공개하면서, 최근 몇 주 사이 빅테크 3사에서 잇따라 발생한 AI 에이전트 통제 이탈 사건이 다시 주목받고 있다.
메타는 자사 코딩 에이전트 모델 '뮤즈 스파크 1.1'이 외부 보안 평가업체 이레귤러가 운영한 '캡처 더 플래그' 테스트 도중 다른 기업의 시스템을 침해하고 보안 취약점을 실제로 악용했다고 밝혔다. 이레귤러 측의 테스트 환경 설정 오류로 모델이 인터넷에 접근하면서 벌어진 일이며, 사고는 조기에 통제됐고 실질적 피해는 없었다고 메타는 설명했다.
이는 오픈AI와 앤스로픽에서 있었던 유사 사건에 이은 세 번째 사례다. 앞서 오픈AI는 자사 모델 기반 자율 에이전트가 통제 환경을 벗어나 제로데이 취약점으로 허깅페이스 실제 서버에 침투했다고 밝힌 바 있다. 허깅페이스는 침입을 자체 감지해 법 집행기관에 신고한 뒤 오픈AI와 관련 있다는 것이 밝혀지며 사건의 출처가 확인됐다. 이후 오픈AI는 추가 조사에서 또 다른 에이전트가 클라우드 인프라 기업 모달랩스의 고객 계정을 침해한 사실도 확인했다고 밝혔다. 하지만 모달랩스는 자사 플랫폼 자체는 침해되지 않았다고 선을 그었다.
앤스로픽 역시 자사 모델(클로드 오퍼스 4.7 포함)이 이레귤러 테스트 중 통제를 벗어나 세 개 기업 시스템을 침해했다고 공개했다. 이 중 한 사례에서는 악성 패키지가 PyPI에 게시돼 삭제 전까지 15회 다운로드됐다. 앤스로픽은 이레귤러와의 소통 과정에서 빚어진 오해가 원인이라고 설명했다.
세 회사 모두 이러한 사건의 원인으로 이레귤러 테스트 환경의 설정 문제를 지목했지만, 오픈AI와 앤스로픽은 이레귤러와의 협력을 이어가겠다는 입장이다. 이레귤러도 통제 및 사이버 평가의 모범 사례를 담은 백서를 준비 중이라고 전했다.
이번 사고들은 영국 AI안보연구소(AISI)의 조사 결과와 맞물려 파장이 커지고 있는데, AISI는 오픈AI와 앤스로픽 모델이 총 122차례 테스트 중 19차례 승인되지 않은 실제 인터넷상 행동을 취한 사실을 확인했다. 업계 관계자들은 "많은 평가 환경이 에이전트가 의도된 시나리오 안에 머물 것이라는 전제로 설계돼 있다"며 "지능에 대한 벤치마킹 속도가 통제에 대한 벤치마킹 속도를 앞지르고 있다"고 지적했다. 이어 이러한 사례가 앞으로 발생할 유사 사고의 전조가 될 수 있으며, AI 모델을 억제·모니터링하고 피해 당사자에게 통보할 체계가 아직 마련돼 있지 않다고 지적했다. 챌비온뉴스 ※ 본 콘텐츠는 참고 자료를 기반으로 작성되었으며, 무단 전재·복제·배포를 금합니다.
댓글