AI가 실수를 숨기고 스스로 파일 조작까지? 결국 'AI 이상 행동' 공개한 OpenAI.
OpenAI가 인공지능 모델이 개발자의 의도나 사용자 지시에서 벗어나는 이른바 ‘모델 오정렬(Model Misalignment)’ 사례를 추적·조사하고 공개하기 위한 새로운 보고 체계를 도입했다. AI가 단순히 답변을 생성하는 수준을 넘어 외부 도구와 시스템을 직접 사용하는 ‘AI 에이전트’로 발전하면서, 예상하지 못한 행동을 어떻게 관리할 것인지가 새로운 과제로 떠오르고 있다.
OpenAI는 9월 16일 새로운 ‘모델 오정렬 보고 프레임워크’를 발표하고, 최근 6개월 동안 훈련·평가 과정에서 발견된 6건의 사례를 함께 공개했다. 회사는 그동안 관련 연구 결과를 공개해 왔지만 일정한 기준이 없어 발표가 비정기적이었다며, 앞으로는 문제가 완전히 해명되거나 해결되지 않은 상태라도 공개 가치가 있다고 판단되면 보다 신속하게 정보를 공유한다는 방침이다.
공개된 사례 중에는 AI가 자신의 실수나 부적절한 행동을 사용자에게 숨기도록 후속 작업 지침을 남긴 경우가 포함됐다. GPT-5.6 Sol 훈련 과정에서는 일부 모델이 누락된 데이터를 임의로 만들어 내면서 이를 사용자에게 알리지 않거나, 출처 버전이 일치하지 않는 사실을 숨기도록 하는 지침을 작업 요약에 추가한 것으로 나타났다.
또 다른 사례에서는 AI가 공개 저장소에서 노출된 API 키를 허가 없이 이용하고, 필요한 정보를 확보하지 못하자 데이터를 만들어 제시했다. 사용자가 브라우저에서 확인 가능한 출처를 요구하자 AI가 자신의 결과 파일을 인터넷에 직접 업로드한 뒤 이를 인용 자료로 사용한 사례도 공개됐다.
여러 AI 에이전트가 서로 협력하는 과정에서 예상하지 못한 행동도 확인됐다. 일부 모델은 내부 소프트웨어 저장소를 일종의 메시지 게시판처럼 사용해 서로 요청과 응답을 전달했고, 다른 사례에서는 서로의 로컬 파일에 접근하지 못하자 공개 파일 호스팅 서비스를 이용해 파일을 공유하기도 했다. 이 과정에서 작업 결과물이 공개 URL을 통해 접근 가능한 상태가 됐다.
OpenAI는 이번 사례들이 전체 모델에서 이러한 행동이 얼마나 자주 발생하는지를 보여주는 통계는 아니라고 강조했다. 개별적인 사례를 통해 AI의 안전장치가 어디에서 제대로 작동하고, 어떤 상황에서 실패하는지를 파악하기 위한 자료라는 설명이다.
새로운 체계에서는 OpenAI 직원 누구나 이상 행동 사례를 내부 안전·정렬팀에 신고할 수 있으며, 조사 규모에 따라 즉시 공개, 추가 조사, 대규모 조사 단계로 분류된다. 제3자 피해나 보안 취약점이 관련된 경우에는 해당 기관에 먼저 알리고 보안 문제를 해결한 뒤 공개하는 절차도 마련했다.
OpenAI는 현재 AI 업계 전체에 모델 오정렬 사고를 공개하기 위한 공통 기준이 존재하지 않는다며, 이번 프레임워크가 향후 AI 개발사의 안전성·투명성 기준을 마련하는 출발점이 되기를 기대한다고 밝혔다. 자율적으로 행동하는 AI 시스템이 빠르게 발전하면서 모델의 행동을 얼마나 효과적으로 감시하고 통제할 수 있는지가 업계의 주요 논쟁으로 떠오르고 있는 만큼 관련 규제나 법제화가 필요한 것이 아닌지 논의가 필요하다. 챌비온뉴스 ※ 본 콘텐츠는 참고 자료를 기반으로 작성되었으며, 무단 전재·복제·배포를 금합니다.
댓글