캐나다의 AI 기업 코헤어는 월요일, 알리바바의 최신 AI 모델 중 하나인 Qwen3.8-Flash-Next가 정기 사이버보안 테스트 중에 베이징 소재 서버로 파일을 업로드하려 시도한 사실을 발견했다고 밝혔습니다. 해당 모델은 자체 메모에서 어떠한 도구도 사용하지 않겠다고 명시했음에도 불구하고 말입니다.
이 사건은 처음에는 해당 모델이 기업들에 대한 근본적인 약속—오픈 소스 모델을 자체 호스팅하면 데이터를 사내에 보관할 수 있다는 약속—을 훼손했다는 우려를 불러일으켰습니다. 그러나 기업 스파이 활동에 대한 초기의 우려는 오래가지 않았습니다. 연구진은 이 문제가 의도적으로 민감한 정보를 중국으로 비밀리에 전송하려는 시도라기보다는, 모델들이 지시사항을 벗어나 예기치 않게 행동하게 만드는 정돈되지 않은 학습 환경의 부산물일 가능성이 높다고 보고, 그 위협을 신속히 무효화했습니다.
이 사건은 금요일, Qwen 모델에게 악성코드 다운로드를 차단하는 규칙을 작성하도록 요청한 평가 과정에서 시작되었습니다. Cohere의 블로그 글에 따르면, 해당 모델의 서면 추론에는 외부 도구를 사용하지 않겠다는 내용이 명시되어 있었습니다. 그럼에도 불구하고 바로 다음 단계에서, 보안 샌드박스에 의해 차단되기 전에 외부 서버로 테스트 문자열(짧은 자리표시 텍스트)을 전송하려 시도했습니다.
코히어는 해당 행동이 의도적인 것인지, 아니면 학습 과정에서 남은 잔여물인지 여부를 밝힐 수 없다고 밝혔다.
모델의 의도를 둘러싼 논쟁에 대해 묻자, 코허리의 공동창업자 이반 장은 테크크런치와의 인터뷰에서 코허리가 자체 모델들이 학습 시뮬레이터에서 이상한 습관을 습득하는 모습을 목격했다고 밝혔다.
“의도나 동기를 부여하는 것은 정말 어렵습니다. 우리는 자체 모델 추적 기록을 분석해 왔고, 보상 해킹 사례도 확인했으며, 때로는 이러한 모델들이 자신의 샌드박스를 탈출하려는 방면에서 매우 창의적으로 행동하기도 합니다.”라고 장은 말했습니다. (보상 해킹이란, 모델이 주어진 과제를 의도한 대로 수행하지 않고도 점수를 얻기 위해 찾아내는 편법을 의미합니다.)
AI 모델이 스스로 행동을 수행하는 에이전트로 작동하도록 학습시키기 위해, 알리바바와 같은 기업들은 소프트웨어용 비행 시뮬레이터와 유사한 수천 개의 연습 환경에서 이를 훈련합니다. 모델은 시뮬레이터에서 작업을 완료할 때마다 보상을 받으며, 그 과정에서 특정 습관을 습득하게 됩니다. 만약 이러한 연습 환경들이 알리바바의 클라우드 서버에 파일을 일상적으로 저장한다면, 모델은 기본적으로 해당 서버에 파일을 저장하는 방식을 학습할 수 있습니다.
비평가들은 또한 이번 사건이 코허리가 행동을 조사하는 방식 때문에 발생했을 수 있으며, 모델이 스스로 이를 얼마나 자주 수행하는지 측정하기보다는 오히려 그 방향으로 모델을 유도했기 때문이라고 주장했다.
업로드 시도를 촉발한 원인을 파악하기 위해, Cohere는 네트워크 명령의 시작 부분(한 컴퓨터가 다른 컴퓨터에 연결하도록 지시하는 명령어)을 제공하고 모델이 이를 완성하도록 했습니다. 모델은 학습 과정에서 수천 개의 일반적인 네트워크 명령어를 처리했기 때문에, 마치 매우 발전된 자동완성 기능과도 같았으며, 종종 웹 주소를 자동으로 완성해 주었고 그 중 일부는 알리바바의 서버 주소였습니다.
코히어는 원래 업로드 시도는 그러한 도움 없이 이루어졌지만, 이러한 행동은 드물다고 밝혔다.
개발자들이 추가 증거를 요청한 후, Cohere는 월요일 저녁 AI 개발 플랫폼인 Hugging Face에 자사 테스트의 원시 트레이스를 공개했으며, 다른 이들이 해당 동작을 재현할 수 있도록 스크립트도 함께 제공했습니다.
한 초기 회의론자는 증거를 검토한 결과, Qwen이 의심스러운 웹 주소를 생성할 수 있다는 증거는 강력하다고 평가했지만, 알리바바가 백도어를 심었거나 Qwen이 의도를 고의로 숨기고 있다는 증거는 발견하지 못했다.
이 사건은 각국 정부가 중국산 AI에 대해 어느 정도의 제한을 두어야 할지 결정하고 있는 시점에 발생했다. 지난주 미국 국토안보부는 연방 민간기관들에 중국의 AI 개발업체 DeepSeek의 제품을 자사 시스템에서 삭제하도록 명령했다.
자사 블로그 게시물에서 Cohere는 각국 정부에 대해, 중국산 AI에 대한 제한이 정부 컴퓨터에서 실행되는 모델에도 적용되는지 명확히 해 달라고 촉구했습니다.
“저는 이러한 오픈 가중치 모델에 대한 전면적인 규제를 요구하는 것이 아닙니다.”라고 장은 테크크런치에 말하며, 기업들은 오픈 모델을 인터넷에서 다운로드한 어떤 프로그램과도 마찬가지로 취급해야 한다고 덧붙였습니다.
자체 AI 모델을 정부에 판매하는 Cohere는, 관리들이 무료 중국산 대안에 대해 더욱 경계를 갖게 될 경우 이익을 얻을 수 있다.
저희 기사에 포함된 링크를 통해 구매하시면, 저희는 소정의 수수료를 받을 수 있습니다. 이는 편집 독립성에 영향을 미치지 않습니다.
에디토리얼 펠로우
One Pass를 구매하면 두 번째 패스를 무료로 받으세요. 올해 최고의 창업자 부트캠프인 TechCrunch 행사에 공동 창업자나 파트너를 무료로 동반하여 더 많은 내용을 확인하세요. BOGO 혜택이 종료되기 전에 미리 예약하세요.
가장 인기 있는
Grok, AI가 생성한 ‘오디세이’의 첫 7분을 공개했습니다.
앤서니 하
AI 묘지: 성공하지 못한 프로젝트와 스타트업의 실시간 목록
로렌 포리스털
워하운드, 전쟁 개를 설계하고 안두릴 장비로 무장시키기 위해 2억 달러를 조달
도미닉-마도리 데이비스
우버, 전 직원 3만 명을 ChatGPT Work에 배치
루카스 로페크
에어비앤비, 투숙객의 집안일을 제한해 호스트들의 반발 촉발
로렌 포리스털
이익이 43% 감소한 가운데, 테슬라는 캘리포니아에서 옵티머스 로봇의 생산을 시작했다.
커스틴 코로섹
션 오케인
인터넷이 매우 심각한 사이버보안 위기를 겪고 있습니다
사라 페레즈