‘높은 점수를 얻는 것’이 곧 ‘완전한 납품 가능성’을 의미하는 것은 아니다: AI 순위표가 신뢰 재평가의 시기를 맞고 있다
구 버전 순위의 점수는 만점에 근접했지만, 신규 버전의 실전 성적은 집단적으로 낙제점을 기록했다. 대형 모델 평가 자체가 하나의 비즈니스로 전환되면서, 기업들의 선택 기준은 이제 순위를 보는 데서 비용 계산으로 옮겨가고 있다.
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
구 버전 순위의 점수는 만점에 근접했지만, 신규 버전의 실전 성적은 집단적으로 낙제점을 기록했다. 대형 모델 평가 자체가 하나의 비즈니스로 전환되면서, 기업들의 선택 기준은 이제 순위를 보는 데서 비용 계산으로 옮겨가고 있다.
작성자|우항위안 편집자|징위 10월 23일 오전, Kimi 공식 계정은 X와 비디오 계정을 통해 24초짜리 영상을 게시했다. 화면에는 레트로 스타일의 구형 컴퓨터가 등장하고, 화면에는 Kimi Code가 실행 중이며, 터미널에는 Three.js 코드가 줄줄이 출력되며 복잡한 3D 장면이 생성되고 있었다. 눈썰미가 좋은 네티즌들은 곧 왼쪽 상단의 모델 표시줄에서 답을 찾아냈다—「Model: Kimi K3.1」. Kimi 공식이 공개한 K3.1 사전 홍보 영상|출처: X @Kimi_Moonshot 구식 고물 같은 기계로 오늘날 가장 첨단인 3D 코드를 구동하는 이 반전 자체가 바로 월지암면이 전하려는 메시지였다. 그로부터 십여 시간 후, 10월 24일 자정을 막 넘긴 시점에 프로그래머의 날을 맞아 Kimi K3.1 Pro가 정식으로 출시되었고, 동시에 속도가 2~3배 빨라진 Highspeed 버전도 함께 선보였다. 공식은 전체 모델 가중치를 11월 4일까지 공개하겠다고 약속했다. 지난 세대 K3가 발표된 지 벌써 석 달이 넘었다. 이 석 달 동안 월지암면이 겪은 일들은 대부분의 기업이 한 해 동안 겪는 것보다도 많았다. 01 「양 늘리고 가격은 올리지 않는」 0.1 먼저 K3.1 Pro가 무엇인지부터 설명하자. 이는 완전히 새로운 모델이 아니다. 월지암면은 명확히 밝혔다. K3.1 Pro는 K3의 후훈련 버전으로, 기본 아키텍처는 그대로—총 매개변수 2조 8천억 개, 활성화 매개변수 1,040억 개의 혼합 전문가 아키텍처, 문맥 창 크기 100만 토큰, 이미지와 비디오 입력을 원래부터 지원한다는 점도 변함없다. 달라진 것은 후훈련 부분이다. 공식에 따르면, “후훈련 연산력을 대폭 증강”했으며 수백 개의 하위 분야에서 대규모 연합 강화학습을 수행했다. 이를 위해 강화학습 프레임워크, 샌드박스 인프라, 장문맥 추론 등 기반 엔지니어링 전반을 한 번에 재구성했다. 다시 말해, 같은 두뇌를 다시 한 번 어떻게 일을 처리해야 하는지 ‘재교육’한 셈이다. 그 효과는 각종 순위표에서도 드러난다. 프로그래밍 지능 에이전트를 평가하는 Terminal-Bench 4.0에서 K3.1 Pro는 65.7%를 기록해 GPT-6 Astra의 58.2%와 Claude Opus의 66.4%를 각각 앞서며 불과 1포인트 차로 경쟁 상대들을 제쳤다. 지난 세대 K3는
1Password는 2026년 10월 22일에 새로운 플랫폼인 「1Password for Agents」를 출시했으며, 이를 통해 사용자는 Claude Duet, ChatGPT Work, Grok Bot 등과 같은 AI 에이전트에게 자신의 개인 계정에 대신 로그인하도록 권한을 부여할 수 있습니다. 다만, 에이전트 자체는 원래 비밀번호를 접근하거나 저장하거나 확인할 수 없습니다. 이 모든 과정은 디지털 신원 인증, 사용자의 실시간 확인, 그리고 비밀번호 관리자 측의 자동 입력에 의존합니다.
Claude Mods는 Anthropic이 출시한 Claude Code의 프로그래밍 가능 플러그인 시스템으로, ‘주의 인터페이스’(Attention Interface)의 초기 형태를 나타냅니다. 이는 기존의 기계 지향형 에이전트 런타임 프레임워크(agent harness)에서 인간의 주의에 맞춘 맞춤형 상호작용 계층으로 전환합니다. 사용자는 TypeScript/JS로 Mods를 작성하거나 자연어를 통해 Claude에게 자동 생성을 요청함으로써, 언제 중단될지, 어떤 내용을 보게 될지, 어떤 결정을 내려야 하는지를 스스로 정할 수 있습니다.
Claude Mods는 Anthropic이 출시한 개발자용 프로그래밍 가능 플러그인 시스템으로, ‘에이전트 하네스’가 기계 측 인터페이스에서 인간 측 인터페이스인 ‘어텐션 인터페이스’로 전환됨을 의미합니다. 이를 통해 사용자는 TypeScript/JavaScript를 활용해 Claude Code의 동작, 렌더링 및 상호작용 로직을 맞춤 설정할 수 있으며, 사람과 AI가 함께 워크플로를 설계하는 것을 가능하게 합니다. 이 메커니즘은 You Should Know와 같은 내장 기능에도 이미 적용되어 있으며, 사용자가 직접 플러그인을 구축하거나 Claude의 도움을 받아 생성하는 것도 지원합니다.