전체 AI 소식

NVIDIA DGX Spark에서 MoE 추론을 향상시키는 3가지 방법

토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...

Mirendil, 1,000만 토큰 규모의 첫 번째 모델인 Fern 0.1을 출시했습니다

Mirendil은 1,000만 토큰의 컨텍스트 창을 갖춘 처음으로 개발한 모델인 Fern 0.1을 출시했습니다. 이 모델은 에이전트형 AI 연구개발 작업을 목표로 하며, 1,000만 토큰 기준 RULER 단일 바늘 테스트에서 100% 점수를 기록했지만, 에이전트형 코딩에서는 최첨단 모델들에 비해 뒤처집니다. 해당 게시물 “Mirendil, 1,000만 토큰 컨텍스트를 갖춘 첫 번째 모델 Fern 0.1 출시”는 MarkTechPost에 처음 게재되었습니다.

‘높은 점수를 얻는 것’이 곧 ‘완전한 납품 가능성’을 의미하는 것은 아니다: AI 순위표가 신뢰 재평가의 시기를 맞고 있다

구 버전 순위의 점수는 만점에 근접했지만, 신규 버전의 실전 성적은 집단적으로 낙제점을 기록했다. 대형 모델 평가 자체가 하나의 비즈니스로 전환되면서, 기업들의 선택 기준은 이제 순위를 보는 데서 비용 계산으로 옮겨가고 있다.

바이두, 수백 페이지 문서 파싱을 위한 무제한 OCR 2 오픈소스 출시

바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.

소셜 월드 모델 평가 격차

arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f

역사 문서 전사용 OCR 시스템의 엔터티 인식 기반 평가

arXiv:2610.33004v1 발표 유형: 신규 초록: 광학 문자 인식(OCR)은 역사 기록 보관소의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 의미 있는 정보가 제대로 유지되는지를 반드시 반영하지 못합니다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 엔터티 수준에서 분석합니다. 공개된 벤치마크 데이터셋인 Berrutti 아카이브의 175개 문서와, 게재 승인 시 공개될 수동으로 주석된 5,209개의 엔터티 언급을 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교합니다. 전역적 전사 정확도 외에도

데이터 문화가 제로 트러스트에서 배포 가능한 AI 분석 에이전트에 이르기까지의 여정을 어떻게 측정했는가

Data Culture는 AI 분석 도입 초기의 정확도를 0%에서 94.7%로 끌어올린 3단계 평가 프레임워크를 구축했습니다.

AWS가 CDK 기반의 관리형 Bedrock 지식 저장소 스마트 검색 참조 구현을 발표했습니다.

AWS는 2026년 10월 26일 블로그를 통해, AWS CDK를 활용해 구축한 엔터프라이즈급 에이전트 기반 검색(Agentic Retrieval)의 참조 구현을 소개했습니다. 이 솔루션은 Amazon Bedrock의 관리형 지식 베이스(Managed Knowledge Base)에 특화되어 있으며, 지식 베이스 간의 시맨틱 라우팅, 반복적 검색, 인용 정보를 포함한 출처 추적 답변 및 7계층 관찰성을 지원합니다.

추천 이유：이 자료는 AWS 공식 기술 블로그(2026년 10월 26일 게시)에 실린 것으로, 2024년 8월에 출시된 관리형 KB 및 AgenticRetrieveStream API와 같은 이미 제공되는 기능, 네 스택 CDK 애플리케이션과 같은 검증 가능한 배포 구조, 지역별 이용 가능성 및 관리형 KB에만 한정된 사용 제한 등 명확한 제약 사항, 그리고 오픈소스 구현 세부사항에 초점을 맞추고 있습니다. 성능에 관한 단언이나 제3자에 의한 신뢰성 보증은 포함되어 있지 않으며, 사실성과 시의성을 충족합니다.

Nace AI, AI 에이전트 검색을 위한 Drex 출시: BrowseComp-Plus에서 92.05%, 검색 호출 수는 12.6회

Nace AI는 Drex for Search를 출시하며, 자사의 Drex 의사결정 모델을 AI 에이전트의 문서 검색에 적용했습니다. Nace는 BrowseComp-Plus에서 12.6회의 검색 호출로 92.05%의 성과를 기록했으며, OfficeQA Pro에서는 에이전트의 전환 횟수가 더 적었습니다. 이 글은 MarkTechPost에 처음 게재되었습니다.

Kimi, K3.1 Pro를 출시하며 용량 증가와 가격 인하로 Opus 5.5에 도전합니다

작성자｜우항위안 편집자｜징위 10월 23일 오전, Kimi 공식 계정은 X와 비디오 계정을 통해 24초짜리 영상을 게시했다. 화면에는 레트로 스타일의 구형 컴퓨터가 등장하고, 화면에는 Kimi Code가 실행 중이며, 터미널에는 Three.js 코드가 줄줄이 출력되며 복잡한 3D 장면이 생성되고 있었다. 눈썰미가 좋은 네티즌들은 곧 왼쪽 상단의 모델 표시줄에서 답을 찾아냈다—「Model: Kimi K3.1」. Kimi 공식이 공개한 K3.1 사전 홍보 영상｜출처: X @Kimi_Moonshot 구식 고물 같은 기계로 오늘날 가장 첨단인 3D 코드를 구동하는 이 반전 자체가 바로 월지암면이 전하려는 메시지였다. 그로부터 십여 시간 후, 10월 24일 자정을 막 넘긴 시점에 프로그래머의 날을 맞아 Kimi K3.1 Pro가 정식으로 출시되었고, 동시에 속도가 2~3배 빨라진 Highspeed 버전도 함께 선보였다. 공식은 전체 모델 가중치를 11월 4일까지 공개하겠다고 약속했다. 지난 세대 K3가 발표된 지 벌써 석 달이 넘었다. 이 석 달 동안 월지암면이 겪은 일들은 대부분의 기업이 한 해 동안 겪는 것보다도 많았다. 01 「양 늘리고 가격은 올리지 않는」 0.1 먼저 K3.1 Pro가 무엇인지부터 설명하자. 이는 완전히 새로운 모델이 아니다. 월지암면은 명확히 밝혔다. K3.1 Pro는 K3의 후훈련 버전으로, 기본 아키텍처는 그대로—총 매개변수 2조 8천억 개, 활성화 매개변수 1,040억 개의 혼합 전문가 아키텍처, 문맥 창 크기 100만 토큰, 이미지와 비디오 입력을 원래부터 지원한다는 점도 변함없다. 달라진 것은 후훈련 부분이다. 공식에 따르면, “후훈련 연산력을 대폭 증강”했으며 수백 개의 하위 분야에서 대규모 연합 강화학습을 수행했다. 이를 위해 강화학습 프레임워크, 샌드박스 인프라, 장문맥 추론 등 기반 엔지니어링 전반을 한 번에 재구성했다. 다시 말해, 같은 두뇌를 다시 한 번 어떻게 일을 처리해야 하는지 ‘재교육’한 셈이다. 그 효과는 각종 순위표에서도 드러난다. 프로그래밍 지능 에이전트를 평가하는 Terminal-Bench 4.0에서 K3.1 Pro는 65.7%를 기록해 GPT-6 Astra의 58.2%와 Claude Opus의 66.4%를 각각 앞서며 불과 1포인트 차로 경쟁 상대들을 제쳤다. 지난 세대 K3는

SAGE 벤치마크와 GAR 프레임워크 발표: 다중 모달 의미 정합성 평가 촉진

2026년 10월 26일, arXiv은 논문 arXiv:2610.31838v1을 발표하여 Sense-Aligned Grounding Evaluation(SAGE)를 제안했습니다. 이는 통합된 10개의 후보 이미지 선택 기준이며, 명사, 동사 및 엔터티 중심의 다중모달 그라운딩 평가를 위한 학습 독립형 Gloss-Augmented Reasoning(GAR) 프레임워크와 함께 제공됩니다.

추천 이유：이 연구는 최초로 VWSD, VerSe 및 WikiDiverse 세 가지 유형의 과제를 용어 중심의 지상 검증 프로토콜로 통합하고, 혼동을 유발하는 어려운 음성 샘플과 문맥 교환 진단 메커니즘을 도입하며, 정의 강화와 제약 기반 추론의 상호작용이 Hits@1 지표를 크게 향상시킬 수 있음을 실증적으로 입증했습니다(65.90→71.22). 이를 통해 다모달 의미 정렬에 대해 보다 세밀하고 해석 가능한 평가의 새로운 패러다임을 제공합니다.

쿼리의 추상성 수준이 고전 아랍 시어 검색 성능을 좌우한다: BM25와 밀집 부호화기의 성능은 쿼리의 추상도에 따라 크게 달라진다

2026년 10월 26일 arXiv에 게재된 최신 연구(arXiv:2610.31821v1)에 따르면, 고전 아랍 시 검색 과제에서 사용자의 구절 기억 잔존 정도(예: 반행을 기억하는지 여부)가 모델의 성능보다 검색 성능을 결정하는 데 훨씬 더 중요한 요소로 작용한다. BM25는 ‘혀끝 효과’ 유형의 쿼리에서는 8B 파라미터의 SOTA 모델을 포함한 모든 밀집 부호화기보다 우수했으나, 추상적 쿼리에서는 크게 뒤처졌다.

추천 이유：이 연구는 이중 코퍼스, 삼중 인덱싱 모드 및 이중 평가 프로토콜을 활용한 체계적인 벤치마크를 통해, 질의 추상화 수준이 다양한 검색 패러다임(어휘적 vs. 밀도 기반)에 미치는 지배적 영향을 최초로 정량적으로 규명하였으며, 인간 라벨러와 오픈소스 가중치 모델을 통한 이중 검증을 거쳐, 그 결론은 방법론적 보편성과 실증적 견고성을 갖추고 있다.

LLM 평가에서 전체 F1 점수만을 사용해 자동 채점기를 검증하는 것은 오해를 유발할 위험이 있다: 새로운 연구는 구체적인 프롬프트 차이에 맞춰 검증해야 함을 강조한다

arXiv 논문(2610.31678v1)은 대화형 대규모 언어 모델 평가에서 자동 채점 도구의 전체 정확도나 F1 점수에만 의존하면 프롬프트 특이적 오류가 가려져 프롬프트 효과에 대한 잘못된 판단을 초래할 수 있다고 지적한다. 실증 분석에 따르면, 동일한 채점 도구가 서로 다른 프롬프트에서 보이는 위양성률은 2.6%에서 33.3%로 크게 차이 나며, 겉보기로 유의미한 9.3점의 효과도 두 개의 LLM 심사 하에서는 2.3점으로 축소되고 통계적으로 유의미하지 않게 된다.

추천 이유：이 연구는 실제 실험 데이터(6개의 모델, 180개의 가상 개체 질문, 6가지 프롬프트 조건)를 기반으로 하며, 현재 LLM 평가에서 널리 존재하는 방법론적 취약점을 밝혀냈습니다—즉, 스코어러의 전반적인 성능을 핵심 비교 과제에서의 신뢰성과 동일시하는 문제입니다. 핵심 주장(각 프롬프트를 별도로 검증하고 불확실성을 반영해야 한다는 점)은 명확한 실증적 근거와 실행 가능한 권고안을 바탕으로 하며, 발표 시점(2026년 10월 26일)과 출처의 신뢰성(arXiv 사전출판 플랫폼) 측면에서도 높은 시의성을 갖습니다.

새로운 연구에 따르면 LLM 수학 과외 평가에는 심각한 측정 편향이 존재하며, 정확히 일치하는 점수는 성과를 거의 40%포인트나 과소평가한다.

arXiv에 2026년 10월 26일 게재된 논문 “MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring”은 MISCONCEPTDIALOGUE 자동화 평가 프레임워크를 제안하며, 5,000회 이상의 대화 테스트를 바탕으로 수학 과외 모델로서 5종의 오픈소스 소규모 파라미터 LLM(7B–14B)의 성능을 평가했습니다. 연구 결과, 주류인 정확히 일치하는 점수 매기기 방식에서는 구제 성공률이 42.1%에 불과한 반면, 인공적으로 보정된 LLM 심사자의 평가는 동일한 대화에서 81.3%로 나타나, 그 차이는 39.2%p에 달했습니다. 또한 이러한 편차는 우연한 것이 아니며, 네 가지 유형의 LLM 심사자와 200개의 인공 라벨링 결과 간에는 높은 일치도(kappa 최대 0.91)가 확인되었습니다. 아울러 모델은 진단 정보(정확한/잘못된 개념)에 대한 응답에서 거의 차이를 보이지 않아, 진단 입력을 효과적으로 활용하기 어렵다는 점을 시사합니다.

추천 이유：이 연구는 현재 LLM 교육 적용 평가 방법론의 핵심적 결함을 정면으로 지적한다: 단일하고 경직된 자동 채점에 의존하면 실제 능력 판단이 심각하게 왜곡될 수 있다는 점이다. 또한 대규모 시뮬레이션 실험 설계, 다수 평가자 간 수렴 검증, 그리고 진단-교육 연계의 실패에 대한 실증 분석을 통해, AI 기반 교육 평가의 표준화를 위한 중요한 경고와 재현 가능한 방법론적 기준을 제시하였다.

TRIAD 발표: 전모달 모호성 해소를 위한 최초의 다중모달 대규모 모델 평가 벤치마크

2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30841v1을 발표하여, 텍스트·이미지·오디오의 삼모달 협력적 모호성 해소 능력을 평가하기 위한 새로운 벤치마크인 TRIAD를 공식적으로 출시했습니다. 이 벤치마크는 327개의 수작업으로 구성된 삼모달 샘플을 포함하며, 86개의 시나리오 그룹과 18종의 교차모달 모호성 유형을 포괄합니다.

추천 이유：이 성과는 현재 다중모달 대규모 모델 평가의 핵심적 맹점을 정면으로 지적한다. 기존 벤치마크는 대부분 단일한 확정적 입력에 초점을 맞추어 인지 또는 추론을 평가해 왔으나, TRIAD는 최초로 ‘모달 상호보완에 의한 오류 해소’를 평가 목표로 체계적으로 접근했다. 엄격히 설계된 ‘남은 하나의 모달’ 반사실 시험을 통해, 특히 음성 데이터에 대한 모델의 활용 부족과 장면 수준에서의 취약한 로버스트성 등 핵심적인 결함을 드러내며, 차세대 전모달 모델 평가를 위한 재현 가능한 진단 프로토콜과 분류법을 제공한다.

FusionEval 발표: 대규모 언어 모델 통합을 위한 새로운 벤치마크 테스트

2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30162v1을 발표하여, 대규모 언어 모델의 통합 방법 평가를 위해 설계된 최초의 통합 벤치마크인 FusionEval을 제안했다. 이 벤치마크는 추론 체인 길이, 도구 호출 등 취약한 부분을 포괄하며, 학습 기반 및 학습 불필요형 통합 방법 간의 비교도 지원한다.

추천 이유：이 벤치마크는 기존 평가에서 장기 체인 추론과 도구 활용에 대한 포괄성이 부족한 점을 보완하며, 평균 성능과 최악의 성능 간의 명확한 구분을 제공하고, Qwen3/Llama 기반의 재현 가능한 전문가 풀, GPU 메모리 및 실행 시간을 포함한 다차원 지표, 그리고 오픈소스 코드를 제공하여 강력한 실무 지침성을 갖추고 있습니다.

연구는 코딩 에이전트 벤치마크에서의 ‘규범-오프체인 오라클 갭’ 문제를 밝혀냈다.

2026년 10월 24일 arXiv에 게재된 한 논문은 현재 주류 코딩 지능 에이전트 벤치마크(예: SWE-Milestone)에 ‘규격–오라클 격차’가 존재한다고 지적한다. 즉, 과제의 자연어 설명에는 테스트에 필요한 핵심 구현 세부사항(예: 상수 이름, 모듈 경로, 정확한 오류 메시지 등)이 포함되어 있지 않아, 평가 결과가 실제로는 상위 코드를 얼마나 재현하는지에 대한 능력을 측정할 뿐이며 진정한 이해와 추론 능력을 반영하지 못한다는 것이다.

추천 이유：이 연구는 해당 유형의 편향을 최초로 형식적으로 정의하고, 다섯 가지 언어를 포괄하는 정적 감사 도구를 구축하여 정확도 89.2%, 재현율 92.9%를 달성했으며, SWE-Milestone에서 25개의 마일스톤 작업에 추론할 수 없는 암시적 의존성이 존재함을 실증적으로 밝혀냈습니다. 이는 실패율을 크게 높였으며(80.6% 대 48.4%), 현재 순위표가 ‘명칭 복사’형 에이전트를 체계적으로 선호할 수 있음을 드러냅니다. 연구 결과는 감사 도구와 수정 자료를 오픈소스로 공개하여 방법론적 및 실무적 측면에서 모두 높은 가치를 지닙니다.

arXiv의 새로운 논문은 컴팩트 인코더의 연합 점수 평가와 옵션별 점수 평가 간의 성능을 비교합니다.

2026년 10월 24일, arXiv는 논문 arXiv:2610.30970v1을 발표했으며, 여기서는 도구 선택과 같은 닫힌 집합 의사결정 과제에서 파라미터 수가 1,700만에서 10억 사이인 컴팩트한 인코더의 설계 옵션—모든 옵션을 동시에 읽는 방식 대비 각 옵션을 개별적으로 평가하는 방식—을 체계적으로 평가했다. 연구 결과에 따르면, 파라미터 수 3,200만 규모에서는 옵션별 평가가 통합 평가보다 기술 지표에서 유의미하게 우수했으나, 계산 비용이 더 높고 지연 시간의 불균형이 더 심각했다. 또한 여러 System1-Arena 벤치마크에서 파라미터 수 6,800만 및 1억 5천만 규모의 통합 인코더가 파라미터 수 4억 3,500만의 DeBERTa-v3 제로샷 분류기보다 우수한 성능을 보였다.

추천 이유：이 논문은 현재 대규모 모델의 하위 결정 모듈에 대한 경량화 설계에 관한 주요 실증적 비교를 제공하며, 아키텍처 선택, 초기화 의존성, 지연-정확도 갈등, 입력 순서에 대한 로버스트성 등 엔지니어링상의 주요 고려사항을 포괄합니다. 데이터는 세 개의 랜덤 시드 실험과 공개/비공개 벤치마크 검증을 기반으로 하며, 발표일(2026-10-24)은 현재 UTC 날짜(2026-10-25)와 일치하여 최신의 신뢰할 수 있는 연구 성과에 해당합니다.

Recursive, AI 주도로 개발된 로컬에서 실행 가능한 경량 프로그래밍 모델인 Flint을 출시했습니다.

AI 스타트업 Recursive는 오픈소스 코딩 모델 Flint를 출시했으며, 개발 과정의 대부분이 자체 개발한 AI 연구 시스템 Eureka Machine에 의해 이루어졌다고 밝혔다. 이 모델은 파라미터 수가 400억 개에 불과하며, 실제 테스트에서 활성화 수는 25억 개로 확인되었고, M4 Pro MacBook과 같은 일반 노트북에서도 오프라인으로 실행 가능하다. 추론 속도는 초당 131 토큰에 달하며, SWE-Bench 등 벤치마크 테스트에서 동급 규모의 대부분 모델보다 우수한 성능을 보였다.

NVIDIA, Kumo Relational 발표: 학습 없이도 지도학습을 능가하는 최초의 구조화된 데이터 기반 모델

NVIDIA는 사전 훈련된 관계형 기반 모델인 Kumo Relational을 출시했으며, 이 모델은 기업용 관계형 데이터베이스에서 이탈 예측, 사기 탐지, 수요 예측 등 다양한 예측 작업을 직접 수행할 수 있습니다. 작업 미세조정, 특성 엔지니어링 또는 테이블 평탄화가 필요하지 않습니다. 15개 데이터베이스에 걸친 41개의 벤치마크에서 XGBoost 등 감독 학습 모델을 전면적으로 능가했으며, SAP SALT 기업 벤치마크에서는 MRR 지표에서 AutoGluon보다 8% 앞섰습니다. 또한 5,000억 행 규모의 데이터베이스를 지원하며, Predictive Query Language(PQL)를 통해 코드 없이 예측 호출을 구현할 수 있습니다.