출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.
arXiv:2610.33017v1 발표 유형: 신규 초록: 영어 중심의 텍스트 코퍼스를 기반으로 학습된 다국어 토크나이저는 인도계 언어를 과도하게 세분화하는 경우가 많아, 그 결과 토큰 시퀀스가 길어지고 각 문자 체계 간의 토크나이징 격차가 확대됩니다. 우리는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습된 바이트 단위 경계 예측을 결합한, 인도계에 특화된 적응형 토크나이징 확장인 AdaptTok-Indic을 제안합니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가적으로 평가한 결과, AdaptTok-Indic은 인도계 지향 토크나이저 기준점인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 기준점보다 낮은 토큰 비용을 달성했습니다. 다섯 가지 기록된
arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대해 실제 사람의 반응을 측정하고 있다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교한다. 해당 예측 모델들은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다. 또한 두 연구 모두 개입 조건을 무작위화하였다. 별도로 진행한 25편의 언어모델 관련 연구의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f
arXiv:2610.33036v1 발표 유형: 신규 초록: 스피킹 스타일 캡션링(SSC)은 음성의 톤, 억양, 표현력 등과 같은 비언어적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합된 설명이 아니라, 특정한 음성의 측면(예: 화자의 특성, 감정, 또는 전달 스타일)을 구체적으로 기술하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 스피킹 스타일 캡션링에 대한 통일된 수식화가 부족한 실정입니다. 우리는 이러한 한계를 해소하기 위해 SSC를 명령어 준수형 오디오-언어 과제로 정식화함으로써, 명시적인 지침이 스피킹 스타일의 특정 차원을 규정하도록 하는 접근법을 제안합니다.
arXiv:2610.33004v1 발표 유형: 신규 초록: 광학 문자 인식(OCR)은 역사 기록 보관소의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 의미 있는 정보가 제대로 유지되는지를 반드시 반영하지 못합니다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 엔터티 수준에서 분석합니다. 공개된 벤치마크 데이터셋인 Berrutti 아카이브의 175개 문서와, 게재 승인 시 공개될 수동으로 주석된 5,209개의 엔터티 언급을 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교합니다. 전역적 전사 정확도 외에도
arXiv:2610.32114v1 발표 유형: 신규 초록: AI 정렬 문제의 진전을 가속화하는 한 가지 방안은 정렬 연구의 일부 과정을 자동화하는 것이다. 이를 위해서는 감독하기 어려운 연구 과제들, 예를 들어 연구 제안서의 결함을 식별하고, 제안된 실험이 의도한 주장에 부합하는지 평가하는 등의 작업을 안정적으로 수행할 수 있는 시스템이 필요하다. 이러한 능력을 평가하기 위해 우리는 Tampered ML을 도입한다. 이 벤치마크는 1,858개의 항목 쌍으로 구성되며, 각 쌍은 출판된 머신러닝 논문에서 재구성된 실험 제안과, 특정한 방법론적 결함을 의도적으로 포함한 최소한의 수정을 거친 대조적 사례로 이루어져 있다. 모델들은 두 가지 제시 순서 모두에서 더 방법론적으로 타당한 제안을 식별해야 한다. 계층화된 표본을 대상으로 한 인간 검증 연구에 따르면, 해당 항목의 86%가…
2026년 10월 26일, arXiv은 논문 arXiv:2610.31838v1을 발표하여 Sense-Aligned Grounding Evaluation(SAGE)를 제안했습니다. 이는 통합된 10개의 후보 이미지 선택 기준이며, 명사, 동사 및 엔터티 중심의 다중모달 그라운딩 평가를 위한 학습 독립형 Gloss-Augmented Reasoning(GAR) 프레임워크와 함께 제공됩니다.
추천 이유：이 연구는 최초로 VWSD, VerSe 및 WikiDiverse 세 가지 유형의 과제를 용어 중심의 지상 검증 프로토콜로 통합하고, 혼동을 유발하는 어려운 음성 샘플과 문맥 교환 진단 메커니즘을 도입하며, 정의 강화와 제약 기반 추론의 상호작용이 Hits@1 지표를 크게 향상시킬 수 있음을 실증적으로 입증했습니다(65.90→71.22). 이를 통해 다모달 의미 정렬에 대해 보다 세밀하고 해석 가능한 평가의 새로운 패러다임을 제공합니다.
arXiv:2610.32632v1 발표 유형: 신규 초록: RISC‑V는 고성능 컴퓨팅(HPC)의 후보 아키텍처로 부상하고 있지만, 기존의 x86 및 Arm 프로세서와의 경쟁력은 아직 평가하기 어렵습니다. 이는 기존 연구들이 서로 다른 플랫폼, 워크로드, 방법론을 사용하고 있으며, 에너지 효율성을 거의 고려하지 않기 때문입니다. 본 연구에서는 공통된 소프트웨어 스택과 방법론을 활용하여 현대 HPC용 RISC‑V, Arm, x86 프로세서를 평가합니다. 우리는 Sophgo SG2044를 특성화하고, NVIDIA Grace CPU 슈퍼칩 및 Intel Xeon Platinum 8480+와 비교하여 네 가지 HPC 벤치마크(STREAM, HPL, HPL‑MxP, HPCG)와 네 가지 대표 애플리케이션(iPIC3D, PLUTO, OpenFOAM, llama.cpp)을 평가했습니다. 본 연구에서 사용된 OpenBLAS에 연동된 HPL‑MxP 버전은 구축되고 사용되었습니다…
arXiv:2610.32024v1 Announce Type: new Abstract: Task instructions from users for agents are inherently underspecified, especially regarding safety boundaries--creating behavioral risks. To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions. In this benchmark, we evaluate agent behavior against safety boundaries established by workspace records, implicit environmental context, and unstated social norms. For example, an agent asked to schedule off-boarding discussions must arrange the meeting without prematurely revealing an employee's resignation through a shared calendar invitation. Evaluating four frontier model configurations across five attempts per task reveals that m
번역 대기 중 · 원문 표시 · enarXiv:2610.31863v1 발표 유형: 신규 초록: 농업용 기계가 지능형 오프라인 지원을 제공하려면, 시스템이 기술 문서에 동적으로 접근할 수 있어야 한다. 본 논문에서는 ISO 11783 기반 CAN 버스를 통한 운전자 매뉴얼의 의미적 동기화를 분석하며, 이를 트랙터 측 어시스턴트의 로컬 지식베이스와 연결된 작업기의 운전자 매뉴얼 간의 일치를 도모하는 과정으로 정의한다. 데이터 전송 성능은 Markdown, JSON, XML을 이용해 벤치마킹되었으며, 다양한 오픈 소스 대규모 언어 모델(LLM) 또한 다국어 쿼리 작업에서 평가되었다. 답변에 대한 자동 평가는 네 명의 인간 평가자를 대상으로 검증되었다. 완전한 매뉴얼은 물리적 ISO 11783 네트워크를 통해 31초에서 89초 사이에 전송되었으며, 이는 f에 따라 달라진다.
arXiv:2610.31972v1 발표 유형: 신규 초록: 실시간으로 변화하는 기업 데이터를 기반으로 작동하는 대화형 에이전트를 평가하는 일은 어렵습니다. 재생된 세션은 백엔드 상태가 변경됨에 따라 흐려지고, 오늘날 구축된 벤치마크는 그 대상이 되는 데이터가 진전되면서 조용히 시들어 버릴 수 있습니다. 우리는 운영 중인 대화형 에이전트를 위한 오프라인 평가 허니스를 제시합니다. 이 허니스는 작동하는 실시간 데이터가 변하더라도 재현성이 유지되며, 유효성이 떨어지면 필요에 따라 다시 생성할 수 있습니다. 이후 우리는 이 허니스를 정확성 게이트로 보호된, 보상 해킹을 방지하는 GEPA 기반 프롬프트 최적화의 적합도 함수로 활용합니다. 실제 상거래 고객 대상 에이전트에 적용한 결과, 정확성 게이트를 통한 압축은 보유된 과제의 정확성을 저하시키지 않으면서 에이전트의 전체 프롬프트 표면을 3.5~7.6% 축소했습니다, 고려
arXiv:2610.31986v1 발표 유형: 신규 초록: 비전 언어 모델(VLM)은 녹화된 영상을 해석하고 인사이트를 제공하기 위해 소비자용 스마트홈 카메라 시스템에서 점점 더 널리 채택되고 있습니다. 그러나 스마트홈 카메라가 캡처한 영상 클립은 기존 VLM 벤치마크를 주도하는 큐레이션된 웹 동영상과는 다릅니다. 스마트홈 영상 클립은 자막이나 내레이션이 없고, 다양한 시야각에서, 여러 조명 조건 하에, 그리고 다양한 상황에서 촬영되는 경우가 많습니다. 그럼에도 불구하고, 이 분야에서 희박한 시각적 신호와 제한된 맥락 하에서 모델의 성능은 기존 VLM 벤치마크로는 충분히 평가되지 않고 있습니다. 이러한 격차를 해소하기 위해, 우리는 스마트홈 영상 이해력을 평가하기 위한 시각 전용 4지선다형 벤치마크인 OpenHome을 도입합니다. I
arXiv:2610.32229v1 발표 유형: 신규 초록: 8비트 미만의 연산에서 대규모 언어 모델(LLM)을 학습하면 메모리 대역폭과 연산 처리량에서 상당한 향상을 기대할 수 있지만, FP4 형식은 양자화 오차가 너무 심해 이를 해결하지 않으면 최적화가 불안정해질 수 있습니다. 우리는 MXFP4 마이크로스케일링 형식 하에 MLPerf 소형 MoE 학습 벤치마크에서 200억 개의 파라미터를 가진 혼합-전문가(MoE) 모델인 GPT-OSS-20B를 위한 오픈소스 학습 레시피 ALTO를 제시합니다. 이 레시피는 Abecassis, Felix 등 [arXiv:2509.25149]에서 제안된 기존 기법들(하이브리드 1D/2D 블록 양자화, 무작위 하다마르 변환, 확률적 반올림)과 TetraJet-v2 [arXiv:2510.27527]에서 차용한 간소화된 가중치 탈진동 방식을 결합한 것입니다. 글로벌 배치 크기 기준 C4 검증 결과
arXiv:2610.32115v1 발표 유형: 신규 초록: 희소 혼합 전문가 모델(MoE)은 신경기계번역(NMT)의 확장과 언어 이질성 관리에 있어 강력한 패러다임입니다. 그러나 실제적인 한계로 인해 자원 제약이 큰 디바이스에서는 이를 적용하기 어려운 상황입니다. 전체 전문가 풀을 메모리에 상주시켜야 하며, 토큰당 연산 예산도 학습 과정에서 경직된 최상위 k 라우팅 방식으로 고정되어 있습니다. 이에 우리는 EDWARD-NMT(Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시점에 다양한 배포 가능한 서브네트워크 계열을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄성 차원을 통해 메모리 사용량을 유연하게 줄이는 기법; (ii) a
2026년 10월 26일 arXiv에 게재된 최신 연구(arXiv:2610.31821v1)에 따르면, 고전 아랍 시 검색 과제에서 사용자의 구절 기억 잔존 정도(예: 반행을 기억하는지 여부)가 모델의 성능보다 검색 성능을 결정하는 데 훨씬 더 중요한 요소로 작용한다. BM25는 ‘혀끝 효과’ 유형의 쿼리에서는 8B 파라미터의 SOTA 모델을 포함한 모든 밀집 부호화기보다 우수했으나, 추상적 쿼리에서는 크게 뒤처졌다.
추천 이유：이 연구는 이중 코퍼스, 삼중 인덱싱 모드 및 이중 평가 프로토콜을 활용한 체계적인 벤치마크를 통해, 질의 추상화 수준이 다양한 검색 패러다임(어휘적 vs. 밀도 기반)에 미치는 지배적 영향을 최초로 정량적으로 규명하였으며, 인간 라벨러와 오픈소스 가중치 모델을 통한 이중 검증을 거쳐, 그 결론은 방법론적 보편성과 실증적 견고성을 갖추고 있다.
arXiv:2610.31945v1 발표 유형: 신규 초록: 본 보고서는 총 매개변수 수 781억 개, 토큰당 활성 매개변수 수 34.6억 개를 갖춘 영어-독일어 혼합 전문가형 트랜스포머인 Kolibri를 소개하며, 이 모델은 Apache 2.0 라이선스 하에 오픈 가중치로 공개되었습니다. 우리는 주권적이고 특화된 배포를 위해 Kolibri를 구축했으며, 특히 독일어와 공공 행정, 산업, 항공우주 등 규제되는 분야에 중점을 두었습니다. 이러한 환경을 지원하기 위해 데이터, 아키텍처, 학습 인프라, 후처리 및 평가에 이르기까지 모델 개발의 전 과정을 직접 관리합니다. Kolibri는 사전 학습, 중간 학습 및 장문 컨텍스트 확장 단계를 거쳐 총 24T 토큰 규모로 학습되었으며, 데이터 구성에서 독일어가 바이트 기준으로 20% 이상을 차지합니다. 이 비중을 달성하기 위해 우리는 독일어 데이터셋을 보완하여
arXiv 논문(2610.31678v1)은 대화형 대규모 언어 모델 평가에서 자동 채점 도구의 전체 정확도나 F1 점수에만 의존하면 프롬프트 특이적 오류가 가려져 프롬프트 효과에 대한 잘못된 판단을 초래할 수 있다고 지적한다. 실증 분석에 따르면, 동일한 채점 도구가 서로 다른 프롬프트에서 보이는 위양성률은 2.6%에서 33.3%로 크게 차이 나며, 겉보기로 유의미한 9.3점의 효과도 두 개의 LLM 심사 하에서는 2.3점으로 축소되고 통계적으로 유의미하지 않게 된다.
추천 이유：이 연구는 실제 실험 데이터(6개의 모델, 180개의 가상 개체 질문, 6가지 프롬프트 조건)를 기반으로 하며, 현재 LLM 평가에서 널리 존재하는 방법론적 취약점을 밝혀냈습니다—즉, 스코어러의 전반적인 성능을 핵심 비교 과제에서의 신뢰성과 동일시하는 문제입니다. 핵심 주장(각 프롬프트를 별도로 검증하고 불확실성을 반영해야 한다는 점)은 명확한 실증적 근거와 실행 가능한 권고안을 바탕으로 하며, 발표 시점(2026년 10월 26일)과 출처의 신뢰성(arXiv 사전출판 플랫폼) 측면에서도 높은 시의성을 갖습니다.
arXiv에 2026년 10월 26일 게재된 논문 “MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring”은 MISCONCEPTDIALOGUE 자동화 평가 프레임워크를 제안하며, 5,000회 이상의 대화 테스트를 바탕으로 수학 과외 모델로서 5종의 오픈소스 소규모 파라미터 LLM(7B–14B)의 성능을 평가했습니다. 연구 결과, 주류인 정확히 일치하는 점수 매기기 방식에서는 구제 성공률이 42.1%에 불과한 반면, 인공적으로 보정된 LLM 심사자의 평가는 동일한 대화에서 81.3%로 나타나, 그 차이는 39.2%p에 달했습니다. 또한 이러한 편차는 우연한 것이 아니며, 네 가지 유형의 LLM 심사자와 200개의 인공 라벨링 결과 간에는 높은 일치도(kappa 최대 0.91)가 확인되었습니다. 아울러 모델은 진단 정보(정확한/잘못된 개념)에 대한 응답에서 거의 차이를 보이지 않아, 진단 입력을 효과적으로 활용하기 어렵다는 점을 시사합니다.
추천 이유：이 연구는 현재 LLM 교육 적용 평가 방법론의 핵심적 결함을 정면으로 지적한다: 단일하고 경직된 자동 채점에 의존하면 실제 능력 판단이 심각하게 왜곡될 수 있다는 점이다. 또한 대규모 시뮬레이션 실험 설계, 다수 평가자 간 수렴 검증, 그리고 진단-교육 연계의 실패에 대한 실증 분석을 통해, AI 기반 교육 평가의 표준화를 위한 중요한 경고와 재현 가능한 방법론적 기준을 제시하였다.
2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30841v1을 발표하여, 텍스트·이미지·오디오의 삼모달 협력적 모호성 해소 능력을 평가하기 위한 새로운 벤치마크인 TRIAD를 공식적으로 출시했습니다. 이 벤치마크는 327개의 수작업으로 구성된 삼모달 샘플을 포함하며, 86개의 시나리오 그룹과 18종의 교차모달 모호성 유형을 포괄합니다.
추천 이유：이 성과는 현재 다중모달 대규모 모델 평가의 핵심적 맹점을 정면으로 지적한다. 기존 벤치마크는 대부분 단일한 확정적 입력에 초점을 맞추어 인지 또는 추론을 평가해 왔으나, TRIAD는 최초로 ‘모달 상호보완에 의한 오류 해소’를 평가 목표로 체계적으로 접근했다. 엄격히 설계된 ‘남은 하나의 모달’ 반사실 시험을 통해, 특히 음성 데이터에 대한 모델의 활용 부족과 장면 수준에서의 취약한 로버스트성 등 핵심적인 결함을 드러내며, 차세대 전모달 모델 평가를 위한 재현 가능한 진단 프로토콜과 분류법을 제공한다.
arXiv:2610.30355v1 Announce Type: new Abstract: Hallucinated citations make it harder to trace sources and verify the evidence behind scientific claims. Detecting them is difficult because bibliographic records can be incomplete or differ across source types and publication versions. A plausible match alone neither validates the citation nor establishes its underlying source. We introduce CiteResolve, a benchmark of 423 real-world hallucinated citations annotated for source recoverability. We further propose CiteAnchor, a source-aware grounding framework that adapts retrieval and field-level verification to each source type and separately determines citation validity and whether a unique source can be recovered. On an existing detection benchmark, CiteAnchor achieves 0.841 F1 with GPT-5.6
번역 대기 중 · 원문 표시 · en2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30162v1을 발표하여, 대규모 언어 모델의 통합 방법 평가를 위해 설계된 최초의 통합 벤치마크인 FusionEval을 제안했다. 이 벤치마크는 추론 체인 길이, 도구 호출 등 취약한 부분을 포괄하며, 학습 기반 및 학습 불필요형 통합 방법 간의 비교도 지원한다.
추천 이유：이 벤치마크는 기존 평가에서 장기 체인 추론과 도구 활용에 대한 포괄성이 부족한 점을 보완하며, 평균 성능과 최악의 성능 간의 명확한 구분을 제공하고, Qwen3/Llama 기반의 재현 가능한 전문가 풀, GPU 메모리 및 실행 시간을 포함한 다차원 지표, 그리고 오픈소스 코드를 제공하여 강력한 실무 지침성을 갖추고 있습니다.
