제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.33017v1 발표 유형: 신규 초록: 영어 중심의 텍스트 코퍼스를 기반으로 학습된 다국어 토크나이저는 인도계 언어를 과도하게 세분화하는 경우가 많아, 그 결과 토큰 시퀀스가 길어지고 각 문자 체계 간의 토크나이징 격차가 확대됩니다. 우리는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습된 바이트 단위 경계 예측을 결합한, 인도계에 특화된 적응형 토크나이징 확장인 AdaptTok-Indic을 제안합니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가적으로 평가한 결과, AdaptTok-Indic은 인도계 지향 토크나이저 기준점인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 기준점보다 낮은 토큰 비용을 달성했습니다. 다섯 가지 기록된
arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f
arXiv:2610.33036v1 발표 유형: 신규 초록: 스피킹 스타일 캡션링(SSC)은 음성의 톤, 억양, 표현력 등과 같은 비언어적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합된 설명이 아니라, 특정한 음성의 측면(예: 화자의 특성, 감정, 또는 전달 스타일)을 구체적으로 기술하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 스피킹 스타일 캡션링에 대한 통일된 수식화가 부족한 실정입니다. 우리는 이러한 한계를 해소하기 위해 SSC를 명령어 준수형 오디오-언어 과제로 정식화함으로써, 명시적인 지침이 스피킹 스타일의 특정 차원을 규정하도록 하는 접근법을 제안합니다.
arXiv:2610.33004v1 발표 유형: 신규 초록: 광학 문자 인식(OCR)은 역사 기록 보관소의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 의미 있는 정보가 제대로 유지되는지를 반드시 반영하지 못합니다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 엔터티 수준에서 분석합니다. 공개된 벤치마크 데이터셋인 Berrutti 아카이브의 175개 문서와, 게재 승인 시 공개될 수동으로 주석된 5,209개의 엔터티 언급을 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교합니다. 전역적 전사 정확도 외에도
arXiv:2610.32114v1 발표 유형: 신규 초록: AI 정렬 문제의 진전을 가속화하는 한 가지 방안은 정렬 연구의 일부 과정을 자동화하는 것이다. 이를 위해서는 감독하기 어려운 연구 과제들, 예를 들어 연구 제안서의 결함을 식별하고, 제안된 실험이 의도한 주장에 부합하는지 평가하는 등의 작업을 안정적으로 수행할 수 있는 시스템이 필요하다. 이러한 능력을 평가하기 위해 우리는 Tampered ML을 도입한다. 이 벤치마크는 1,858개의 항목 쌍으로 구성되며, 각 쌍은 출판된 머신러닝 논문에서 재구성된 실험 제안과, 특정한 방법론적 결함을 의도적으로 포함한 최소한의 수정을 거친 대조적 사례로 이루어져 있다. 모델들은 두 가지 제시 순서 모두에서 더 방법론적으로 타당한 제안을 식별해야 한다. 계층화된 표본을 대상으로 한 인간 검증 연구에 따르면, 해당 항목의 86%가…
2026년 10월 26일, arXiv은 논문 arXiv:2610.31838v1을 발표하여 Sense-Aligned Grounding Evaluation(SAGE)를 제안했습니다. 이는 통합된 10개의 후보 이미지 선택 기준이며, 명사, 동사 및 엔터티 중심의 다중모달 그라운딩 평가를 위한 학습 독립형 Gloss-Augmented Reasoning(GAR) 프레임워크와 함께 제공됩니다.
추천 이유：이 연구는 최초로 VWSD, VerSe 및 WikiDiverse 세 가지 유형의 과제를 용어 중심의 지상 검증 프로토콜로 통합하고, 혼동을 유발하는 어려운 음성 샘플과 문맥 교환 진단 메커니즘을 도입하며, 정의 강화와 제약 기반 추론의 상호작용이 Hits@1 지표를 크게 향상시킬 수 있음을 실증적으로 입증했습니다(65.90→71.22). 이를 통해 다모달 의미 정렬에 대해 보다 세밀하고 해석 가능한 평가의 새로운 패러다임을 제공합니다.
arXiv:2610.32632v1 발표 유형: 신규 초록: RISC‑V는 고성능 컴퓨팅(HPC)의 후보 아키텍처로 부상하고 있지만, 기존의 x86 및 Arm 프로세서와의 경쟁력은 아직 평가하기 어렵습니다. 이는 기존 연구들이 서로 다른 플랫폼, 워크로드, 방법론을 사용하고 있으며, 에너지 효율성을 거의 고려하지 않기 때문입니다. 본 연구에서는 공통된 소프트웨어 스택과 방법론을 활용하여 현대 HPC용 RISC‑V, Arm, x86 프로세서를 평가합니다. 우리는 Sophgo SG2044를 특성화하고, NVIDIA Grace CPU 슈퍼칩 및 Intel Xeon Platinum 8480+와 비교하여 네 가지 HPC 벤치마크(STREAM, HPL, HPL‑MxP, HPCG)와 네 가지 대표 애플리케이션(iPIC3D, PLUTO, OpenFOAM, llama.cpp)을 평가했습니다. 본 연구에서 사용된 OpenBLAS에 연동된 HPL‑MxP 버전은 구축되고 사용되었습니다…
arXiv:2610.32024v1 Announce Type: new Abstract: Task instructions from users for agents are inherently underspecified, especially regarding safety boundaries--creating behavioral risks. To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions. In this benchmark, we evaluate agent behavior against safety boundaries established by workspace records, implicit environmental context, and unstated social norms. For example, an agent asked to schedule off-boarding discussions must arrange the meeting without prematurely revealing an employee's resignation through a shared calendar invitation. Evaluating four frontier model configurations across five attempts per task reveals that m
번역 대기 중 · 원문 표시 · enarXiv:2610.31863v1 발표 유형: 신규 초록: 농업용 기계가 지능형 오프라인 지원을 제공하려면, 시스템이 기술 문서에 동적으로 접근할 수 있어야 한다. 본 논문에서는 ISO 11783 기반 CAN 버스를 통한 운전자 매뉴얼의 의미적 동기화를 분석하며, 이를 트랙터 측 어시스턴트의 로컬 지식베이스와 연결된 작업기의 운전자 매뉴얼 간의 일치를 도모하는 과정으로 정의한다. 데이터 전송 성능은 Markdown, JSON, XML을 이용해 벤치마킹되었으며, 다양한 오픈 소스 대규모 언어 모델(LLM) 또한 다국어 쿼리 작업에서 평가되었다. 답변에 대한 자동 평가는 네 명의 인간 평가자를 대상으로 검증되었다. 완전한 매뉴얼은 물리적 ISO 11783 네트워크를 통해 31초에서 89초 사이에 전송되었으며, 이는 f에 따라 달라진다.
arXiv:2610.31972v1 발표 유형: 신규 초록: 실시간으로 변화하는 기업 데이터를 기반으로 작동하는 대화형 에이전트를 평가하는 일은 어렵습니다. 재생된 세션은 백엔드 상태가 변경됨에 따라 흐려지고, 오늘날 구축된 벤치마크는 그 대상이 되는 데이터가 진전되면서 조용히 시들어 버릴 수 있습니다. 우리는 운영 중인 대화형 에이전트를 위한 오프라인 평가 허니스를 제시합니다. 이 허니스는 작동하는 실시간 데이터가 변하더라도 재현성이 유지되며, 유효성이 떨어지면 필요에 따라 다시 생성할 수 있습니다. 이후 우리는 이 허니스를 정확성 게이트로 보호된, 보상 해킹을 방지하는 GEPA 기반 프롬프트 최적화의 적합도 함수로 활용합니다. 실제 상거래 고객 대상 에이전트에 적용한 결과, 정확성 게이트를 통한 압축은 보유된 과제의 정확성을 저하시키지 않으면서 에이전트의 전체 프롬프트 표면을 3.5~7.6% 축소했습니다, 고려
arXiv:2610.31986v1 발표 유형: 신규 초록: 비전 언어 모델(VLM)은 녹화된 영상을 해석하고 인사이트를 제공하기 위해 소비자용 스마트홈 카메라 시스템에서 점점 더 널리 채택되고 있습니다. 그러나 스마트홈 카메라가 캡처한 영상 클립은 기존 VLM 벤치마크를 주도하는 큐레이션된 웹 동영상과는 다릅니다. 스마트홈 영상 클립은 자막이나 내레이션이 없고, 다양한 시야각에서, 여러 조명 조건 하에, 그리고 다양한 상황에서 촬영되는 경우가 많습니다. 그럼에도 불구하고, 이 분야에서 희박한 시각적 신호와 제한된 맥락 하에서 모델의 성능은 기존 VLM 벤치마크로는 충분히 평가되지 않고 있습니다. 이러한 격차를 해소하기 위해, 우리는 스마트홈 영상 이해력을 평가하기 위한 시각 전용 4지선다형 벤치마크인 OpenHome을 도입합니다. I
arXiv:2610.32229v1 발표 유형: 신규 초록: 8비트 미만의 연산에서 대규모 언어 모델(LLM)을 학습하면 메모리 대역폭과 연산 처리량에서 상당한 향상을 기대할 수 있지만, FP4 형식은 양자화 오차가 너무 심해 이를 해결하지 않으면 최적화가 불안정해질 수 있습니다. 우리는 MXFP4 마이크로스케일링 형식 하에 MLPerf 소형 MoE 학습 벤치마크에서 200억 개의 파라미터를 가진 혼합-전문가(MoE) 모델인 GPT-OSS-20B를 위한 오픈소스 학습 레시피 ALTO를 제시합니다. 이 레시피는 Abecassis, Felix 등 [arXiv:2509.25149]에서 제안된 기존 기법들(하이브리드 1D/2D 블록 양자화, 무작위 하다마르 변환, 확률적 반올림)과 TetraJet-v2 [arXiv:2510.27527]에서 차용한 간소화된 가중치 탈진동 방식을 결합한 것입니다. 글로벌 배치 크기 기준 C4 검증 결과
arXiv:2610.32115v1 발표 유형: 신규 초록: 희소 혼합 전문가 모델(MoE)은 신경기계번역(NMT)의 확장과 언어 이질성 관리에 있어 강력한 패러다임입니다. 그러나 실제적인 한계로 인해 자원 제약이 큰 디바이스에서는 이를 적용하기 어려운 상황입니다. 전체 전문가 풀을 메모리에 상주시켜야 하며, 토큰당 연산 예산도 학습 과정에서 경직된 최상위 k 라우팅 방식으로 고정되어 있습니다. 이에 우리는 EDWARD-NMT(Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시점에 다양한 배포 가능한 서브네트워크 계열을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄성 차원을 통해 메모리 사용량을 유연하게 줄이는 기법; (ii) a
arXiv:2610.31945v1 발표 유형: 신규 초록: 본 보고서는 총 매개변수 수 781억 개, 토큰당 활성 매개변수 수 34.6억 개를 갖춘 영어-독일어 혼합 전문가형 트랜스포머인 Kolibri를 소개하며, 이 모델은 Apache 2.0 라이선스 하에 오픈 가중치로 공개되었습니다. 우리는 주권적이고 특화된 배포를 위해 Kolibri를 구축했으며, 특히 독일어와 공공 행정, 산업, 항공우주 등 규제되는 분야에 중점을 두었습니다. 이러한 환경을 지원하기 위해 데이터, 아키텍처, 학습 인프라, 후처리 및 평가에 이르기까지 모델 개발의 전 과정을 직접 관리합니다. Kolibri는 사전 학습, 중간 학습 및 장문 컨텍스트 확장 단계를 거쳐 총 24T 토큰 규모로 학습되었으며, 데이터 구성에서 독일어가 바이트 기준으로 20% 이상을 차지합니다. 이 비중을 달성하기 위해 우리는 독일어 데이터셋을 보완하여
arXiv:2610.30355v1 Announce Type: new Abstract: Hallucinated citations make it harder to trace sources and verify the evidence behind scientific claims. Detecting them is difficult because bibliographic records can be incomplete or differ across source types and publication versions. A plausible match alone neither validates the citation nor establishes its underlying source. We introduce CiteResolve, a benchmark of 423 real-world hallucinated citations annotated for source recoverability. We further propose CiteAnchor, a source-aware grounding framework that adapts retrieval and field-level verification to each source type and separately determines citation validity and whether a unique source can be recovered. On an existing detection benchmark, CiteAnchor achieves 0.841 F1 with GPT-5.6
번역 대기 중 · 원문 표시 · en2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30162v1을 발표하여, 대규모 언어 모델의 통합 방법 평가를 위해 설계된 최초의 통합 벤치마크인 FusionEval을 제안했다. 이 벤치마크는 추론 체인 길이, 도구 호출 등 취약한 부분을 포괄하며, 학습 기반 및 학습 불필요형 통합 방법 간의 비교도 지원한다.
추천 이유：이 벤치마크는 기존 평가에서 장기 체인 추론과 도구 활용에 대한 포괄성이 부족한 점을 보완하며, 평균 성능과 최악의 성능 간의 명확한 구분을 제공하고, Qwen3/Llama 기반의 재현 가능한 전문가 풀, GPU 메모리 및 실행 시간을 포함한 다차원 지표, 그리고 오픈소스 코드를 제공하여 강력한 실무 지침성을 갖추고 있습니다.
2026년 10월 24일, arXiv는 논문 arXiv:2610.30970v1을 발표했으며, 여기서는 도구 선택과 같은 닫힌 집합 의사결정 과제에서 파라미터 수가 1,700만에서 10억 사이인 컴팩트한 인코더의 설계 옵션—모든 옵션을 동시에 읽는 방식 대비 각 옵션을 개별적으로 평가하는 방식—을 체계적으로 평가했다. 연구 결과에 따르면, 파라미터 수 3,200만 규모에서는 옵션별 평가가 통합 평가보다 기술 지표에서 유의미하게 우수했으나, 계산 비용이 더 높고 지연 시간의 불균형이 더 심각했다. 또한 여러 System1-Arena 벤치마크에서 파라미터 수 6,800만 및 1억 5천만 규모의 통합 인코더가 파라미터 수 4억 3,500만의 DeBERTa-v3 제로샷 분류기보다 우수한 성능을 보였다.
추천 이유：이 논문은 현재 대규모 모델의 하위 결정 모듈에 대한 경량화 설계에 관한 주요 실증적 비교를 제공하며, 아키텍처 선택, 초기화 의존성, 지연-정확도 갈등, 입력 순서에 대한 로버스트성 등 엔지니어링상의 주요 고려사항을 포괄합니다. 데이터는 세 개의 랜덤 시드 실험과 공개/비공개 벤치마크 검증을 기반으로 하며, 발표일(2026-10-24)은 현재 UTC 날짜(2026-10-25)와 일치하여 최신의 신뢰할 수 있는 연구 성과에 해당합니다.
