전체 AI 소식

ProtoEEG: EEG 시각적 디코딩을 위한 구조화된 프로토타입 정렬

arXiv:2610.33065v1 발표 유형: 신규 초록: 두피 기록은 잡음이 많고 공간적 해상도가 낮으며 실험 조건과 피실험자 간에 변동성이 크기 때문에 EEG를 통한 시각적 해독은 여전히 어려운 과제로 남아 있습니다. 대부분의 시스템에서는 각 실험을 고밀도 이미지 임베딩과 정렬하지만, 이러한 임베딩은 의미적 내용과 개별 사례에 특화된 질감, 자세, 배경 등을 혼합하고 있습니다. 이는 EEG에서 제공되지 않는 세부 정보를 요구할 뿐만 아니라, 예측을 뒷받침하는 시각적 요인들에 대한 명시적인 설명도 제공하지 않습니다. 우리는 EEG와 이미지 간 정렬 문제를 공유 가능한 학습 가능한 시각 코드북 위에서의 소프트 컴포지션으로 재구성하는 프로토타입-매개 프레임워크인 \textbf{ProtoEEG}를 제안합니다. 학습 가능한 EEG 인코더와 고정된 시각 교사가 동일한 $K=64$개의 프로토타입에 대한 할당 분포를 생성하며, 이들의 가중 합성 재구성은 구조화된 표현을 형성합니다.

야코비 렌즈에 대한 수학적 이론

arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w

MANTA: 비동기식 BFT에서 DAG의 유연성 해제

arXiv:2610.34419v1 발표 유형: 신규 초록: DAG 기반 BFT 프로토콜은 단일 리더 중심의 제안 경로를 공유 그래프로 연결된 동시적 블록 제안으로 대체함으로써 합의 설계에 있어 전환점을 마련했습니다. 여기서 참조는 합의 증거를 포함합니다. 그러나 이질적인 광역 네트워크(WAN) 환경에서는, 기존 설계들이 지연 노드의 영향으로 인해 라운드가 장기화되고 성능이 저하되는 문제를 겪고 있습니다. 그 근본 원인은 경직된 라운드 진행 방식에 있으며, 복제본들은 동기화된 라운드 단위로 움직이며, 다음 라운드로 진행하기 위해 이전 라운드에서 충분한 참조를 받을 때까지 대기하게 됩니다. 우리는 비동기적 BFT 합의를 위한 유연한 DAG 성장 프레임워크를 제안합니다. 우리의 핵심 관찰은, 안전성과 활성화를 달성하는 데 참조 쿼럼이 필요하지만, 모든 라운드 진행을 반드시 차단할 필요는 없다는 점입니다. 대신, 연결성 r

PRISM: 암묵적 확률적 변조를 통한 대규모 언어 모델의 샘플링 다양성 증진

arXiv:2610.32101v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 출력 분포가 익숙한 의미적 패턴에 집중되는 모드 붕괴 현상을 보입니다. 다양성이 사라지면, 반복적인 샘플링은 발견이 아니라 의미적 반복으로 변하게 되며, 드물지만 더 강력한 해결책들이 나타날 가능성이 낮아져 자기 진화와 지속적 학습을 유지하기 어렵게 됩니다. 대부분의 해결책들은 추론 단계에서만 개입하여, 다양성을 모델의 핵심 역량으로 만들지 않은 채 샘플을 조정하는 데 그칩니다. 우리는 훈련 시점에서 모델 내부에 다양성을 내재화하는 프레임워크인 PRISM을 제안합니다. PRISM은 (i) 각 프롬프트에 대해 다양하면서도 정확한 다중 교사의 해답을 매칭하는 부분모듈러 기반 큐레이션과, (ii) 특수 토큰 변동을 임플

지혜롭게 속삭이기: ASR 미세조정을 위한 스마트 서브셋 선택

arXiv:2610.32997v1 발표 유형: 신규 초록: OpenAI의 Whisper와 같은 자동 음성 인식(ASR) 모델은 음성 인식 품질을 크게 향상시켰지만, 특히 대량의 문자로 변환된 오디오 데이터가 제공되는 경우 미세조정 비용이 여전히 높습니다. 이로 인해 많은 실무자들이 이러한 모델을 새로운 언어나 도메인에 맞게 적용하는 데 어려움을 겪고 있습니다. 본 연구에서는 ASR 미세조정을 위한 더 작은 교육 세트를 선택하기 위해 임베딩 기반 서브셋 선택 방식을 제안합니다. Whisper의 사전훈련된 인코더를 사용하여 각 오디오 샘플을 고정 차원의 임베딩 공간으로 매핑하고, 탐욕적 k-센터 알고리즘을 적용하여 교육 데이터에서 다양하고 대표적인 서브셋을 선별합니다. 우리는 이 방법을 히브리어와 덴마크어 두 언어에 대해 평가한 결과, k-센터 선택이 종종 …

OpenESM: 에너지 기반 모델은 확장 가능하며, 파운데이션 학습자들입니다

arXiv:2610.33005v1 발표 유형: 신규 초록: 에너지 기반 모델은 도메인 특화 작업에서 유망한 성능을 보여왔지만, 범용 시나리오를 모델링하는 데는 여전히 어려움이 있습니다. 이러한 격차를 해소하기 위해 우리는 기초 언어 모델링을 위한 에너지 주도형 모델(ESM)을 설계합니다. ESM은 단일 아키텍처 내에서 에너지 주도와 토큰 생성을 통합하여, 에너지 기반 탐색을 활용해 토큰 생성을 정교화합니다. 구체적으로, ESM은 먼저 에너지 지형 위에서 잠재 상태를 최적화한 다음, 이 정교화된 잠재 상태를 토큰 생성에 활용합니다. 대규모 말뭉치를 대상으로 이러한 에너지 기반 사전훈련을 수행함으로써, ESM은 유리한 토큰이 낮은 에너지 값을 갖는 일반적으로 효과적인 에너지 지형을 학습합니다. ESM의 스케일링 특성을 탐구하기 위해, 우리는 ESM을 사전훈련합니다

신경망 광산 속의 카나리아: 이미지 분류기의 조용하고 자신만만한 실패를 포착하기

arXiv:2610.33063v1 발표 유형: 신규 초록: 배포된 비전 모델들은 확신이 높은 예측을 자동으로 수용하므로, 고확신 오류가 조용히 확산된다. 표준 실패 예측기인 최대 소프트맥스 확률(MSP)에는 구조적 맹점이 있다: 분류기 헤드에서 읽어오는 스칼라 값으로서, 그 확신 경사와 직교하는 특징 변동에 대해 1차적으로 무방비 상태이다. 특징 공간 탐지기들의 인자 분석을 통해, 이들이 MSP를 보완하지 못하는 이유를 설명하는 조건부 중복성 원리를 규명하였다: 이들이 측정하는 클래스 분리 기하학은 이미 MSP에 내장되어 있으며, 융합 과정에서 소멸된다. 따라서 살아남는 신호는 매니폴드 외부 잔여물 위의 클래스 조건부 전형성이며, 이러한 잔여물의 분포는 백본에 따라 가우시안에 가까운 형태에서 무거운 t-분포까지 다양하게 나타난다.

EKT-라우터: 신체화된 비전-언어 모델을 위한 전문가-증거 정합

arXiv:2610.33044v1 발표 유형: 신규 초록: 체화된 시각-언어 모델은 부분적이고 변화하는 관찰로부터 질문에 답해야 한다. 이들의 성공은 선택된 추론 능력과 해당 모델이 이용할 수 있는 증거 양 측면에 모두 의존한다. 전문 라우터는 내부 계산을 조정하는 반면, 도구를 보강한 시스템은 외부 증거를 확보한다; 두 가지 접근을 독립적으로 선택하면 적합한 전문가가 필요한 증거를 갖추지 못하는 상황이 발생할 수 있다. 우리는 EKT-Router를 제안하며, 이는 능력 전문가, 선택적 지식, 그리고 지각 도구를 공동으로 선택하는 제한된 프레임워크이다. 결과 기반 서명은 일반 전문가, 공간 추론 전문가, 그리고 시공간 추론 전문가의 중복된 강점을 나타낸다. 합동 효용 함수는 호출 예산 하에서 완전한 전문가-증거 경로를 평가한다. 수집 후, 패킷 검증기는 유효한 것을 인정한다.

ReMedI: 제어 가능한 분자 최적화를 위한 추론 시 정제 및 자기 디스틸레이션

arXiv:2610.32103v1 발표 유형: 신규 초록: 약물 개발에서 리드 최적화는 투과성을 높이고 독성을 낮추는 등 상충되는 특성을 개선하는 동시에, 리드의 효능을 저해할 수 있는 골격 변경을 최소화해야 한다. C-MORAL과 같은 RL 기반 사후 학습 방법은 분자 언어 모델을 미세 조정하여 관심 있는 목표를 위해 분자 리드를 직접 최적화함으로써 이러한 문제를 해결하려 하지만, 이는 비용이 많이 드는 특정 작업용 데이터셋에 의존하며 다목적 최적화(MOO) 달성에도 어려움을 겪는다. 우리는 사전 훈련된 모델이 이미 제로샷 생성으로는 효율적으로 도달하기 어려운 유용한 분자 수정 정보를 포함하고 있을 수 있다고 주장한다. 제로샷 생성의 제한된 탐색 능력에 착안하여, 우리는 효율적인 메트로폴리스-헤스팅스 탐색 전략을 개발하여 베팅…

블로킹 없는 감시: 협력형 런타임을 위한 OTP 스타일의 장애 허용성에 대한 증거 기반 재설계

arXiv:2610.34521v1 발표 유형: 신규 초록: 주류 런타임의 액터 프레임워크들은 Erlang/OTP 스타일의 감시를 표방하지만, OTP의 일관성 계약은 동기식 단일 스레드 감시자를 전제로 하고 있으며, 포트 역시 이러한 가정이 결여된 상태를 검토되지 않은 위험으로 수용하고 있다. 우리는 모든 감시 보장 사항을 고정된 버전의 OTP 문서와 소스 코드를 그대로 해석한 결과, 추가로 세 가지 러스트 액터 프레임워크의 소스 코드를 기준으로, 그리고 액터 모델 관련 문헌과 비교하여 평가하였으며, 각 설계 결정의 근거를 기록하였다. 맹목적인 상호 검증 및 프레임워크 간 비교 연구를 통해 24개의 결함 유형이 도출되었고, 이 중 여덟 개는 하나의 근본 원인으로 귀착된다: 즉, 동기식 감시자가 암묵적으로 확보하는 원자성을 명시적 메커니즘을 통해 재구성해야 한다는 점이다. 우리는 새로운 감시 런타임을 제안한다…

상태 공간 인코딩을 이용한 선형 시간 컨텍스트 압축

arXiv:2610.33006v1 발표 유형: 신규 초록: 트랜스포머 기반 대규모 언어 모델(LLM)은 컨텍스트 크기가 증가함에 따라 상당한 연산 및 메모리 비용을 수반하므로, 추론 전에 컨텍스트를 더 짧은 표현으로 압축하는 방법이 필요합니다. 기존의 소프트 프롬프트 압축 방식은 일반적으로 목표 모델과 동일한 트랜스포머 백본을 사용하며, 압축된 표현을 생성하는 과정에서 상당한 지연 오버헤드가 발생합니다. 이로 인해 이러한 방식은 컨텍스트를 한 번 압축한 뒤 여러 쿼리에 걸쳐 재사용하는 오프라인 환경에만 제한됩니다. 우리는 Mamba 상태공간 모델(SSM)을 기반으로 한 플러그 앤 플레이형 온라인 컨텍스트 압축기인 Boa Compressor를 제안합니다. 이 압축기는 임의 길이의 컨텍스트를 단일 선형 시간 패스로 인코딩하여, 그 결과 얻은 표현을 바탕으로 우리가 조건부…

증거를 통한 직관: 다중 모달 에이전트를 위한 적응형 이중 메모리

arXiv:2610.33019v1 발표 유형: 신규 초록: 다모달 에이전트가 지속적인 상호작용을 수행할 때, 장기 기억은 세밀한 증거 회수와 전반적 이해를 위한 내재화된 해석이라는 두 가지 서로 다르지만 상호 보완적인 기능을 수행한다. 비록 일화 기억과 잠재 기억이 각각 명시적 역사 기록과 내재화된 경험을 통해 이러한 요구를 충족하긴 하지만, 일화 기억의 증거 범위와 통합에 대한 한계, 그리고 잠재 기억의 사실적 근거 마련에 대한 한계로 인해, 이 두 패러다임만으로는 과제 간의 다양한 기억 특성들을 모두 포괄하기 어렵다. 이러한 격차를 해소하기 위해 우리는 모델 고유의 잠재 기억을 직관적인 사전으로 활용하고, 검색 조건에 따라 공동 정렬을 통해 정확한 증거 재구성을 가능하게 하는 다중 인덱스 방식의 일화 기억을 결합한 이중 기억 프레임워크를 제안한다. At i

다양체 위의 흐름 매칭을 위한 호환 가능성

arXiv:2610.31981v1 발표 유형: 신규 초록: 가장 간단한 비유클리드 다양체인 1차원 평탄 원환면에서, 데이터 분포로부터 표본을 밀어내는 속도장에 의해 리만 기하학적 흐름 일치의 최근 제안된 확장이 전역적으로 최적화되는 분포를 제시한다. 우리는 이러한 실패 모드를 ‘호환성’이라고 부르는 성질로 추적하며, 우도 기반 흐름 일치 목적함수가 호환성이란, 그 인구 최소화자가 데이터와 결합에 의해 유도되는 주변 속도장을 복원할 수 있을 때를 의미한다. 우리는 호환성을 위한 일반적인 조건을 제시하고 이를 기존 방법들에 적용한 뒤, 호환성 하에서 소멸하는 잔여 성분의 관점에서 최악의 오차를 상한으로 규제한다. 다음으로, 기존의 호환 가능한 목적함수들은 컴팩트 다양체에서는 실현 불가능한 속도들에 대해 밀도를 부여한다는 점을 지적한다.

컨셉타이저: 다음 토큰 예측만으로는 충분하지 않습니다

arXiv:2610.33027v1 발표 유형: 신규 초록: 다음 토큰 예측(NTP)은 다음에 나타나는 단일 토큰에만 보상을 부여하고, 다른 모든 대안에는 벌점을 적용합니다. 그러나 자연어에서는 동일한 의미를 표현하는 방법이 종종 매우 다양합니다. 이에 우리는 의미에 대한 보상 메커니즘을 추가하여 다음 토큰 예측을 확장한 학습 프레임워크인 Conceptizer를 제안합니다. Conceptizer는 문맥적 동의어를 기반으로 구성된 약 9천 개의 개념으로 이루어진 모델 독립적인 고정 어휘를 텍스트의 단위인 토큰과 함께 의미의 단위로 활용합니다. 이를 통해 각 다음 토큰 분포를 개념 분포로 매핑하고, 목표로 하는 의미에 대한 보상을 가능한 다양한 표현 방식들 간에 공유합니다. 이는 모델 파라미터를 추가하지 않으면서도 개념 수준의 학습 신호를 제공합니다. 1B~8B 파라미터 규모의 세 가지 모델 계열에 적용한 결과, Conceptizer는 가장 낮은 헬드아웃 NTP 패러독스를 달성했습니다.

글쓰기 조언에서 원고 관리까지: 학술 퇴고를 위한 제약 변환 프레임워크

arXiv:2610.33001v1 발표 유형: 신규 초록: 학술적 퇴고는 정당한 글쓰기 목표 간의 충돌이 발생할 때 거버넌스상의 문제를 야기한다. 글쓰기 과정 및 사회과학 분야의 연구에 따르면, 퇴고는 재귀적이며 문장 표현에는 인식론적·학문적 차원의 맥락적 의무가 수반된다. 이러한 연구들은 중요한 제약 조건들을 규명하되, 간결성, 출판 매체 형식, 또는 스타일적 다양성이 증거와 주장의 한계와 충돌할 경우 어떤 목표가 우선해야 하는지에 대해서는 명확히 규정하지 못하고 있다. 본 논문은 퇴고를 순서화된 제약 조건 하에서의 허용 가능성 문제로 모델링한다. 작업별 불변량, 맥락적 제약 조건, 그리고 가변적인 표현 선택이 허용 가능한 범위를 규정하며, 주장 보전 계약은 증거와 판단을 권한 있는 주장의 한계와 연결한다. 네 가지 거버넌스 관련 명제가 이를 구체화한다

SUDO: 과학 출판물에서 글로벌 학술 담론까지

arXiv:2610.33018v1 발표 유형: 신규 초록: 학술 지식 그래프(SKGs)는 문헌 검색, 과학적 발견 및 에이전트 지원 연구를 지원합니다. 그러나 SKG 구축을 위한 대부분의 접근법은 일반적으로 학술 개체 또는 기여 수준의 진술로 명명되는 표현할 지식 단위를 사전에 규정하고, 해당 단위를 통해 표현 가능한 출판물 내용만을 유지합니다. 이러한 선택은 두 가지 주요하면서도 서로 다른 패러다임을 낳습니다: 개체와 국부적 관계를 보존하는 개념 중심의 SKGs와, 문장 수준의 고차원적 담론을 포착하는 진술 중심의 SKGs입니다. 두 경우 모두, 그래프는 논문이 지식을 구성하고 전달하는 방식이 아니라 선택된 추출 대상을 반영하게 됩니다. 우리는 지식을 정의하는 방법을 제시하는 SUDO, 즉 학술 상위 담론 온톨로지를 소개합니다.

행동에 대한 처벌을 언제 중단해야 할까요? VLA 강화학습을 위한 마팅게일 GRPO

arXiv:2610.32431v1 발표 유형: 신규 초록: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는, 하나의 트래잭터리 수준 우위가 롤아웃 내 모든 행동에 할당된다. 이로 인해 잠재적으로 유용한 복구 시도들이, 그들이 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백에 대한 이상적인 중단 조건은 성공 확률과 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 제거된 그라디언트 기여의 조건부 기대값이 유지된 정보를 조건으로 하여 영이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하고, 그 공분산을 줄일 수 있다. 이러한 중단 중 하나는 성공의 조건부 확률이

트랜스포머 이론을 실험해 보다

arXiv:2610.32104v1 발표 유형: 신규 초록: 변환기 아키텍처의 능력과 한계를 규명하기 위해 여러 형식 이론들이 개발되어 왔으며, 각 이론은 아키텍처의 서로 다른 특징을 포착하는 다양한 추상화 방식을 사용한다. 이러한 이론들은 기본 가정과 개념적 틀의 차이로 인해, 변환기가 어떤 작업을 쉽거나 어렵다고 판단하는지에 대한 예측에서 서로 상충될 수 있다. 우리는 변환기 능력에 관한 일곱 가지 이론(Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, 그리고 Sensitivity)을 정리하고, 이를 다양한 계산 구조를 포괄하는 여러 작업들에 걸쳐 공통된 예측 매트릭스로 변환하였다. 또한 이 매트릭스를 완성하기 위한 새로운 이론적 결과를 제시한다. 이후 우리는 이론적…

실시간 분할 제어에서 제로샷 조정을 위한 인지적 제약을 가진 파트너들

arXiv:2610.31726v1 발표 유형: 신규 초록: 효과적인 인간-기계 팀워크를 위해서는 예측 불가능한 인간 파트너와 협력하는 에이전트가 필요합니다. 실시간 인간 피드백이나 대규모 행동 데이터셋을 기반으로 한 강화학습은 비용이 많이 들며, 순수하게 시뮬레이션된 훈련은 인공적인 규칙에 과적합되어 실제 사람들과의 제로샷 조정에서 실패합니다. 우리는 인지적 제약이 있는 파트너를 상대로 팀워크 에이전트를 학습시키는 프레임워크를 제안합니다: 이 시뮬레이션 파트너들은 보상 설계나 과거 훈련 체크포인트가 아니라, 인간의 생리학 관련 문헌에 근거한 절차적 제약—특히 반응 지연과 지각 한계—에 의해 그 다양성이 도출됩니다. 수정된 루나랜더 환경에서, 이러한 파트너들이 더 유사하게 플레이한다는 초기 증거를 보고합니다…

새로운 연구에 따르면, 강화학습에서 기존의 크리틱은 대규모 언어 모델의 신뢰도 추정기로 그대로 재사용할 수 있다.

2026년 10월 26일 arXiv에 게재된(번호 2610.31820v1) 한 편의 AI 연구 논문은, 가치 기반 강화학습(value-based RL)으로 학습된 대형 언어 모델(LLMs)의 경우, 기존의 크리틱 모듈이 별도의 학습이나 데이터 없이도 높은 정확도와 높은 교정성을 갖춘 신뢰도 추정기로 활용될 수 있음을 보여준다고 지적했다.

추천 이유：이 연구는 신뢰도 추정과 강화학습에서의 크리틱 학습 간의 수학적 본질적 동등성을 밝혀냈으며(정확성 결과 정의 하에), 10여 개 분야(수학, 코드 작성, 도구 호출, 일반 추론)에 걸친 실증을 통해 크리틱 재사용의 효과성과 일반화 능력을 검증하였다. 이러한 성과는 LLM의 신뢰할 수 있는 배포 문턱을 낮추는 데 직접적인 엔지니어링 가치를 지닌다.