출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.
arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f
arXiv:2610.33275v1 발표 유형: 신규 초록: 컴퓨팅 노트북은 세션 전체 동안 GPU를 할당하지만, GPU는 셀이 실행되는 동안에만 계산을 수행하고 그 외에는 대기 상태로 남아 있습니다. 서버리스 실행 방식을 사용하면 셀 간에 GPU 자원을 해제할 수 있지만, 새로 생성된 워커에서 누적된 노트북 상태를 다시 구축하는 과정은 각 GPU 셀마다 상당한 비용을 초래합니다. 본 논문에서는 대화형 노트북을 위한 서버리스 GPU 플랫폼인 LooseLeaf를 제안합니다. LooseLeaf는 각 셀의 상태와 import 클로저를 추출하며, 해당 셀이 필요로 하는 최소한의 변수와 패키지를 파악합니다. 실제 사례 5,000개의 노트북을 대상으로 한 분석 결과, 이러한 클로저는 크기가 작으며, 사용자가 셀을 편집하는 동안에도 이를 준비하는 데 몇 초밖에 걸리지 않는 것으로 나타났습니다. LooseLeaf는 사용자가 셀을 편집하는 동안 이러한 클로저를 포함한 GPU 워커를 미리 준비합니다. 실행이 완료된 후, 워커는…
arXiv:2610.33027v1 발표 유형: 신규 초록: 다음 토큰 예측(NTP)은 다음에 나타나는 단일 토큰에만 보상을 부여하고, 다른 모든 대안에는 벌점을 적용합니다. 그러나 자연어에서는 동일한 의미를 표현하는 방법이 종종 매우 다양합니다. 이에 우리는 의미에 대한 보상 메커니즘을 추가하여 다음 토큰 예측을 확장한 학습 프레임워크인 Conceptizer를 제안합니다. Conceptizer는 문맥적 동의어를 기반으로 구성된 약 9천 개의 개념으로 이루어진 모델 독립적인 고정 어휘를 텍스트의 단위인 토큰과 함께 의미의 단위로 활용합니다. 이를 통해 각 다음 토큰 분포를 개념 분포로 매핑하고, 목표로 하는 의미에 대한 보상을 가능한 다양한 표현 방식들 간에 공유합니다. 이는 모델 파라미터를 추가하지 않으면서도 개념 수준의 학습 신호를 제공합니다. 1B~8B 파라미터 규모의 세 가지 모델 계열에 적용한 결과, Conceptizer는 가장 낮은 헬드아웃 NTP 패러독스를 달성했습니다.
arXiv:2610.32322v1 발표 유형: 신규 초록: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공공 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 특정 모델이 내부적으로 학습하여 해당 기술을 필요로 하지 않게 되었음을 확인하고 그 모델에 대해 해당 기술을 폐기해야 하지만, 현재까지는 이러한 내부화 정도가 알려진 신뢰성으로 측정된 바 없습니다. 기존에 발표된 규칙들은 기술을 포함한 실행과 제외된 실행 간의 성능 차이만을 기준으로 기술 폐기를 판단합니다. 그러나 내부화된 기술의 경우에도, 그리고 모델과 기술 모두 해당 능력을 제공하지 못하는 상태(우리가 ‘미해결 상태’라고 부르는 경우)에서도 성능 향상은 거의 제로에 가깝습니다. 따라서 우리는 대신 해당 기술을 보류하고, 그 기술을 기반으로 새롭게 구성된 과제에서 모델의 성능을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 비지원 점수를 신뢰합니다. 이는 높은 점수의 거의 절반이 아무런 기술도 없는 과제에서 나온다는 사실에 근거합니다.
arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형·메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있습니다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러납니다. 이러한 도전 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함됩니다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있습니다.
arXiv:2610.33001v1 발표 유형: 신규 초록: 학술적 퇴고는 정당한 글쓰기 목표 간의 충돌이 발생할 때 거버넌스상의 문제를 야기한다. 글쓰기 과정 및 사회과학 분야의 연구에 따르면, 퇴고는 재귀적이며 문장 표현에는 인식론적·학문적 차원의 맥락적 의무가 수반된다. 이러한 연구들은 중요한 제약 조건들을 규명하되, 간결성, 출판 매체 형식, 또는 스타일적 다양성이 증거와 주장의 한계와 충돌할 경우 어떤 목표가 우선해야 하는지에 대해서는 명확히 규정하지 못하고 있다. 본 논문은 퇴고를 순서화된 제약 조건 하에서의 허용 가능성 문제로 모델링한다. 작업별 불변량, 맥락적 제약 조건, 그리고 가변적인 표현 선택이 허용 가능한 범위를 규정하며, 주장 보전 계약은 증거와 판단을 권한 있는 주장의 한계와 연결한다. 네 가지 거버넌스 관련 명제가 이를 구체화한다
arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 달성하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로도 잘 드러나며, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개합니다. Solvent는 다단계 역합성 문제에 대한 장기적 추론을 성공적으로 확장한 모델입니다. 두 차례에 걸친 사후 학습 커리큘럼을 통해 Solvent는 반복적인 작업을 병렬로 수행하는 방법을 학습합니다.
arXiv:2610.33036v1 발표 유형: 신규 초록: 스피킹 스타일 캡션링(SSC)은 음성의 톤, 억양, 표현력 등과 같은 비언어적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합된 설명이 아니라, 특정한 음성의 측면(예: 화자의 특성, 감정, 또는 전달 스타일)을 구체적으로 기술하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 스피킹 스타일 캡션링에 대한 통일된 수식화가 부족한 실정입니다. 우리는 이러한 한계를 해소하기 위해 SSC를 명령어 준수형 오디오-언어 과제로 정식화함으로써, 명시적인 지침이 스피킹 스타일의 특정 차원을 규정하도록 하는 접근법을 제안합니다.
arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 다음 단계를 계속할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 증거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 증거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기억제’라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완료 여부나 출력 품질을 측정할 뿐, 이 능력은 검증되지 않은 상태입니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 기반으로 하여, 4개 산업 분야의 15개 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 억제와 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해
arXiv:2610.33018v1 발표 유형: 신규 초록: 학술 지식 그래프(SKGs)는 문헌 검색, 과학적 발견 및 에이전트 지원 연구를 지원합니다. 그러나 SKG 구축을 위한 대부분의 접근법은 일반적으로 학술 개체 또는 기여 수준의 진술로 명명되는 표현할 지식 단위를 사전에 규정하고, 해당 단위를 통해 표현 가능한 출판물 내용만을 유지합니다. 이러한 선택은 두 가지 주요하면서도 서로 다른 패러다임을 낳습니다: 개체와 국부적 관계를 보존하는 개념 중심의 SKGs와, 문장 수준의 고차원적 담론을 포착하는 진술 중심의 SKGs입니다. 두 경우 모두, 그래프는 논문이 지식을 구성하고 전달하는 방식이 아니라 선택된 추출 대상을 반영하게 됩니다. 우리는 지식을 정의하는 방법을 제시하는 SUDO, 즉 학술 상위 담론 온톨로지를 소개합니다.
arXiv:2610.33004v1 발표 유형: 신규 초록: 광학 문자 인식(OCR)은 역사 기록 보관소의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 의미 있는 정보가 제대로 유지되는지를 반드시 반영하지 못합니다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 엔터티 수준에서 분석합니다. 공개된 벤치마크 데이터셋인 Berrutti 아카이브의 175개 문서와, 게재 승인 시 공개될 수동으로 주석된 5,209개의 엔터티 언급을 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교합니다. 전역적 전사 정확도 외에도
arXiv:2610.33016v1 발표 유형: 신규 초록: Llama-3, Qwen3 및 기타 다수의 오픈 LLM은 단어 클래스가 유니코드 문자만 허용하는 정규 표현식을 사용해 텍스트를 사전 토크나이제합니다. 데바나가리 모음 부호는 결합 기호이므로 이 정규 표현식은 네팔어 단어를 각 모음 부호마다 분할하며, 이를 사용하는 모델들은 동일한 영어 텍스트에 비해 네팔어에서 2.6배에서 5.8배 많은 토큰을 소비합니다. 병합 기반 어휘 확장 방식은 분할된 조각들을 합칠 수 없으며, Llama-3와 Qwen3의 경우 아무리 많은 새로운 병합을 시도해도 이 프리토크나이즈 바닥값을 약 2.2 이하로 낮출 수 없고, 이미 공개된 열 개의 확장어휘조차 이 기준치에서 4% 이내에 머물러 있습니다. 우리는 배포된 정규 표현식에 대해 작은 수정을 가하여, 결합 기호나 데바나가리 문자를 포함하지 않는 모든 토큰 ID를 보장함을 입증했습니다. 여기에 32,000개의 새로운 병합을 추가하면 네팔어는 영어의 1.01배 수준으로 상승하게 됩니다, 그리고
arXiv:2610.32412v1 발표 유형: 신규 초록: 재귀적 대규모 언어 모델(LLM) 에이전트는 분해, 실행 및 환경 피드백을 통해 장기적인 목표를 달성하는 과제를 해결한다. 그러나 원자적 하위 작업을 생성한 뒤에는, 익숙한 명령어를 실행 가능한 행동으로 변환하기 위해 다시 동일한 대규모 모델을 호출하는 경우가 많다. 우리는 고수준 계획은 과제마다 특화되어 있는 반면, 최하위 수준의 행동 구체화는 과제 간에 반복적으로 사용되며 환경에서 허용된 행동들과 비교·검증할 수 있다는 점을 관찰하였다. 이에 우리는 리프스킬(LeafSkill)을 제안한다. 이는 의미적으로 관련된 구체화 경험을 검색하고, 행동 템플릿을 현재 객체와 허용 가능한 행동에 결합하며, 경량형 1.7B 선택기를 활용해 결합된 행동을 선택하거나 변경되지 않은 하위 작업을 원래 에이전트에게 위임하는 외부 재사용 계층이다. 기술들은 외부에 남아 있다…
arXiv:2610.31968v1 발표 유형: 신규 초록: 정확한 구급차 이동 시간 추정은 응급 의료 출동에 있어 매우 중요하지만, 기존의 의사결정 지원 방식은 종종 정적인 조회 테이블이나 구급차 이동 시간이 일반 승용차 이동 시간과 어떻게 다른지에 대한 단순화된 가정에 의존합니다. 예를 들어, 구급차는 일반 승용차보다 일정 비율(예: 5%)만큼 더 빠르게 이동한다고 가정하곤 합니다. 그러나 이러한 가정은 실제 구급차 운영 데이터를 통해 검증되는 경우가 드물며, 길이 우선순위, 시간적 맥락, 출발지와 목적지 간의 특성 등이 반영되지 못할 수 있습니다. 우리는 스웨덴 스코네 지역의 과거 구급차 운행 데이터를 활용하여 이러한 한계를 해결합니다. 우리의 분석 결과, 구급차의 이동 시간은 시간대, 요일, 그리고 t에 따라 크게 달라지는 것으로 나타났습니다.
arXiv:2610.33020v1 발표 유형: 신규 초록: 만약 당신의 뇌가 다른 사람의 뇌와 직접 연결된다면, 여전히 어떤 생각이 자신의 것인지 구분할 수 있을까요? 우리는 하나의 언어 모델을 두 개 복제한 기능적 버전을 구축했습니다. 각 복제본은 개인적인 규칙과 코드워드를 보유하며, 그중 한 복제본인 수신자는 상대방의 내부 기억에도 주의를 기울입니다. 수신자는 상대방에게 할당된 과제를 마치 자신이 수행한 것처럼 받아들였습니다. 상대방의 기억에 이중 가중치를 부여했을 때(연결 없을 경우는 제외), 수신자가 자신에게 할당된 규칙이 무엇인지 묻는 질문에 대해 97%의 경우 상대방의 규칙을 자신의 것으로 지칭했으며, 공개 보고서에서도 상대방의 코드워드를 자신만의 것으로 표기했지 결코 상대방의 것으로 언급하지 않았습니다. 소유권은 수신자가 상대방에게 할당된 내용을 얼마나 잘 파악하느냐와는 무관했습니다. 동등한 가중치 하에서는, 연결이 수신자가 상대방의 규칙을 약 절반 정도로 받아들이게 만들었습니다.
arXiv:2610.33062v1 발표 유형: 신규 초록: 통합 대규모 다중 모달 모델(ULMM)은 텍스트-이미지 교차 생성을 통해 시각적 추론을 수행할 수 있지만, 명시적인 중간 이미지를 생성하는 데에는 상당한 계산 부하가 발생합니다. 시각 잠재 공간 추론이 이 문제를 해결하긴 하지만, 기존의 대부분 방법은 시각 생성이 불가능한 시각-언어 모델(VLM)에 의존하고 있습니다. 우리는 ULMM에서 잠재적 시각 추론을 가능하게 하는 새로운 프레임워크인 Oddin을 제안합니다. Oddin은 중간 이미지를 간결한 잠재 토큰으로 대체하며, 이를 이해 분기에서 전적으로 처리하도록 하고, 생성 분기는 최종 출력 이미지 생성에만 할애합니다. 우리는 세 가지 목표—최종 이미지 생성 손실, 텍스트 증류 손실, 그리고 교차 엔트로피 손실—을 포함한 오프라인 자기 증류 방식으로 모델을 학습합니다.
arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은
arXiv:2610.32431v1 발표 유형: 신규 초록: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는 롤아웃 내 모든 행동에 대해 단일 궤적 수준의 이득이 할당된다. 이로 인해 잠재적으로 유용한 복구 시도가, 그것이 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백을 위한 이상적인 중단 조건은 성공 확률 및 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 제거된 그라디언트 기여의 조건부 기대값이 유지된 정보를 조건으로 하여 영이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하고 그 공분산을 줄일 수 있다. 이러한 중단 중 하나는 성공의 조건부 확률이
arXiv:2610.32104v1 발표 유형: 신규 초록: 변환기 아키텍처의 능력과 한계를 규명하기 위해 여러 가지 형식적 이론들이 개발되어 왔으며, 각 이론은 아키텍처의 서로 다른 특징을 포착하는 다양한 추상화 방식을 사용한다. 이러한 이론들은 기본 가정과 개념적 틀의 차이로 인해, 변환기가 어떤 과제를 쉽게 또는 어렵게 여길지에 대한 예측에서 서로 상충될 수 있다. 우리는 변환기 능력에 관한 일곱 가지 이론(Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, 그리고 Sensitivity)을 정리하고, 이를 다양한 계산 구조를 포괄하는 여러 과제 세트에 걸쳐 공통적인 예측 매트릭스로 변환하였다. 또한 이 매트릭스를 완성하기 위한 새로운 이론적 결과를 제시한다. 이후 우리는 이론적…
arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진
