제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.33015v1 발표 유형: 신규 초록: 장기 기억은 대규모 언어 모델(LLM) 에이전트가 개인화되고 시간적으로 일관된 상호작용을 유지할 수 있도록 하지만, 메모리의 입실, 추출 및 정리를 위해 LLM 추론을 반복적으로 수행하면 상당한 비용과 지연이 발생합니다. 우리는 선명도 기반 입실과 술어 중심 정보 추출을 결합한 경량 메모리 프레임워크인 SLICE-Mem을 제안합니다. 간결한 분류기가 보존할 만한 사용자 발화를 식별하고, 의미적 의존성 기반 추출기가 입실된 발화를 간결한 메모리 항목으로 변환합니다. 이 온라인 파이프라인은 생성형 LLM 호출을 필요로 하지 않으며, 서로 다른 항목 간의 정합성 조정은 오프라인 통합 단계로 연기됩니다. 우리는 Memora와 LongMemEval-S의 주간 서브셋에서 8B a를 사용하여 SLICE-Mem을 평가합니다.
arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.
arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식
arXiv:2610.33007v1 발표 유형: 신규 초록: 통합 지상망 및 비지상망(TN/NTN) 6G 네트워크에서의 자연어 기반 서비스 의도는 불완전하거나 모호하거나 일관성이 없을 수 있어, 신뢰할 수 있는 네트워크 기반 오케스트레이션을 위해 제한 없는 LLM 생성이 어려운 상황을 야기합니다. 본 논문에서는 문법 제약을 적용한 의미 분석과 지식 그래프(KG) 기반 명확화 루프를 결합한 지식 기반 LLM 프레임워크를 제안하며, 대표적인 네 가지 서비스 클래스에 걸쳐 검증된 오케스트레이션 준비 완료 상태의 서비스 프로파일을 생성합니다. 200개의 샘플로 구성된 의도 데이터셋에서, 이 프레임워크는 요청당 평균 0.66회의 명확화 단계를 거쳐 분류 정확도 89%와 정책 타당성 95%를 달성합니다. 순수 LLM 기반 베이스라인과 비교했을 때, 제안된 프레임워크는 정책 타당성을 향상시키고 co
arXiv:2610.33039v1 발표 유형: 신규 초록: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량 당 속도와 지능을 최적화하는 하이브리드 Mamba-Transformer 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀타이제이션 기반의 학습 후 양자화 기반 증류 기술을 결합하여 메모리 제약 환경에서도 효율적으로 배포할 수 있도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 그리고 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도를 달성하기 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 교육했습니다. 그 결과 생성된 모델은 일반적인 에이전트 작업에 대한 여러 벤치마크에서 유사한 메모리 사용량과 속도를 가진 주요 경쟁 모델들보다 높은 정확도를 보여줍니다.
arXiv:2610.32322v1 발표 유형: 신규 초록: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공공 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 특정 모델이 내부적으로 학습하여 해당 기술을 필요로 하지 않게 되었음을 확인하고 그 모델에 대해 해당 기술을 폐기해야 하지만, 현재까지는 이러한 내부화 정도가 알려진 신뢰성으로 측정된 바 없습니다. 기존에 발표된 규칙들은 기술을 포함한 실행과 제외된 실행 간의 성능 차이만을 기준으로 기술 폐기를 판단합니다. 그러나 내부화된 기술의 경우에도, 그리고 모델과 기술 모두 해당 능력을 제공하지 못하는 상태(우리가 ‘미해결 상태’라고 부르는 경우)에서도 성능 향상은 거의 제로에 가깝습니다. 따라서 우리는 대신 해당 기술을 보류하고, 그 기술을 기반으로 새롭게 구성된 과제에서 모델의 성능을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 비지원 점수를 신뢰합니다. 이는 높은 점수의 거의 절반이 아무런 기술도 없는 과제에서 나온다는 사실에 근거합니다.
arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 달성하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로도 잘 드러나며, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개합니다. Solvent는 다단계 역합성 문제에 대한 장기적 추론을 성공적으로 확장한 모델입니다. 두 차례에 걸친 사후 학습 커리큘럼을 통해 Solvent는 반복적인 작업을 병렬로 수행하는 방법을 학습합니다.
arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 다음 단계를 계속할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 증거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 증거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기억제’라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완료 여부나 출력 품질을 측정할 뿐, 이 능력은 검증되지 않은 상태입니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 기반으로 하여, 4개 산업 분야의 15개 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 억제와 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해
arXiv:2610.32412v1 발표 유형: 신규 초록: 재귀적 대규모 언어 모델(LLM) 에이전트는 분해, 실행 및 환경 피드백을 통해 장기적인 목표를 달성하는 과제를 해결한다. 그러나 원자적 하위 작업을 생성한 뒤에는, 익숙한 명령어를 실행 가능한 행동으로 변환하기 위해 다시 동일한 대규모 모델을 호출하는 경우가 많다. 우리는 고수준 계획은 과제마다 특화되어 있는 반면, 최하위 수준의 행동 구체화는 과제 간에 반복적으로 사용되며 환경에서 허용된 행동들과 비교·검증할 수 있다는 점을 관찰하였다. 이에 우리는 리프스킬(LeafSkill)을 제안한다. 이는 의미적으로 관련된 구체화 경험을 검색하고, 행동 템플릿을 현재 객체와 허용 가능한 행동에 결합하며, 경량형 1.7B 선택기를 활용해 결합된 행동을 선택하거나 변경되지 않은 하위 작업을 원래 에이전트에게 위임하는 외부 재사용 계층이다. 기술들은 외부에 남아 있다…
arXiv:2610.33020v1 발표 유형: 신규 초록: 만약 당신의 뇌가 다른 사람의 뇌와 직접 연결된다면, 여전히 어떤 생각이 자신의 것인지 구분할 수 있을까요? 우리는 하나의 언어 모델을 두 개 복제한 기능적 버전을 구축했습니다. 각 복제본은 개인적인 규칙과 코드워드를 보유하며, 그중 한 복제본인 수신자는 상대방의 내부 기억에도 주의를 기울입니다. 수신자는 상대방에게 할당된 과제를 마치 자신이 수행한 것처럼 받아들였습니다. 상대방의 기억에 이중 가중치를 부여했을 때(연결 없을 경우는 제외), 수신자가 자신에게 할당된 규칙이 무엇인지 묻는 질문에 대해 97%의 경우 상대방의 규칙을 자신의 것으로 지칭했으며, 공개 보고서에서도 상대방의 코드워드를 자신만의 것으로 표기했지 결코 상대방의 것으로 언급하지 않았습니다. 소유권은 수신자가 상대방에게 할당된 내용을 얼마나 잘 파악하느냐와는 무관했습니다. 동등한 가중치 하에서는, 연결이 수신자가 상대방의 규칙을 약 절반 정도로 받아들이게 만들었습니다.
arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은
arXiv:2610.31946v1 발표 유형: 신규 초록: 세 명의 학생이 같은 시험 문항을 손으로 작성하여 답했다: “행복이란 무엇인가요? 당신은 행복한가요?” 수집 당시 기록된 이들의 나이는 17세, 28세, 45세이다. 17세 학생의 답변은 조심스럽고 형식적으로 표현되어 있다. 각 답변을 나이와 성별 라벨에 맞추도록 요청했을 때, 대부분의 최첨단 언어 모델은 이를 성인에게 확신 있게 배정한다. 본 논문은 Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), 그리고 DeepSeek V4 등 여섯 개 모델에서 나타난 이러한 실패를 구조화된 사례 연구로 보고한다. 우리는 프레임워크, 공개 형식, 그리고 청중 인식 지침을 조작하는 여섯 가지 실험 조건 하에 1,081회의 API 세션을 실행하고, 총 3,225개의 응답을 평가하였다. 여섯 개 모델 중 세 개는 매칭 과제에서 우연 수준(1/3) 또는 그에 근접한 성과를 보이는 반면, 73~88%의
arXiv:2610.32026v1 발표 유형: 신규 초록: 전통적인 신경망 학습은 일반적으로 사전 정의된 최적화 방식을 따르며, 이를 통해 학습 동역학을 모니터링하고 학습이 진행됨에 따라 옵티마이저 설정을 조정하는 LLM 에이전트를 구동합니다. 그러나 고정된 에이전트 정책은 여러 번의 실행에 걸쳐 경험을 축적하지 못합니다. 우리는 RSI-Opt를 제안합니다. 이는 플러그 앤 플레이 방식의 재귀적 자기개선 옵티마이저 에이전트로, 학습 과정을 안내하는 지식—프롬프트, 절차 집합인 플레이북, 검증된 옵티마이저 코드 라이브러리, 그리고 의사결정 주기—을 지속적으로 발전시킵니다. 메타에이전트는 이전 실행에서 얻은 증거를 바탕으로 이러한 정책을 재작성하며, 아카이브는 평가된 정책들을 보관하여 추가 발전을 도모합니다. 세 가지 학습 과제에서 다섯 세대에 걸쳐, 메타에이전트들은 재사용 가능한 절차와 코드를 개발하고 스스로의 작업을 수행합니다.
arXiv:2610.31734v1 발표 유형: 신규 초록: 실시간 e스포츠 중계에는 어떤 카메라를 송출할지 결정하는 디렉터와, 그 선택에 대해 매초마다 다음 상황을 예측하지 못한 채 해설을 담당하는 캐스터가 필요합니다. 스트리밍 영상 언어 모델들은 해설 기능을 학습했지만, 이는 이미 인간 디렉터가 제작한 중계 영상을 대상으로 한 것입니다. 우리는 실시간 중계 제작 과정을 연구하며, 여기서 모델은 각 플레이어의 원시 카메라 영상을 입력으로 받아, 과거 정보만을 바탕으로 직접 연출과 해설을 동시에 수행해야 합니다. 우리는 이러한 두 가지 역할을 모두 수행하는 단일 스트리밍 영상 언어 모델인 DirCast를 제안합니다. 매초마다 저해상도로 모든 카메라 영상을 스캔하고, ‘유지’ 또는 ‘전환’이라는 디렉터의 판단에 따라 절차를 결정한 뒤, 선택된 카메라 영상을 고해상도로 읽어들인 후 말을 시작합니다. 모델의 컨텍스트는 지금까지 송출된 내용과 무엇이
arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업용 및 대화형 애플리케이션의 핵심 서비스로 점점 더 널리 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원 지역성에 대한 요구 사항으로 인해 중앙 집중식 클라우드 배치의 적합성이 제한될 수 있습니다. 통신사들은 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 대상으로 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 구현하기 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 제공 및 관찰 가능성이 통합되어 있습니다.
arXiv:2610.32107v1 발표 유형: 신규 초록: 대화에 참여하는 것은 단순히 무엇을 말할지 결정하는 것뿐만 아니라, 과연 말을 할 것인지 여부까지 포함된다. 이러한 판단은 특히 늑대인간 게임과 같이 참가자들의 이해관계가 상충되는 환경에서 더욱 중요한 의미를 갖는다. 왜냐하면 발화와 침묵 모두 타인에 의해 해석되고 평가되기 때문이다. 따라서 언제 말을 할지, 그리고 무엇을 말할지를 결정하는 것은 늑대인간 게임을 플레이하는 LLM 에이전트에게 매우 중요하다. 본 연구에서는 AIWolfDial 공동 과제의 Anytime Utterance Track를 위해 개발된 늑대인간 AI 에이전트를 소개한다. 우리 시스템은 기존의 Inner Thoughts 프레임워크를 기반으로 하며, 이 프레임워크는 내부 사고를 생성하고 각 사고의 가치를 평가함으로써 대화 중 발화 시점을 결정한다.
arXiv:2610.31918v1 발표 유형: 신규 초록: 대화형 LLM 에이전트를 디스틸링할 때는 교사가 생성한 시연과 학생이 생성한 경험 사이에서 선택해야 하며, 이는 대략 오프폴리시 디스틸링과 온폴리시 디스틸링에 해당합니다. 두 방법 모두 효과가 입증되었지만, 우리는 이러한 구분이 본질적으로 계층적이라고 주장합니다. 즉, 상호작용 이력을 유도하는 정책과 현재 행동의 토큰 접두사를 생성하는 정책이 반드시 동일할 필요는 없습니다. 우리는 이러한 두 수준의 온폴리시성을 체계화하고, 이들 간의 조합, 혼합 비율 및 학습 스케줄을 명시적으로 제어할 수 있도록 하는 계층적 에이전트 디스틸링 프레임워크를 제안합니다. 우리는 이 문제를 자기 디스틸링 방식으로 연구하며, 여기서 고정된 교사는 학생이 접근할 수 없는 과제 지침에 접근할 수 있습니다. 그리고
arXiv:2610.31971v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 개인과 조직을 대신해 협상에 점점 더 많이 참여하고 있지만, 특히 반복적인 다자 간 상호작용에서는 여전히 조작에 취약한 상태입니다. 전통적인 다중 에이전트 시스템은 명시적인 신뢰 및 평판 모델을 통해 이러한 도전 과제를 해결하는 반면, LLM 기반 협상에 관한 기존 연구들은 대부분 신뢰를 자연스럽게 발생하는 현상으로 간주합니다. 우리는 LLM 에이전트가 이전 상호작용을 바탕으로 유용한 신뢰 추정치를 형성하고 이를 활용해 향후 협상 결과를 개선할 수 있는지 탐구합니다. 우리는 반복적이고 다자간이며 다중 이슈로 구성된 협상 프레임워크를 제안하며, 여기서 재참여하는 에이전트들이 일련의 협상 게임에 참여하는 동안 한 참가자가 은밀히 합의를 방해하려 시도합니다.
arXiv:2610.31827v1 Announce Type: new Abstract: Long-context LLM serving for agentic, coding, and document workloads reuses prefixes whose key-value (KV) cache outgrows GPU and host memory, putting storage I/O on the critical path of the inference step for retrieving prefixes. A single node-local NVMe absorbs all retrievals, while the parallel file system or cloud file store that nodes already mount carries almost no inference traffic. We cast prefix retrieval as aggregate-bandwidth scheduling across these tiers and present KVStream, a KV cache engine that batches a step's reads, defers writes behind the forward pass, replicates each chunk on every tier, and lets each tier adaptively claim the next unread chunks once it is free. Our performance model shows this routing attains the aggregat
번역 대기 중 · 원문 표시 · enarXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 기반은 아직 잘 이해되지 않고 있습니다. 본 연구에서는 그래디언트 노이즈의 기하학적 구조가 뮤온의 전치 preconditioning 효과에 어떤 영향을 미치는지 분석합니다. 먼저, 고전적인 등방성 노이즈 가정 하에서 뮤온은 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여줍니다. 이를 계기로, 임의의 작업 주기가 서로 다른 연관 기억 시스템에서 미니배치 샘플링으로 인해 발생하는 구조화된 노이즈를 탐구합니다. 우리는 두 가지 작업에 대해 정확한 균형 임계값을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 그래디언트 신뢰성이 학습 과정을 어떻게 공동으로 형성하는지 밝힙니다. 우리의 분석에 따르면, 뮤온은 …을 완화할 수 있음을 보여줍니다.
