AI NEWS.ccAI가 움직이고 미래가 업데이트됩니다.
한국어
中文English日本語한국어
EXPLORE · DISCOVER · CONNECT

AI 뉴스

아트팩트 증류: 프런티어 모델에서 소형 언어 모델로의 학습 없이 이전하기

arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은

공정한 딥페이크 탐지를 위한 교차적 불변 학습

arXiv:2610.37881v1 발표 유형: 신규 초록: 딥페이크 탐지 모델은 전반적인 정확도는 높지만, 인구통계학적 집단 간 성능 격차가 크기 때문에 일부 집단에서는 다른 집단에 비해 훨씬 높은 거짓양성률을 경험하게 됩니다. 기존의 공정성 지향 방법들은 모델 출력을 제한하여 집단별 예측을 균등화하는 방식으로 이 문제를 해결하려 하지만, 근본적인 특징 수준의 편향에는 대응하지 못합니다. 그 결과, 모델들이 여전히 피부 질감과 같은 인구통계학적 특성을 조작된 콘텐츠를 탐지하는 간접적 단서로 활용할 수 있는 상황이 발생합니다. 이러한 문제를 해결하기 위해 우리는 모델 출력만을 조정하는 것이 아니라 특징 학습 자체를 개선하는 프레임워크인 교차적 불변 학습(IIL)을 제안합니다. IIL은 가장 어려운 인구통계학적 하위 집단을 식별하는 과정을 반복적으로 수행하며

오픈 언어 모델의 모든 학습 단계에서 아첨 행동 탐지

arXiv:2610.37788v1 발표 유형: 신규 초록: 언어 모델 기반 비서는 사용자가 잘못된 답변을 제시하면 때때로 올바른 답변을 수정하기도 한다. 이러한 행동은 ‘아첨’으로 불리며, 일반적으로 선호 기반 사후 학습에 기인한다고 여겨지지만, 초기 측정에서는 사전 훈련된 모델에서도 발견되었다. 우리는 이 현상이 어디에서 발생하는지 파악하기 위해 학습의 모든 가능한 단계에서 이를 측정하였다: 기본 모델부터 감독 학습, 선호도 최적화를 거쳐 출시에 이르기까지, 5개 계열의 오픈 체크포인트 13개를 대상으로 분석했다. 또한, 주입된 주장이 모델의 답변을 얼마나 변화시키는지와 답변이 얼마나 견고하게 유지되었는지를 구분하고, 주장의 주체와 그 신뢰도, 그리고 주장의 강도를 다양하게 설정하여 실험을 진행했다. 그 결과, 서로 다른 기원을 가진 두 가지 아첨 행동이 나타났으며, 이 두 행동 모두 다양한 데이터셋에서 재현되었다. 주장에 대한 복종은 i

DistOptimize: 분산 프로토콜의 자동 최적화

arXiv:2610.39017v1 발표 유형: 신규 초록: 분산 합의 및 일관성 프로토콜은 이해하기 어렵지만 클라우드의 기반이 되므로, 배포 전에 종종 엄격한 증명과 형식 검증 과정을 거칩니다. 그러나 프로토콜 수정에는 이러한 수준의 엄밀성이 거의 적용되지 않으며, 생산 환경에서는 이러한 수정이 빈번히 발생해 안전성을 위협합니다. 본 논문에서는 수동 수정으로 인한 안전성 위반 위험을 제거하기 위해, 분산 프로토콜을 위한 자동 최적화 도구인 DistOptimize를 제안합니다. DistOptimize는 학술용 언어에서 개발된 처리량 최적화 기법을 실제 운영 환경에서 사용되는 프레임워크에 적용하고, Rocq 언어를 통해 재작성의 정확성을 검증하며, 교정과 ILP 기반 탐색을 결합하여 이를 자동으로 적용합니다.

추론을 위한 대규모 언어 모델의 지도학습微調: 종합적 조사

arXiv:2610.37681v1 발표 유형: 신규 요약: 최근 대규모 추론 모델들은 복잡한 과제를 해결하는 데 있어 뛰어난 성능을 보여왔으며, 이는 긴 사고 체인 데이터에 대한 지도학습微調(SFT)이 그들의 추론 능력을 발현하고 향상시키는 데 핵심적인 기반이 되었기 때문입니다. 추론 중심의 SFT를 개선하고 분석하는 데 있어 빠른 진전에도 불구하고, 이 분야에는 아직도 급속히 증가하는 관련 문헌을 통합적으로 정리한 체계적인 조사가 부족한 실정입니다. 이러한 공백을 메우기 위해 우리는 추론을 위한 SFT의 최근 발전상을 포괄적으로 검토하며, 방법론적 설계와 분석적 탐구라는 두 가지 관점에서 문헌을 살펴봅니다. 먼저, SFT 전반에 걸친 방법론적 개선 사항들을 검토하고 이를 데이터 중심 접근과 알고리즘 중심 접근으로 구분합니다.

단시간 푸리에 변환의 병렬 구현 비교 연구

arXiv:2610.38069v1 발표 유형: 신규 초록: 단시간 푸리에 변환(STFT)은 긴 신호의 짧은 지속 시간 창에 대해 푸리에 변환을 계산하며, 이를 통해 주파수가 시간에 따라 어떻게 변화하는지를 특성화한다. 푸리에 변환 알고리즘, 특히 고속 푸리에 변환(FFT) 알고리즘은 병렬 컴퓨팅을 활용하기 위해 잘 발전되어 왔지만, 병렬 단시간 푸리에 변환 알고리즘의 성능을 이해하는 데 관한 연구는 아직 제한적이다. 본 연구에서는 FFT 기반 알고리즘과 준병렬 피드포워드 알고리즘 두 가지를 구현하고, 서로 비교 분석하였다. 그 결과, 낮은 동시성 환경에서는 준병렬 알고리즘이 실행 시간 면에서 우수하지만, …

TRACEs: 분산 과학 워크플로우를 위한 세밀한 임베디드 퍼베넌스

arXiv:2610.39981v1 발표 유형: 신규 초록: 대규모 과학 워크플로우는 분산된 HPC 자원에서 실행되므로, 과학 데이터 산출물이 어떻게 생성되는지와 왜 동일한 워크플로우 실행에서도 매우 다른 결과가 나올 수 있는지를 설명하기가 어렵습니다. 기존 시스템은 주로 분산 워크플로우 실행 또는 퍼베넌스 관리에만 집중하며, 세밀한 수준의 퍼베넌스를 분산 과학 데이터 아티팩트의 본질적 속성으로 다루는 경우는 드뭅니다. 우리는 TRACEs(고급 컨테이너화 실행을 위한 추적 가능한 런타임)를 제안합니다. 이는 분산된 컨테이너화된 과학 워크플로우를 위한 퍼베넌스 아키텍처로서, 생성된 모든 데이터 아티팩트에 데이터 계보와 실행 컨텍스트를 직접 내장합니다. 퍼베넌스를 워크플로우 오케스트레이션과 분리함으로써, TRACEs는 아티팩트 중심의 퍼베넌스를 일반화합니다.

스포크, 링이 아니다: 언어 모델의 주중 다양체 재검토

arXiv:2610.37796v1 발표 유형: 신규 초록: 최근 연구에서는 대규모 언어 모델이 특정 개념을 단일 방향이 아닌 다차원적 다양체로 표현할 수 있다고 가정해 왔습니다. 이러한 다양체를 활용하여 표현을 해석하거나 조정하는 과정에서는, 일반적으로 다양체를 따라 이동하는 것이 표현된 개념에 대한 연속적인 변화와 일치한다고 여겨집니다. 본 연구에서는 이러한 연속적 다양체 가정을 전형적인 주중 다양체에 대해 검증합니다. 주목할 만한 원형 기하학에도 불구하고, 우리는 주중 표현들이 연속적인 링이라기보다는 원형으로 배열된 일곱 개의 분리된 상태와 더 유사하다는 점을 발견했습니다. 첫째, 국소적 민감도가 요일에 맞춰 일곱 개의 최소점을 가지며, 이는 다양체 내 조정 하에서 표현과 행동 간의 계단식 매핑을 생성함을 보여줍니다. 둘째, w

모델 교정을 위한 변환된 국소화된 사후 추론: 해양 난류 폐쇄 모델에의 응용

arXiv:2610.37731v1 발표 유형: 신규 초록: 모델의 불일치로 인해 단일 교정 파라미터만으로는 전체 맥락 영역에서 물리적 반응을 재현할 수 없을 수 있습니다. 또한 관측값과 맥락의 불확실성은 교정에 영향을 미치며, 이를 반드시 고려하고 정량화해야 합니다. 우리는 목표 맥락에 대한 근접성에 따라 관측 가능성을 가중하는 방식으로 일련의 국소화된 사후 분포를 구성합니다. 가우시안 국소화 가중치는 공분산 확장을 통해 맥락 불확실성을 반영하며, 도메인 경계에서는 반사를 적용하고, 맥락 표본 채취가 고르지 않은 경우에 대비한 선택적 보정도 제공합니다. 조건부 정규화 흐름을 이용하여 변환된 변분 추론을 통해 이들 사후 분포의 집합을 근사합니다. 규정된 맥락 측도 하에 국소화된 사후 분포들을 통합하면

LLM 정렬을 위한 리스트와이즈 선호도의 랭크 인식 차분적 개인 정보 보호 공개

arXiv:2610.37682v1 발표 유형: 신규 초록: 리스트와이즈 선호도 피드백은 쌍대비교보다 대규모 언어 모델(LLMs) 정렬을 위한 더 풍부한 감독 정보를 제공하지만, 전체 순위는 더욱 민감한 사용자 선호까지 드러냅니다. 기존의 개인정보 보호형 정렬 방법들은 주로 쌍대비교 피드백에 집중해 왔으며, 로컬 차분적 개인 정보 보호(LDP) 하에서의 리스트와이즈 정렬은 아직 미탐구 상태입니다. LDP를 이러한 리스트와이즈 영역으로 확장하는 데에는 중대한 과제가 따릅니다: 전체 순위 공간의 높은 민감성으로 인해 과도한 노이즈가 발생하여 리스트와이즈 감독의 이점이 무력화될 수 있기 때문입니다. 이 문제를 해결하기 위해 우리는 하위 단계 학습에서 감독의 세분화 정도와 개인정보 보호 노이즈 간의 상호작용을 분석하고, 리스트와이즈 선호도를 개인화하는 랭크 인식 지수 메커니즘을 도입합니다.

텐센트 탕다오성: 텐센트 혼위안 Hy4 및 Hy4 플래시 곧 출시

【텐센트 탕다오성: 텐센트 혼위안 Hy4 및 Hy4 플래시 곧 출시】‘科创板日报’ 29일 보도에 따르면, ‘科创板日报’ 기자가 텐센트 글로벌 디지털 생태대회 현장에서 취재한 결과, 텐센트 그룹 수석 집행부사장 겸 클라우드 및 지능형 산업 사업군 CEO인 탕다오성이 현장에서 Hy4의 곧 출시를 공식 발표했다. Hy4는 Hy4 프리뷰에 비해 전반적으로 대폭 개선되었으며, 특히 각종 장기 작업과 실제 생산성 업무 수행 능력이 강화되고 사고 체인의 효율성이 크게 향상되었다...

CVE 취약점 수가 거의 수직으로 급증하며, AI가 보안 연구의 ‘확대기’ 역할을 하고 있다

기술 매체 gigazine은 개발자 @0x_Osprey가 웹 기반 CVE Tracker를 출시했다고 보도했다. 이 도구는 CVE 번호를 부여받은 취약점 수의 변화를 시각화된 그래프로 제공하며, 2026년 이후 곡선이 거의 수직으로 상승하고 있음을 보여준다. CVE는 전 세계적으로 통용되는 취약점 식별 체계로, 보안 연구원과 제조사, 기업들이 이를 통해 결함을 추적하고 공지하며 수정한다. 해당 도구는 공개된 기록을 정리해 트렌드 차트로 표시하고, 주요 AI 모델의 출시 시점까지 겹쳐 표시함으로써 취약점 증가와 AI 출시 간의 관계를 직관적으로 비교할 수 있도록 한다.

리퀴드 AI, 효율성과 전용 지능을 강조하는 LFM3 다중모달 모델 패밀리 공식 발표

최근 리퀴드 AI는 차세대 기반 모델 패밀리인 LFM3을 정식으로 출시했습니다. 첫 번째 버전에는 약 2B 파라미터 규모의 모델 여섯 가지가 포함되며, 텍스트, 비전, 오디오, 옴니모달 및 의사결정 등 다양한 영역을 포괄합니다. 이들 모두는 LFM3-1.7B-Base를 기반으로 하며, 사전훈련 단계에서 최대 22T 토큰의 처리량을 달성했습니다. 해당 시리즈는 새로운 트라이하이브리드 레이어 아키텍처를 채택해 게이트 기반의 짧은 컨볼루션과 슬라이딩 창 메커니즘 등을 융합함으로써, 더 적은 파라미터와 높은 효율성을 특징으로 합니다.

적응 전 교정: 연합 적응형 최적화를 위한 기울기 교정

arXiv:2502.02727v4 발표 유형: replace-cross 초록: 클라이언트 드리프트 보상 방법은 연합 학습(FL)에서 데이터 이질성의 영향을 완화합니다. 드리프트 교정은 확률적 경사 하강법(SGD) 기반 연합 학습에서는 잘 연구되어 왔지만, 적응형 클라이언트 최적화 알고리즘과의 상호작용에 대해서는 아직 충분히 이해되지 않았습니다. Adam과 같은 적응형 최적화 알고리즘은 과거 기울기의 이동평균을 기반으로 각 업데이트를 구성하므로, 최종 업데이트 방향만을 교정하면 이러한 평균과 그 안에 포함된 드리프트는 그대로 유지됩니다. 우리는 이러한 이동평균에 들어가기 전에 각 기울기를 먼저 교정하는 연합 적응형 기울기 교정({\tt FA-GC})을 제안하고, 이를 최종 방향에 교정을 추가하는 연합 적응형 단순 추적({\tt FA-NT})과 비교합니다. 우리는 실험을 통해, 이상적인

FinLLM-KG: 알고리즘 트레이딩에서의 금융 감성 분석을 위한 지식 그래프 강화형 LLM

arXiv:2610.36083v1 발표 유형: 신규 초록: 생성형 AI의 최근 발전은 사후 학습된 금융 전용 대규모 언어 모델(LLMs)을 통해 금융 감성 분석을 크게 향상시켰습니다. 그러나 기존 접근법들은 각 기사의 감성을 개별적으로 예측하는 데에 그치고, 흑백 상자와 같은 방식으로 작동하여 맥락 이해를 제한하고 고위험 금융 의사결정에의 적용을 저해합니다. 이에 따라 우리는 FinLLM-KG를 제안합니다. 이는 모델에 독립적인 프레임워크로, 인과적 LLM과 금융 지식 그래프를 결합하여, 모델 가중치를 업데이트하지 않고도 추론 시 SEC 10-K 서류로부터 시간적 근거를 갖춘 기업 수준의 지식을 주입할 수 있도록 설계되었습니다. FinLLM-KG 내에서는 맥락이 자연어로 작성된 기업 프로필 또는 소규모 관계 집합의 형태로 제공됩니다.

INC-MoE: 전문가 병렬 혼합-전문가 추론을 위한 네트워크 내 집단 수렴과 전문가 계산의 중복 처리

arXiv:2610.36339v1 발표 유형: 신규 초록: 전문가 병렬 혼합-전문가(MoE) 서비스에서 디스패치는 토큰을 해당 토큰이 선택한 전문가를 호스팅하는 가속기로 이동시키고, 결합은 각 토큰의 소유자에게 전문가 출력을 다시 모아줍니다. 두 작업 모두 핵심 경로에 위치해 다노드 배포 환경에서 MoE 레이어의 지연 시간을 주도할 수 있습니다. 우리는 INC-MoE를 제안합니다. 이는 디스패치와 결합 작업을 네트워크 스위치로 오프로드하고, 두 집단 수렴을 서로 및 전문가 계산과 겹치도록 설계된 전문가 병렬 MoE 레이어입니다. 디스패치는 스위치 측 멀티캐스트를 통해 네트워크 내 AllGather를 사용하며, 결합은 스위치 측 감축을 통해 네트워크 내 ReduceScatter를 사용합니다. 두 집단 수렴 모두 최종 호스트와 스위치 간의 메시지 세미틱을 활용합니다. 네트워크 내 집단 수렴은 서로 반대 방향으로 로드되기 때문에

토크나이저 없이도 여전히 존재하는 격차: 동형 문자 및 보이지 않는 문자 워터마킹의 다국어 간 공정성

arXiv:2610.36432v1 발표 유형: 신규 초록: 동형 문자 및 보이지 않는 문자 워터마킹은 편집 기반 워터마킹입니다. 모델이 텍스트를 생성하는 방식을 변경하는 대신, 텍스트가 작성된 후에 그 안에 신호를 숨기는 방식입니다. 이들은 외관상 같거나 매우 유사하지만 서로 다른 유니코드 코드 포인트를 갖는 동형 문자로 일부 문자를 교체하거나, 표시되지 않는 문자를 삽입함으로써, 해당 텍스트를 작성한 모델에 대한 접근 권한 없이도 작동합니다. 생성 시점 워터마킹은 토크나이저가 텍스트를 분할하는 방식 때문에 자원이 부족한 언어에서는 성능이 떨어집니다. 개별 문자 단위로 작동하기 때문에 이러한 워터마킹은 토크나이저에 전혀 영향을 미치지 않으며, 따라서 이 격차를 피할 수 있는지 여부를 검토합니다. 24개의 문자 체계에 속한 40개의 언어 변종을 대상으로, 각 문자가 숨길 수 있는 비트 수(용량)와 그 비율을 측정하였습니다.

토큰 신뢰도는 과연 체인 길이에 불과한가? 추론 흔적에 대한 신호처리 분석

arXiv:2610.36709v1 발표 유형: 신규 초록: 추론 언어 모델은 수학 문제를 풀 때 긴 사고 체인을 작성하며, 문제당 여러 개의 체인을 샘플링한 뒤 다수결을 통해 정답을 도출하면 생성된 텍스트의 양이 크게 증가하는 대신 정확도가 향상된다. 이 비용을 줄이는 인기 있는 방법으로는, 모델이 각 토큰을 작성할 때 갖는 신뢰도를 기준으로 각 체인을 점수화하는 방식이 있다. 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 평균 창을 사용해 해당 신뢰도를 평균화하고, 가장 낮은 평균값을 기준으로 체인을 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 신뢰도를 오디오나 라디오 신호의 맥락에서 하나의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정 등 표준 신호처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음과 같은 문제들로부터 각각 500개의 문제에 대해 16개의 체인을 샘플링했다.