제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
이 글에서는 Underdog가 발표한 Saluki 27B 모델을 소개합니다. 이 모델은 7.9 GB 크기의 2비트 양자화 Qwen3.8-27B 변형으로, ISTA-DASLab의 GSQ-RCO 방법을 기반으로 구축되었으며, 120개의 작업에 대한 BFCL v4 도구 호출 벤치마크에서 원래의 54 GB 풀 정밀도 모델을 능가한다고 주장됩니다. 다만 모든 성능 관련 결론은 해당 개발자의 발표에 근거한 것으로, 독립적인 검증은 이루어지지 않았습니다.
llama.cpp 프로젝트는 빌드 버전 b11869를 출시했으며, 주요 수정 사항으로 Jinja 템플릿의 select 및 selectattr 함수에서 인수 해석 로직을 개선했고, macOS, Linux, Windows, Android, iOS 및 openEuler 등 수십 가지 하드웨어와 백엔드 조합에 대한 미리 컴파일된 바이너리 패키지를 제공합니다.
llama.cpp v2.45.0(태그 b11868)이 정식으로 출시되었으며, 핵심 업데이트로는 Hexagon 백엔드에 KV-head 분할 메커니즘을 도입하여 다중 코어 HMX Flash Attention의 성능을 최적화하고, FA 분할 제어 플래그를 통일했습니다. 동시에 macOS, Linux, Windows, Android, iOS 및 openEuler 등 모든 플랫폼용 바이너리 패키지를 제공하며, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, Snapdragon(Adreno+Hexagon) 등 다양한 백엔드 지원을 포함합니다.
llama.cpp가 GitHub에서 b11867 버전을 공식 출시했으며, 핵심 변경 사항으로는 서버 측 엔트리포인트의 재구성(PR #31113)과 server_role 메커니즘의 추가가 포함됩니다. 또한 macOS, Linux, Windows, Android, iOS 및 openEuler를 지원하는 40여 개의 사전 컴파일된 바이너리 패키지를 제공하며, CPU, CUDA(12.4/12.8/13.4), Vulkan, ROCm 10.0, OpenVINO, SYCL(FP16/FP32), Snapdragon(Adreno+Hexagon) 등 다양한 하드웨어 백엔드를 지원합니다.
llama.cpp 프로젝트는 빌드 버전 b11865를 출시했으며, 핵심 변경 사항으로는 RDMA 수신 로직에 메모리 경계 검사를 추가하고(PR #30399), CUDA 13.4, ROCm 10.0, Vulkan, OpenVINO, SYCL 및 퀄컴 스냅드래곤(CPU+Adreno+Hexagon)의 풀스택 이기종 컴퓨팅 백엔드를 포함해 하드웨어 가속 지원을 대폭 확장한 점이 있습니다. 또한 macOS용 KleidiAI 지원과 openEuler 빌드는 명시적으로 DISABLED로 표시되었습니다.
llama.cpp v.b11861은 minimax-m3 모델에서 NVFP4/MXFP8 양자화 시 스케일 텐서가 계산 그래프에 주입되지 않아 발생하던 가중치 왜곡 문제를 해결하여 ‘토큰 수프’ 현상과 잔차 소멸을 방지합니다. 또한 macOS, Linux, Windows, Android, iOS 및 openEuler를 지원하는 다중 플랫폼 바이너리 빌드를 함께 제공합니다.
Hugging Face는 AnyLanguageModel 1.0을 정식으로 출시했으며, Apple Foundation Models API와 완전히 호환되는 오픈소스 Swift 프레임워크를 제공합니다. 이 프레임워크는 로컬 모델(MLX, llama.cpp, Core ML)과 호스팅 모델(OpenAI, Anthropic, Gemini, Hugging Face Inference Providers 등) 간의 원활한 전환을 지원하며, 이미지 입력, 도구 호출, 가이드형 생성, 추론 블록 자동 적응 등의 기능도 추가되었습니다.
