전체 AI 소식

b11910

opencl: set_tensor에 KV 캐시 뷰를 작성하여 상태 복원이 중단되지 않도록 수정 (#30471) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cp)

b11909

hexagon: MUL_MAT_ID 행 건너뛰기 최적화 및 개선(#31169) * hex-mmid: 건너뛴 행의 영값 초기화를 벡터화하고, 융합된 MM_ID_NX에도 영값 초기화 기능을 추가 * hex-mmid: 스칼라 나눗셈 제거 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11909/)

b11908

llama : llama_hparams에서 no_alloc을 이동 (#31141) * llama : llama_hparams에서 no_alloc을 이동 보조자: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) * cont : 정리 * cont : 정리 보조자: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) * tests : test-llama-context에 no_alloc 케이스 추가 보조자: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11908/llama-b11908-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama.cpp/releases/downlo)

b11907

모델: ggml_tensor** 출력 매개변수를 출력 구조체로 대체(#31142) 하이퍼 커넥션 및 DSA 그래프 빌더들은 추가 출력(포스트/콤비 게이트, 상위 k 선택 항목 전달, 인젝트 게이트)을 ggml_tensor** 출력 매개변수를 통해 작성해 왔습니다. 이제는 이를 주요 출력 옆에 위치한 작은 구조체로 반환하도록 수정했습니다. 지원자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (맥북, M5 맥스, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11907/llama-b11907-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11907/llama-b11907-bin-macos-x64.tar.gz) - [

b11906

ggml-cpu : 모든 타입에 대해 concat을 단일 행 커널로 재구현 (#31179) 모든 대상 행은 소스0 또는 소스1에서 나올 수 있으며, 차원이 0인 경우에는 소스0의 행 뒤에 소스1의 행이 이어지는 형태로 생성되므로, 하나의 커널로 모든 타입을 처리할 수 있습니다. 즉, 밀집형 소스 행은 컴파일 시 요소 크기가 알려진 상태에서 단일 memcpy로 처리되며, 양자화된 타입도 포함됩니다. 또한 스트라이드가 적용된 소스는 컴파일 시점에 요소 크기가 확정되어 요소별로 일일이 복사됩니다. 행들은 i2만으로 처리되는 경우보다 스레드 간에 분산되어 처리되며, 일반적으로 i2 값은 1인 경우가 많습니다. 그리고 행들은 32개씩 나누어 타일 단위로 복사됩니다. 전치된 소스의 경우 외부 루프에서 요소를 순회하므로, 한 타일 내의 각 행은 요소마다 전체 행 스트라이드를 건너뛰는 방식이 아니라 인접한 주소를 읽게 됩니다. test_concat 테스트에 전치된 b 케이스와 델타넷 합성곱 입력의 레이아웃을 추가하고, 이에 대한 성능 테스트 케이스도 마련했습니다. **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS Apple Sili

b11905

vulkan: 서브그룹 리덕션을 이용한 rms 노름 최적화(#29882) * RMS 노름 서브그룹 리덕션 최적화 * 빌드 오류 수정 * 개선된 최적화 * BLOCK_SIZE의 사용을 일관되게 유지 * 2차 서브그룹 추가를 건너뛰는 고속 경로 추가 * 서브그룹 리덕션 옵트에 AMD 벤더 추가 * rms_dict와 merge_maps의 동작을 명확히 하는 주석 추가 * unroll 추가 * 재베이스 * 구문 문제 수정 * 비서브그룹 경로에 128/256/512 블록 크기 추가 * 후행 공백 제거 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11905/llama-b11905-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.c)

2026년 뉴욕 기후 주간에서 MIT는 글로벌 네트워크와 연결됩니다

MIT 커뮤니티의 다양한 구성원들이 데이터센터와 초강력 온실가스부터 농업과 교육에 이르기까지 다양한 주제에 대해 논의를 열었습니다.

b11904

sycl: 일반 MMVQ 실행 트리플을 템플릿화합니다 (#31013) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama)

ASRock 크리에이터 라데온 AI 프로 R9700 리뷰: AMD 스타일의 워크스테이션 추론

오늘은 워크스테이션용 ASRock의 고급형 Radeon AI 추론 카드인 Creator Radeon AI Pro R9700을 살펴봅니다. 32GB의 RAM과 1,700달러의 가격대를 갖춘 이 카드는 로컬 AI 추론을 위한 워크스테이션을 구성하는 데 있어 매우 합리적인 선택입니다. 본 글 ‘ASRock Creator Radeon AI Pro R9700 리뷰: AMD 스타일의 워크스테이션 추론’은 ServeTheHome에 처음 게재되었습니다.

b11901

sycl : 바운드 재정렬 임시 메모리를 32 MiB로 설정 (#31062) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b)

스페이스X, 아폴로와 400억 달러 규모의 GPU 파이낸싱 계약 체결

스페이스X는 AI 칩 및 관련 데이터센터 장비 구매를 위한 약 400억 달러 규모의 자금 조달에 대해 법적 구속력 있는 계약을 체결했다고 월요일 규제 당국에 제출한 서류에서 밝혔다. 스페이스X는 성명을 통해 이를 사상 최대 규모의 GPU 관련 확정 자금 조달이라고 평가했다.

엔비디아 미네르바가 텔레메트리의 혼란을 어떻게 최고 수준의 GPU 출력으로 전환하는가

AI 팩토리는 지금까지 만들어진 운영 환경 중에서도 가장 기술적으로 복잡한 곳들 중 하나입니다. 수십만 개의 GPU, NVIDIA 스펙트럼-X 이더넷...

AI 수요 속에서 마벨의 초기 칩 제조 베팅이 성과를 거두다

8년 전, 칩 제조업체 마벨 테크놀로지 인코퍼레이션은 나노미터 기술을 한 단계 앞서 나가기로 결정했고, 그 이후로 성장세는 꾸준히 이어지고 있다. 반도체 제조에서 나노미터 표기는 트랜지스터의 정확한 물리적 크기가 아니라, 프로세스 노드로 불리는 칩 제조 기술 세대를 나타낸다. 고급 프로세스 노드는 일반적으로 더 높은 트랜지스터 밀도와 성능 향상을 가능하게 한다 […] 포스트 ‘AI 수요 속에서 마벨의 초기 칩 제조 모험에 대한 보상이 나타나다’는 실리콘앵글에 처음 게재되었다.

NVIDIA 미션 컨트롤 2.5가 쿠버네티스에 자율 복구 기능을 어떻게 제공하는가

수천 개의 GPU에서 대규모 AI 모델을 학습시키는 작업은 클러스터의 복원력을 최적화하기 위해 모니터링과 자동화가 내장되어야 하는 고위험 작업입니다...

b11900

common: 실제 HF 리포지토리 레이아웃에서 핀 모델 해상도(#30548) * tests: 실제 리포지토리 목록에서 핀 모델 해상도 1237개의 주요 출판사 GGUF 리포지토리에서 발견된 모든 파일 이름 패턴을 포괄하도록 선정하고, 전체 퀀트 그룹으로 간추린 후 HF API로부터 원문 그대로 캡처한 63개의 리포지토리 목록을 추가하여 test-model-resolution을 확장합니다. 각 리포지토리는 해결된 계획과 캐시 목록을 고정합니다. 기대값은 현재 해상도 처리기가 선택하는 값이 아니라 각 파일의 GGUF 헤더에 따라 실제로 무엇인지에 기반하므로, 불일치는 해상도 버그로 간주됩니다. 불일치 사례는 테스트가 실패하기 전에 함께 수집되어 보고됩니다. * tests: 파일 시스템이 거부하는 경로에서는 목록 표시를 비활성화합니다 일부 실제 분할된 이름(퀀트 폴더 아래에 있는 DevQuasar의 Model.Q2_K.gguf-00001-of-00012.gguf)은 물리적으로 적용된 후 MAX_PATH 제한을 초과합니다

b11899

mtmd: mtmd_helper_get_capabilities 추가 (#31183) * mtmd: mtmd_helper_get_capabilities 추가 * cap audio_stream * 호환성을 위해 기존 API 복구 * audio_gen_spk_ref, text_gen **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-)

징둥 광고는 화웨이 쿤펑과 협력해 생성형 광고 추론 지연을 15% 단축했으며, 618 대규모 프로모션에서 핵심 시나리오 검증을 완료했습니다.

징둥 광고는 화웨이 쿤펑과 협력하여 링취우 인터넷을 통해 300TB 규모의 공유 메모리 풀을 구축하고 RPC 통신을 재구성함으로써, 엔드투엔드 추론 지연 시간을 15% 단축하고 KV 캐시와 RPC 성능을 크게 향상시켰으며, 2026년 618 대규모 프로모션의 핵심 시나리오에서 5% 트래픽을 통해 검증을 완료했습니다. 또한 이 협력은 서치 및 추천 등 검색·추천 시나리오에 긍정적인 파급 효과를 가져왔으며, SuperCache, Agent 샌드박스 등 애지네틱 AI의 최첨단 분야에도 적극적으로 진출하고 있습니다.

추천 이유：이 보도는 2026년 10월 26일에 tmtpost.com에서 발표된 독창적인 기술 뉴스를 바탕으로 하며, 실제 적용된 기술 협업을 중점적으로 다룹니다. 협력 주체(징둥 광고/화웨이 쿤펑), 기술 경로(링취우 상호 연결, 이중 캐시, UB 프로토콜 직접 연결 URMA), 정량적 성과(지연 시간 15% 감소, TP99 최적화 85% 이상), 검증 시나리오(618 대규모 프로모션 트래픽의 5%), 그리고 발전 계획(SuperCache, Agent 샌드박스) 등이 명확히 공개됩니다. 모든 핵심 사실은 자료 내에서 상호 확인 가능하며, 외부 정보의 추가나 주관적 추론은 포함되지 않습니다.

b11898

ggml-cpu : fix unused variables in arm arch (#31180) **Website:** - **Attestations:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11898/llama-b11898-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11898/llama-b11898-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11898/llama-b11898-xcframework.zip) **Linux:** - [Ubuntu x64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11898/llama-b11898-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11898/llama-

b11897

tests : refactor test-llama-archs to not link internal libllama symbols (#30880) test-llama-archs included src/llama-arch.h and src/llama-model-saver.h, which prevented building on Windows with shared libraries since the used symbols are not exported from the DLL. - declare llama_arch_* wrappers around the internal llm_ arch query functions in the llama-ext.h staging header, together with llama_arch_kv_name() and llama_arch_supports_save() - slim llama_model_saver down to the private implementation of llama_model_save_to_file(): the fixture-writer half used by the test moves into tests/test-llama-archs.cpp as a local kv_writer - replace the roundtrip saver usage with the public llama_model_save_to_file() writing to a temp path (also removes the tmpfile() fd leak and its Windows workaround)

b11896

ci : fix race in webgpu memset (#31162) **Website:** - **Attestations:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11896/llama-b11896-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11896/llama-b11896-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11896/llama-b11896-xcframework.zip) **Linux:** - [Ubuntu x64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11896/llama-b11896-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64 (CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11896/llama-b11896-bin-ub