본문으로 건너뛰기
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

llama.cpp · b11923

ggml : relax scale to non-contiguous views (#31146) * ggml : relax scale to non-contiguous views SCALE requires src0 to be 1D-contiguous. Relax this to dim-0 contiguity with arbitrary row strides (ggml_is_contiguous_rows), same as the unary ops in the Metal backend. - ggml: relax the assert in ggml_scale_impl - cpu: address src0 rows through their byte strides (f32, bf16) - cuda: stride-aware kernel, fastdiv row decomposition - metal: support bf16 scale (guarded unary instantiations) - sycl: keep the gate at contiguous, the kernel is flat f32 Add view variants to test_scale. Verified on CPU, Metal and CUDA. Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (RTX 5090 32GB, DDR5 128GB) * cuda : skip the softcap fusion on non-contiguous views The fused softcap kernel reads src and w

1 개 독립 출처 · 1 건의 보도오래된순 ↕
발행 시간순

b11923

ggml : 비연속적인 뷰에 대해 스케일을 완화합니다(#31146) * ggml : 비연속적인 뷰에 대해 스케일을 완화합니다 SCALE은 src0이 1차원 연속성을 갖도록 요구합니다. 이를 임의의 행 스트라이드를 허용하는 차원-0 연속성으로 완화하여(Metal 백엔드의 단항 연산과 동일), ggml_is_contiguous_rows를 사용합니다. - ggml: ggml_scale_impl에서의 assert를 완화합니다 - cpu: src0의 행을 바이트 스트라이드에 따라 접근합니다(f32, bf16) - cuda: 스트라이드를 인식하는 커널, fastdiv 행 분해 - metal: bf16 스케일을 지원합니다(보호된 단항 인스턴시아이션) - sycl: 게이트는 연속적으로 유지하되, 커널은 평면 f32로 구현합니다 test_scale에 뷰 변형을 추가했습니다. CPU, Metal 및 CUDA에서 검증되었습니다. 협력자: dsh: llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF(RTX 5090 32GB, DDR5 128GB) * cuda : 비연속적인 뷰에서는 소프트캡 퓨전을 건너뜁니다 퓨전된 소프트캡 커널은 src와 w를 읽습니다

진행 상황 및 관련 보도