출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.
SF Compute는 에반 콘래드가 설립한 기업으로, GPU 연산력에 대한 프로그래밍 가능하고 물리적으로 교환 가능한 거래를 실현하는 데 중점을 두고 있습니다. 이 회사는 자체 데이터센터를 보유하지 않고, 풀스택 기술을 통해 제3자 시설과 협력해 ‘주권형 연산력 클라우드’를 공동 구축하며, 시장 중립성과 인프라의 통제 가능성에 큰 비중을 두고 있습니다. 현재까지 수억 달러 규모의 거래액을 달성했으며, InfiniBand 동적 분할 등 핵심 기능도 실제로 구현했습니다.
생성형 AI의 급부상으로 인한 고대역폭 메모리 칩 수요 급증에 대응하기 위해, 삼성은 한국 평택에 뉴욕 센트럴파크 규모의 반도체 제조 클러스터를 건설하고 있다. 현재까지 세 곳의 웨이퍼 공장이 가동 중이며, 네 번째 공장은 곧 상업 생산을 시작할 예정이고, 다섯 번째 공장은 2024년 수요 약세로 일시 중단됐다가 다시 건설을 재개했다. 현장에서는 높은 강도와 높은 안전 기준을 갖춘 건설 속도와 노동력 생태계가 구현되고 있다.
Hugging Face는 TorchTPU를 발표하여 PyTorch에 원래의 TPU 백엔드 지원을 제공함으로써, Transformers, Diffusers 등과 같은 라이브러리들이 torch_xla에 의존하거나 JAX로 이전할 필요 없이 바로 TPU에서 실행될 수 있도록 했습니다.
Hugging Face는 AnyLanguageModel 1.0을 정식으로 출시했으며, Apple Foundation Models API와 완전히 호환되는 오픈소스 Swift 프레임워크를 제공합니다. 이 프레임워크는 로컬 모델(MLX, llama.cpp, Core ML)과 호스팅 모델(OpenAI, Anthropic, Gemini, Hugging Face Inference Providers 등) 간의 원활한 전환을 지원하며, 이미지 입력, 도구 호출, 가이드형 생성, 추론 블록 자동 적응 등의 기능도 추가되었습니다.
Hugging Face와 AWS가 공동으로 TorchNeuron을 출시했습니다—PyTorch용 원생형 Trainium 백엔드로, 2026년 10월 20일부터 공개 베타 테스트를 시작합니다. 이 기술을 통해 Transformers, Diffusers 등 주요 라이브러리들이 수정 없이 바로 Trainium 칩에서 실행될 수 있게 되어, 텍스트 생성 및 이미지 생성 모델의 사용 편의성과 호환성을 크게 향상시킵니다.
GPU 클러스터에 대한 충격적인 스케줄링
변압기는 지금 llama.cpp quants를 달립니다
Quantization-Aware Healing : 압축 된 4 비트 모델은 전체 정밀도 원본을 설명합니다
Differential acceleration of cyber, math, and AI
번역 대기 중 · 원문 표시 · enGPU 관리: 왜 이들 GPU 새로운 지상 항공기
Figure 1: CUDA-to-MLX optimization translation map. CUDA optimization knowledge can be translated into architecture-native MLX strategies rather than copied instruction-for-instruction. We face a new epoch in computing. Hardware is changing rapidly — not just faster GPUs, but a growing range of chips from different vendors, each with its own architecture and often tailored to specific AI workloads. Software is changing just as fast, and AI coding tools now generate in minutes what took months of effort a few years ago. With so much of computing now centered on AI, GPU kernels are a crucial component of its success. These are the low-level programs that run inside the GPU, and writing efficient ones is far from obvious — it takes years of expertise to get right. Transferring a kernel from o
번역 대기 중 · 원문 표시 · enNative-speed vLLM 변압기 모델링 백엔드
... government of the people, by the people, for the people ... — Abraham Lincoln, Gettysburg Address (1863) The cost of AI is dropping rapidly. GPT-4-class capabilities cost roughly $30 per million tokens in early 2023; today the same runs under $1, and some providers are pushing costs below $0.10. Across benchmarks, inference prices have fallen between 9x and 900x per year, with a median decline near 50x. Even frontier models are getting dramatically cheaper each generation, with open-source models following closely behind. And crucially, even if “Nobel-Prize-winning genius-level” intelligence isn’t here yet, the intelligence that suffices for the vast majority of knowledge work is here today, and getting cheaper by the month. At this rate, we are soon entering the era of virtually free
번역 대기 중 · 원문 표시 · enIs this the beginning of a new world?
번역 대기 중 · 원문 표시 · enWhat eras bookend our interregnum?
번역 대기 중 · 원문 표시 · en하나의 명령에서 HF 작업에 vLLM 서버를 실행
Heaps do lie: debugging a memory leak in vLLM.
번역 대기 중 · 원문 표시 · en