Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
Elastic GPUs, sandbox growth, and the economics of the agent cloud
译文排队中,当前为原文 · en保留完整资讯流,用来源、主题和时间找到你关心的消息。
Elastic GPUs, sandbox growth, and the economics of the agent cloud
译文排队中,当前为原文 · en黑石AI业务负责人贾斯·卡伊拉在TechCrunch Disrupt大会上表示,市场对AI基础设施领域巨额债务的恐慌被过度放大;其核心论据是:债务主要由高信用等级客户(如微软、Meta)的长期合同支撑,且底层资产(GPU等)具备强抵押价值,风险结构与2008年银行体系有本质区别。
NVIDIA于2026年10月26日(UTC)宣布cuDSS库进入通用可用(GA)阶段,该CUDA-X库专为在GPU上高效求解大规模稀疏线性系统而设计,显著提升芯片、航空、工业系统等领域的仿真吞吐量与迭代效率。
本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。
i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。
SF Compute由Evan Conrad创立,致力于打造中立、可编程、支持物理交割的GPU算力交易基础设施;其模式拒绝抽象化FLOPS商品,强调硬件异构性、真实交付与实时约束(如中断容忍、InfiniBand拓扑、固件版本等),已实现数百亿美元交易量,并推出动态InfiniBand子网划分等底层能力。
为应对生成式AI爆发带来的高带宽内存芯片需求激增,三星在韩国平泽建设占地相当于纽约中央公园的半导体制造集群,目前已投运三座晶圆厂,第四座即将投产,第五座在2024年因需求下滑暂停后已重启建设;现场呈现高强度、高安全标准的建设节奏与劳动力生态。
Hugging Face 发布 TorchTPU,为 PyTorch 提供原生 TPU 后端支持,使 Transformers、Diffusers 等库可直接在 TPU 上运行,无需依赖 torch_xla 或迁移到 JAX。
Hugging Face联合AWS推出TorchNeuron——PyTorch原生Trainium后端,自2026年10月20日起开放公测。该技术使Transformers、Diffusers等主流库无需修改即可直接运行于Trainium芯片,显著提升文本生成与图像生成模型的易用性与兼容性。
GPU 群集的有效调度
Differential acceleration of cyber, math, and AI
译文排队中,当前为原文 · enGPU 管理:为什么摇摆 GPU 是新地面飞机
Figure 1: CUDA-to-MLX optimization translation map. CUDA optimization knowledge can be translated into architecture-native MLX strategies rather than copied instruction-for-instruction. We face a new epoch in computing. Hardware is changing rapidly — not just faster GPUs, but a growing range of chips from different vendors, each with its own architecture and often tailored to specific AI workloads. Software is changing just as fast, and AI coding tools now generate in minutes what took months of effort a few years ago. With so much of computing now centered on AI, GPU kernels are a crucial component of its success. These are the low-level programs that run inside the GPU, and writing efficient ones is far from obvious — it takes years of expertise to get right. Transferring a kernel from o
译文排队中,当前为原文 · enIs this the beginning of a new world?
译文排队中,当前为原文 · enWhat eras bookend our interregnum?
译文排队中,当前为原文 · en