見出し・要約・本文から、情報のつながりを探します。
本記事は、Hugging FaceとAmazonが共同で公開する技術ブログシリーズの第1弾であり、AWS Trainium AIアクセラレーションチップ上でTorchNeuronを用いたPyTorchモデルの推論性能分析の手法を体系的に紹介します。内容には、Neuronバックエンドの統合原理、torch.profilerの設定方法、NeuronConfigおよびNeuronProfilerツールの利用、Neuron Explorerによる可視化トレースが含まれます。さらに、RMSNormを例に、3つの実装（従来のPyTorch、torch.rms_normの組み込み融合、torch.compileによる自動融合）間のデバイス上での実行時間の差異を比較しています。
i14は、30.28億パラメータを備えるLaplace 3Bモデルを発表しました。このモデルでは、Softmaxアテンションの代わりにゲート制御線形アテンション（GLA）を採用しており、推論時の各シーケンスあたりの再帰状態は常に29.5 MBで、コンテキスト長に依存しません。同モデルは、AWS trn2.48xlarge（Trainium2チップ16基搭載）1台でトレーニングおよびサービス検証を実施し、トレーニングスループットは12万トークン/秒、サービススループットは11,544出力トークン/秒（1,280同時実行シーケンス）に達しました。すべての性能データは、i14とAWS GenAIICチームによる社内実測結果です。
SF Computeはエヴァン・コンラッドによって設立され、GPUによる計算能力のプログラマブルかつ物理的に確約された取引の実現に注力しています。同社はデータセンターを自前で保有せず、フルスタック技術を用いて第三者の施設と連携して「主権型コンピューティングクラウド」を共同構築しており、市場の中立性とインフラの制御可能性を重視しています。これまでに数億ドル規模の取引額を達成し、InfiniBandの動的スライシングといった重要な機能も実装済みです。
生成AIの急増に伴う高帯域幅メモリーチップの需要急拡大に対応するため、サムスンは韓国・平沢にニューヨークのセントラルパークと同程度の面積を誇る半導体製造クラスターを建設しており、現在では3つのウェハファブが稼働中で、4つ目もまもなく量産開始、5つ目は2024年に需要低迷を受けて一時停止したものの、その後再開されています。現場では、高い水準の建設ペースと厳格な安全基準、そして労働力の整備が進められています。
Hugging Face は TorchTPU をリリースし、PyTorch にネイティブな TPU バックエンドを提供することで、Transformers や Diffusers などのライブラリを torch_xla に依存したり JAX へ移行することなく、直接 TPU 上で実行できるようにしました。
Hugging FaceはAnyLanguageModel 1.0を正式にリリースし、Apple Foundation Models APIと完全互換のオープンソースSwiftフレームワークを提供しています。ローカル（MLX、llama.cpp、Core ML）およびホスティング（OpenAI、Anthropic、Gemini、Hugging Face Inference Providersなど）のモデル間でシームレスに切り替えられるほか、画像入力、ツール呼び出し、ガイド付き生成、推論ブロックの自動適応などの新機能も追加されました。
Hugging FaceとAWSが共同でTorchNeuronを発表しました。これはPyTorch向けのネイティブなTrainiumバックエンドで、2026年10月20日よりパブリックベータが開始されます。この技術により、TransformersやDiffusersなどの主要ライブラリを変更することなく直接Trainiumチップ上で実行でき、テキスト生成および画像生成モデルの使いやすさと互換性が大幅に向上します。
Differential acceleration of cyber, math, and AI
翻訳待ち・原文を表示中 · enGPU管理: Idle GPUの理由 新しい地上航空機である
Figure 1: CUDA-to-MLX optimization translation map. CUDA optimization knowledge can be translated into architecture-native MLX strategies rather than copied instruction-for-instruction. We face a new epoch in computing. Hardware is changing rapidly — not just faster GPUs, but a growing range of chips from different vendors, each with its own architecture and often tailored to specific AI workloads. Software is changing just as fast, and AI coding tools now generate in minutes what took months of effort a few years ago. With so much of computing now centered on AI, GPU kernels are a crucial component of its success. These are the low-level programs that run inside the GPU, and writing efficient ones is far from obvious — it takes years of expertise to get right. Transferring a kernel from o
翻訳待ち・原文を表示中 · en... government of the people, by the people, for the people ... — Abraham Lincoln, Gettysburg Address (1863) The cost of AI is dropping rapidly. GPT-4-class capabilities cost roughly $30 per million tokens in early 2023; today the same runs under $1, and some providers are pushing costs below $0.10. Across benchmarks, inference prices have fallen between 9x and 900x per year, with a median decline near 50x. Even frontier models are getting dramatically cheaper each generation, with open-source models following closely behind. And crucially, even if “Nobel-Prize-winning genius-level” intelligence isn’t here yet, the intelligence that suffices for the vast majority of knowledge work is here today, and getting cheaper by the month. At this rate, we are soon entering the era of virtually free
翻訳待ち・原文を表示中 · enIs this the beginning of a new world?
翻訳待ち・原文を表示中 · enWhat eras bookend our interregnum?
翻訳待ち・原文を表示中 · en