VocabX:通过成本加权词汇专业化将领域专用小语言模型推理成本降低77%
Dharma-AI提出VocabX方法,针对特定任务(如葡萄牙语作文自动评分)重构语言模型词汇表,以生成代价而非词频为优化目标,在不修改模型结构、参数或训练流程的前提下,实测推理成本下降77%,同时评估质量(bench score)从0.703提升至0.810。









从发现前沿资讯,到找到趁手的工具。
Claude通用助手与搜索Claude 是 Anthropic 推出的 AI 助手,可通过对话协助写作、阅读资料、分析数据和编程,并将部分任务整理为可继续编辑的文档、表格或演示文件。适合希望把想法、资料和初稿衔接起来的个人与团队。
GGemini 是 Google 的 AI 助手,可通过对话协助写作、规划、整理资料和分析上传文件,也可用 Deep Research 围绕一个主题检索资料并生成研究报告。
MMidjourney 是从文字和参考图片生成视觉作品的 AI 创作工具。可在网页 Create 页面输入提示,比较生成版本,再使用变体、编辑、放大或图像转视频等功能继续创作。
KKrea 是 AI 视觉创作工作空间,可从文字或参考图生成图片,比较不同模型与变体,再进行编辑、细节增强和放大,也提供视频及其他创意工具入口。
RRunway 是集视频生成、视觉编辑和创作流程于一体的 AI 平台。可从文字、图片或已有片段开始,生成或修改镜头,再进行延长、放大和导出,服务于概念短片、广告及其他视觉制作。
SSuno 是通过文字描述、歌词和参考素材创作歌曲的 AI 音乐平台。用户可生成带人声的歌曲或音乐,再使用编辑、重混与音轨分离等功能继续制作和分享。
EElevenLabs 是提供 AI 语音生成、音频创作和语音智能体的平台。创作者可以制作配音、有声书、播客及本地化内容,开发者则可通过 API 接入语音生成、转录和对话能力。
N
Notion AI办公与效率Notion AI 是集成在 Notion 工作空间中的 AI 助手,用于查找团队知识、生成和编辑页面、处理数据库及整理会议内容。它结合工作空间和已连接应用的上下文,帮助把资料查询、内容整理和后续任务放在同一工作环境中完成。
GGamma 是用 AI 协助制作演示文稿、文档、网页和视觉内容的产品,可从目标、提纲或已有资料开始生成内容,再通过对话、布局与自由编辑调整成品。
CCursor 是围绕软件开发任务工作的 AI 编程产品,可在代码上下文中协助规划、修改、测试和审查代码,并提供桌面、命令行及云端智能体等使用方式。
Dharma-AI提出VocabX方法,针对特定任务(如葡萄牙语作文自动评分)重构语言模型词汇表,以生成代价而非词频为优化目标,在不修改模型结构、参数或训练流程的前提下,实测推理成本下降77%,同时评估质量(bench score)从0.703提升至0.810。
本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。
i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。
SF Compute由Evan Conrad创立,致力于打造中立、可编程、支持物理交割的GPU算力交易基础设施;其模式拒绝抽象化FLOPS商品,强调硬件异构性、真实交付与实时约束(如中断容忍、InfiniBand拓扑、固件版本等),已实现数百亿美元交易量,并推出动态InfiniBand子网划分等底层能力。
SF Compute由Evan Conrad创立,聚焦于实现GPU算力的可编程、物理交割式交易;其不拥有数据中心,而是通过全栈技术协同第三方设施共建‘主权算力云’,强调市场中立性与基础设施可控性,已实现数亿美元交易额并落地InfiniBand动态切分等关键能力。
为应对生成式AI爆发带来的高带宽内存芯片需求激增,三星在韩国平泽建设占地相当于纽约中央公园的半导体制造集群,目前已投运三座晶圆厂,第四座即将投产,第五座在2024年因需求下滑暂停后已重启建设;现场呈现高强度、高安全标准的建设节奏与劳动力生态。
Hugging Face 发布 TorchTPU,为 PyTorch 提供原生 TPU 后端支持,使 Transformers、Diffusers 等库可直接在 TPU 上运行,无需依赖 torch_xla 或迁移到 JAX。
Hugging Face正式发布AnyLanguageModel 1.0,提供与Apple Foundation Models API完全兼容的开源Swift框架,支持本地(MLX、llama.cpp、Core ML)及托管(OpenAI、Anthropic、Gemini、Hugging Face Inference Providers等)模型无缝切换,并新增图像输入、工具调用、引导式生成、推理块自动适配等特性。
Hugging Face联合AWS推出TorchNeuron——PyTorch原生Trainium后端,自2026年10月20日起开放公测。该技术使Transformers、Diffusers等主流库无需修改即可直接运行于Trainium芯片,显著提升文本生成与图像生成模型的易用性与兼容性。
Differential acceleration of cyber, math, and AI
译文排队中,当前为原文 · enFigure 1: CUDA-to-MLX optimization translation map. CUDA optimization knowledge can be translated into architecture-native MLX strategies rather than copied instruction-for-instruction. We face a new epoch in computing. Hardware is changing rapidly — not just faster GPUs, but a growing range of chips from different vendors, each with its own architecture and often tailored to specific AI workloads. Software is changing just as fast, and AI coding tools now generate in minutes what took months of effort a few years ago. With so much of computing now centered on AI, GPU kernels are a crucial component of its success. These are the low-level programs that run inside the GPU, and writing efficient ones is far from obvious — it takes years of expertise to get right. Transferring a kernel from o
译文排队中,当前为原文 · en... government of the people, by the people, for the people ... — Abraham Lincoln, Gettysburg Address (1863) The cost of AI is dropping rapidly. GPT-4-class capabilities cost roughly $30 per million tokens in early 2023; today the same runs under $1, and some providers are pushing costs below $0.10. Across benchmarks, inference prices have fallen between 9x and 900x per year, with a median decline near 50x. Even frontier models are getting dramatically cheaper each generation, with open-source models following closely behind. And crucially, even if “Nobel-Prize-winning genius-level” intelligence isn’t here yet, the intelligence that suffices for the vast majority of knowledge work is here today, and getting cheaper by the month. At this rate, we are soon entering the era of virtually free
译文排队中,当前为原文 · enIs this the beginning of a new world?
译文排队中,当前为原文 · enWhat eras bookend our interregnum?
译文排队中,当前为原文 · en让好奇心有方向,让每一天的阅读更有价值。