当地时间2025年10月22日至23日，全球 AI 开源盛会 PyTorch Conference 2025在美国旧金山召开，从底层编译器、到大模型算法、再到智能体层面，全面探讨推动最具突破性 AI ...

AI服务的流量负载具有明显的潮汐效应。研究表明，推理请求的速率可以在短短几分钟内增加3倍。为了保证服务质量，系统必须按照流量峰值来预留GPU资源。这意味着在流量低谷期，大量GPU资源只能空闲。

【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。 试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？ 又有多少开发者曾因为频频闪烁的警报「 ...

点击上方“Deephub Imba”,关注公众号,好文章不错过 ! 随着NVIDIA不断推出基于新架构的GPU产品，机器学习框架需要相应地更新以支持这些硬件。本文记录了在RTX 5070 Ti上运行PyTorch时遇到的CUDA兼容性问题，并详细分析了问题根源及其解决方案，以期为遇到类似情况的 ...

机器之心报道编辑：冷猫远在大洋彼岸的 Pytorch Conference 2025 全球开发者峰会已经走向尾声。作为全世界最具影响力的深度学习开发者社区的重大活动之一，Pytorch Conference ...

更多精彩内容 请点击上方蓝字关注我们吧！ 今年 3 月，苹果发布了其自研 M1 芯片的最终型号 M1 Ultra，它由 1140 亿个晶体管组成，是有史以来个人计算机中最大的数字。苹果宣称只需 1/3 的功耗，M1 Ultra 就可以实现比桌面级 GPU RTX 3090 更高的性能。 随着用户 ...

曾长期垄断中国 GPU 市场的英伟达，因外部环境变化陷入份额 “断层”，英伟达 CEO 黄仁勋近期在采访中确认，其中国市场份额已从巅峰时期的 95% 跌至 0%。这一剧变源于 2025 ...

指标收集是每个机器学习项目不可或缺的组成部分，它使我们能够跟踪模型性能并监控训练进度。理想情况下，我们希望在不给训练过程带来额外开销的前提下收集和计算指标。与训练循环的其他部分一样，低效的指标计算可能会引入不必要的开销，延长训练 ...

基于现有的开源ADRS框架OpenEvolve，团队在多个领域的案例研究表明，其发现的算法显著优于人类设计算法，实现了高达 5倍 的运行效率提升或 26% 的成本降低。

此功能由Pytorch与Apple的Metal工程团队合作推出。 它使用Apple的Metal Performance Shaders(MPS) 作为PyTorch的后端来启用GPU加速训练。 为了优化计算性能，MPS还针对Metal GPU系列的独特特性对每个内核进行了微调。 Metal是一个类似OpenGL的框架，只不过OpenGL适用于各平台的移动 ...

7项指标排名第一。 JAX在最近的基准测试中的性能已经不声不响地超过了Pytorch和TensorFlow，也许未来会有更多的大模型诞生在这个平台上。谷歌在背后的默默付出终于得到了回报。 谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。

大语言模型的微调一直是说起来容易做起来难的事儿。近日 Hugging Face 技术主管 Philipp Schmid 发表了一篇博客，详细讲解了如何利用 Hugging Face 上的库和 fsdp 以及 Q-Lora 对大模型进行微调。 我们知道，Meta 推出的 Llama 3、Mistral AI 推出的 Mistral 和 Mixtral 模型以及 AI21 ...