在人工智能与边缘计算深度融合的今天,将AI模型高效部署于终端设备已成为产业智能化的关键。本文将分享基于米尔MYD-LR3576边缘计算盒子部署菜品识别安卓Demo的实战经验。该设备凭借其内置的强劲瑞芯微RK3576芯片,为视觉识别模型提供了充沛的本地AI算力,成功将“智慧识菜”的能力浓缩于方寸之间,充分证明了其作为边缘AI应用坚实载体的卓越性能与可靠性。
另一方面,高通近年来不断改进Hexagon NPU,不仅加入标量、矢量、张量加速器,支持INT2、INT4、INT8、INT16、FP8、FP16等多种数据格式,还搞了微块推理、64位内存寻址、虚拟化和生成式AI模型加密。
AI自动生成的苹果芯片Metal内核,比官方的还要好? Gimlet Labs的最新研究显示,在苹果设备上,AI不仅能自动生成Metal内核,还较基线内核实现了87%的PyTorch推理速度提升。 更惊人的是,AI生成的Metal内核还在测试的215个PyTorch模块上实现了平均1.87倍的加速,其中一些 ...
小黑盒数码硬件 on MSN
32GB 显存+1531 TOPS 算力!AMD AI PRO R9700显卡10月27 日发售
【本文由小黑盒作者@民兵葛一蛋于10月25日发布,转载请标明出处!】 一、发布背景与上市历程 AMD 在 COMPUTEX 2025 展会期间,正式发布基于 RDNA 4 架构的专业级显卡 ——Radeon AI PRO R9700,该产品聚焦边缘 AI 加速与专业可视化两大核心市场。发布后,华擎、华硕、蓝宝石、技嘉等多家合作厂商陆续推出定制版本,但 ...
InfoQ中国 on MSN
使用ONNX将AI推理引入Java:企业架构师实践指南
引言 尽管Python在机器学习生态系统中占据主导地位,但大多数企业应用仍然运行在Java上。这种不匹配性造成了部署瓶颈。在PyTorch或Hugging ...
(文/观察者网 吕栋 编辑/张广凯) 8月5日,在昇腾计算产业发展峰会上,华为轮值董事长徐直军宣布,华为昇腾硬件使能CANN全面开源开放,Mind系列应用使能套件及工具链全面开源,支持用户自主的深度挖潜和自定义开发,加速广大开发者的创新步伐,让昇腾更 ...
通过这篇文章,我们一起了解了 Hugging Face 上常见的模型格式,从 PyTorch 的灵活易用到 SafeTensors 的安全高效,再到 ONNX 和 GGUF 在跨平台与轻量化部署上的独特优势,每种格式都有其独到之处。 还记得我刚接触 Hugging Face 时,面对各种模型格式和一堆陌生的文件名 ...
IT之家10 月 11 日消息,科技媒体 techpowerup 今天(10 月 11 日)发布博文,报道称在“Advancing AI”大会上,AMD 公司更新推出了 Instinct MI325X 加速卡。 MI325X 加速卡基于 CDNA 3 架构,相比较旧款 MI300X 带来了一系列改进。为了迎接万亿参数的 AI 模型,AMD MI325X 加速卡 ...
IT之家3 月 12 日消息,近日,微软 AI 推理框架开源社区 ONNX Runtime 发布支持龙架构的版本 1.17.0,用户可以直接使用 ONNX Runtime 开源社区发布的版本,在龙芯平台完成 AI 推理类应用的开发和部署,标志着龙架构软件生态得到进一步完善。 IT之家注:ONNX Runtime(ORT ...
中国上海--(BUSINESS WIRE)--(美国商业资讯)-- 芯原股份(芯原,股票代码:688521.SH)今日宣布集成了芯原神经网络处理器(NPU)IP的人工智能(AI)类芯片已在全球范围内出货超过1亿颗,主要应用于物联网、可穿戴设备、智慧电视、智慧家居、安防监控、服务器 ...
一些您可能无法访问的结果已被隐去。
显示无法访问的结果