高通发布 Cloud AI 100 Ultra 云推理卡,150W 单卡可运行千亿参数大模型
IT之家 11 月 15 日消息,高通发布了 Cloud AI 100 Ultra,属于云 AI 推理加速卡,专为生成式 AI 和大型语言模型而设计。
这款产品可提供相当于上一代产品四倍的性能,可以在单张 150W 的卡上部署 100B 参数模型,在两张卡上部署 175B 参数,甚至还可以通过高通 AI 堆栈和云 AI SDK 的多 个 Cloud AI 100 Ultra 支持更大的模型。
据介绍,高通 Cloud AI 100 Ultra 是一个可编程的 AI 加速器,可以支持最新的 AI 技术和数据格式。
它利用高通 AI 堆栈,可以使客户能够“在任何地方训练并在高通 Cloud AI 100 Ultra 上进行推理”,从而支持模型的移植和优化。
正如其名,这是一款云加速卡,它背后依赖的是慧与科技专为加速器优化的生成式 AI 工作负载(IT之家注:包括自然语言处理 NLP)设计的 HPE ProLiant DL380a Gen 11 服务器。
根据高通官方的说法,Cloud AI 100 平台在最新基准测试结果的所有加速卡中均处于领先地位,但不清楚最新 Cloud AI 100 Ultra 的具体结果。
高通表示,在云和企业用例中,与竞争对手相比,高通 Cloud AI 100 Ultra 在生成式 AI(包括 LLMs、NLP 和计算机视觉工作负载)方面每 TCO 美元提供两到五倍的性能。
他们认为,这种性能、定价、功率、效率、可扩展性和安全性的结合,使其成为希望采用尖端 AI 并转变其运营的组织的理想选择,同时支持可持续发展目标。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
高通AICloud推理it之家 新浪科技公众号“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
相关新闻拓展阅读
热门文章
- 工信部等12部门联合印发IPv6技术创新和融合应用试点名单
2022-03-26 00:00 - 某运营商一南方重要省会公司一把手终于上任了 很明显一些手续还未完全走完
2023-08-11 03:07 - Nature子刊:我国科学家超200万人荟萃分析,孤独会缩短寿命!
2023-08-17 03:04 - 一则45亿的“谣言”背后
2023-08-05 03:08 - 中国联通个人数智生活付费用户越来越多 多亏了这家子公司的功劳
2023-08-16 03:06 - 7月份我国出口同比下降9.2% 国家统计局回应来了
2023-08-16 03:07
推荐阅读