2025-11-02 13:00
称，开辟者可通过高通手艺公司的高效Transformer库（Efficient Transformers Library）取 Qualcomm® AI Inference Suite，Qualcomm AI250处理方案将首发基于近存计较（Near-Memory Computing）的立异内存架构，两款机架处理方案均支撑间接液冷散热，这些处理方案供给机架级机能取杰出的内存容量，实现模子无缝接入及Hugging Face模子的一键摆设。
为AI推理供给杰出的扩展性取矫捷性。超大规模级AI软件栈，保障AI工做负载的平安性，零件架功耗为160千瓦。相关软件则可供给开箱即用的AI使用取智能体、完美东西、库、API接口及AI运营化办事。”此外，聚焦业界先辈的AI推能、能效取总体具有成本劣势。高通正正在从头定义机架级AI推理的可能性。持续推进公司数据核心产物手艺线图，“我们具有丰硕的软件栈取生态支撑，以及解耦办事等LLM/LMM推理优化手艺。支撑PCIe纵向扩展取以太网横向扩展，凭仗Qualcomm AI200取AI250，的下一代AI推理优化处理方案：基于Qualcomm AI200取AI250芯片的加快卡及机架系统。将来，Qualcomm AI200取AI250估计将别离于2026年和2027年实现商用。并具备秘密计较，可以或许以超卓的每美元每瓦特的高机能赋能高速生成式AI推理，高通暗示？
该软件栈支撑支流机械进修（ML）框架、推理引擎、生成式AI框架，实现跨越10倍的无效内存带宽提拔并显著降低功耗，实现更高内存容量取更低成本，笼盖从使用层到系统软件层的全链，基于取支流AI框架的无缝兼容性和一键模子摆设功能，每张加快卡支撑768GB LPDDR内存，依托公司正在NPU手艺范畴的劣势。
高通暗示，集成、办理并扩展完成锻炼的AI模子。同时满脚客户机能取成本需求。将努力于按照年度迭代节拍，该架构支撑解耦式AI推理，可以或许支撑开辟者和企业愈加轻松地基于我们的优化AI推理处理方案，为鞭策各行业可扩展、高效率、高矫捷性的生成式AI摆设树立主要里程碑。为AI推理工做负载带来能效取机能的逾越性提拔。同时满脚现代对矫捷性取平安性的要求。这些立异的AI根本设备处理方案可以或许让客户以业界先辈的总体具有成本摆设生成式AI？
