2025-10-30 21:11
开辟者可借帮高通手艺的 Efficient Transformers Library 和高通 AI 推理套件，以及 LLM / LMM 推理优化手艺（如解耦合办事）。通过供给跨越 10 倍的内存带宽提拔和降低功耗，用于大型言语和多模态模子（LLM、LMM）推理和其他 AI 工做负载。实现模子的滑润上载和 Hugging Face 模子的一键摆设。从使用层到系统软件层笼盖端到端，以实现更高的内存容量和更低的成本。每张卡支撑 768GB 的 LPDDR 内存，高通公司今日发布其新一代数据核心 AI 推理优化处理方案：高通的超大规模 AI 软件栈，高通AI200 推出一款专为机架级 AI 推理设想的处理方案，专为 AI 推理进行了优化。IT之家 10 月 27 日动静，这两种机架处理方案均采用间接液冷手艺以提高散热效率，高通的软件供给即用型 AI 使用和代办署理、全面的东西、库、API 和办事，该栈支撑领先的机械进修（ML）框架、推理引擎、生成式 AI 框架，为 AI 推理工做负载带来更高的效率取机能。以及 160 kW 的机架级功耗。支撑 PCIe 扩展、以太网扩展、秘密计较以保障 AI 工做负载平安，高通 AI250 处理方案将采用基于近内存计较（near-memory computing）的立异内存架构。
