7 月 11 日消息，Arm 公司昨日（7 月 10 日）發(fā)布博文，為了滿足未來生成式 AI 的需求，擴展提供更多先進智能功能，推出了可以加速 AI 工作負載的可擴展矩陣擴展 2（SME2）技術(shù)，開發(fā)者無需修改代碼，即可集成至現(xiàn)有模型和應(yīng)用中。
該公司指出，在移動設(shè)備上的生成式 AI 應(yīng)用不再局限于傳統(tǒng)的聊天機器人和虛擬助手，而是逐漸發(fā)展到生成文本、聲音、圖像和視頻，執(zhí)行數(shù)學(xué)推理、以及群聊摘要等諸多高級智能功能。
SME 最初出現(xiàn)在 Armv9 架構(gòu)中，是一組可選的高級 CPU 架構(gòu)擴展，專門設(shè)計用于加速矩陣數(shù)學(xué)運算。
SME2 在 2022 年底首次亮相，在此基礎(chǔ)上增加了新功能，據(jù) Arm 稱，它能夠?qū)崿F(xiàn)實時的移動端推理任務(wù)，涵蓋生成圖片、自然語言處理任務(wù)等。
Arm 還分享了一些數(shù)據(jù)，這些數(shù)據(jù)確實讓 SME2 看起來非常可靠。根據(jù) Arm 的說法，Google 的 Gemma 3 模型在 SME2 增強的硬件上，比沒有 SME2 的硬件快 6 倍。
它可以在單個 CPU 核心上不到一秒鐘內(nèi)運行 800 字的文本摘要，IT之家注：這里 Arm 所指的 CPU 型號尚不清楚。
對于消費者來說，公告中的關(guān)鍵部分是，未來安卓手機即將具備 SME2 硬件能力。
到目前為止，SME 主要保留給服務(wù)器和工作站級處理器，因為其要求較高。然而，SME2 被設(shè)計為更加可擴展，能夠部署在筆記本電腦、平板電腦，以及高端智能手機上。
重要的是，安卓已經(jīng)準備好支持 SME2。SME2 在 Google 的 XNNPACK 庫中啟用，并支持 llama.cpp、阿里巴巴的 MNN 和微軟的 ONNX 等框架。