谷歌发布开源跨平台GPU计算引擎ML Drift,核心定位为端侧AI与机器学习推理提供底层加速,采用Apache 2.0许可,抽离硬件与API复杂性,支持OpenGL ES、OpenCL、Metal及WebGPU等多平台。该引擎作为LiteRT驱动的核心,旨在简化开发者构建端侧应用时的硬件访问难题,为可移植性与性能建立新基础,覆盖传统计算机视觉、音频、深度处理及生成式AI等场景。相较于旧版TFLite GPU委托,ML Drift引入张量虚拟化着色器、可扩展自定义算子、原生五维张量等改进,并针对Arm、In GPU等实现硬件优化,将推理能力扩展至Windows、Linux等平台。基准测试显示,其在Gemma模型部署下内存开销较llama.cpp、MLX LM等低12%,已在Chrome、Photos、Meet等数百万设备运行,在YouTube Shorts、Photos等场景带来显著性能提升,如Android/iOS分割特效延迟降40%、图像计算提速2秒、AI编辑功能提升30%等。尽管存在与Core ML、TensorFlow Lite等平台的潜在争议,谷歌仍宣布停止旧版TFLite GPU委托更新,并推出LiteRT ML Drift GPU加速器,为开发者提供C++ API支撑自定义计算图与着色器,推动端侧AI推理效率持续提升。

--91likeyou---

谷歌使用 Gemma 模型在开发者级工作站硬件上对 ML Drift 进行了基准测试,报告显示其内存开销比其他框架(包括 llama.cpp 和 MLX LM)低 12%。谷歌还强调,ML Drift 已通过 Chrome、YouTube Shorts、Photos 和 Meet 等应用在数百万台设备上运行。

对于 YouTube Shorts,ML Drift 让 Android 和 iOS 平台上基于分割算法的特效平均帧延迟最高降低了 40%。对于谷歌 Photos,计算摄影与图像分割流水线提速最高可达 2 秒。Adobe Lightroom 和 Photoshop 的特定 AI 照片编辑功能(如选择主体、选择天空和自适应人像)性能提升最高达 30%。最后,Snapchat 在 Android 上基于 ML 驱动的人脸和风格生成特效模型延迟降低了 30%,从而能够使用更大的扩散模型。

AI/ML 工程师 Pavithra Agraharam 在 LinkedIn 的相关动态下评论道:

无需通过布局 Hack 就能原生支持 5D 张量,对于在边缘 GPU 上运行空间模型和 Transformer 模型来说是重大利好。将逻辑张量和物理内存分配解耦能够显著减少在线推理过程中的内存碎片化。

Tensorust 创始人兼开发者 Matthew Charles Vladislav Busel 质疑“它与 Core ML 在新 i,毕竟这是目前大多数人的交付目标平台”,但谷歌并未提供任何对比数据。

随着 ML Drift 的发布,谷歌将停止更新旧版 TensorFlow Lite GPU 委托。为与现有模型保持向后兼容,谷歌建议迁移至 LiteRT ML Drift GPU 加速器。应用开发者可以使用 LiteRT ML Drift 加速器,GPU 和系统工程师可以通过其底层 C++ API 构建自定义 GpuModel 计算图并编写自定义着色器。

查看英文原文:

🔥 热词:#谷歌发布最强数学推理 AI 模型 · #谷歌发布三款全新ai模型 · #谷歌发布新ai模型 · #谷歌发布最强ai模型套件 · #谷歌发布AI多重搜索功能 · #谷歌与Meta发布AI智能体 · #谷歌发布ai工具 · #谷歌ai视频生成模型费用公布