「分散式AI训练」省算力 理大：研与伊院内地合作治癌(图)

发布 : 2025-10-24  来源 : 明报新闻网 用微信扫描二维码，分享至好友和朋友圈

加关注 明声网温哥华 微信公众号

理大人工智能高等研究院（PAAI）执行院长杨红霞（右）及高级副校长（研究及创新）赵汝恒（左）昨公布生成式AI的研究突破，新技术对数据及算力需求更低，可减省训练成本。（卢曼盈??o?J??


【明报专讯】生成式人工智能（AI）模型传统多属集中式，训练时要将数据及算力集中一处，需用大量数据及算力资源，仅少数机构可负担；使用时亦要将数据上传云端，有私隐疑虑。理工大学人工智能高等研究院（PAAI）团队最近取得技术突破，将生成式AI训练由「集中式」转向「分散式」，算力及数据需求更低，可容许机构内部以小规模设备运算，亦有助保障医疗应用数据安全。团队正研究与内地及香港医院合作，将技术用于研发AI工具协助癌症放射治疗。

研放射治疗靶区勾画

PAAI执行院长杨红霞昨称，团队正与3间内地医院及香港伊利沙伯医院合作，包括以新技术研发AI工具进行癌症放射治疗的「靶区勾画」。她说，医疗人员倘用传统方式，每一个案需花30至50分钟，未来冀在AI辅助下减至10至20分钟，惟相关技术佾x??能应用则未有定论。

杨解释，DeepSeek、OpenAI等广为人知的大模型均属集中式，其中DeepSeek的预训练阶段消耗20TB数据，而医院用医疗数据做AI训练，一般亦耗数千TB，分散式训练容许各医院自行训练小模型后再融合。

去中心化 训练更快

杨称，AI训练「去中心化」是基于两方面的技术创新，其一是「低比特（ low-bit）训练」。她解释，全球主流大型基础模型用FP16或BF16水平的浮点数精度训练，其团队则研发以FP8训练，数据精度的损失较大，但只需用一半算力及储存空间，就可训练出同样好的模型。团队的低比特训练全套方案与传统BF16相比，训练速度提高逾两成、显存峰值占用减逾一成，成本大降。

团队另一突破是「InfiFusion模型融合技术」，可将各「小模型」融合，取代直接用大量数据训练一个集中式的大模型；集中式训练需耗百万计GPU小时，新技术则只需160个GPU小时就可完成4个尖端模型融合。

明报记者