人工智能（AI）大模型风靡以来，已展现出赋能各行各业的巨大潜力，与此同时国产芯片的迅猛发展再次受到大众关注。如何研发感算一体芯片与多模态AI大模型，已成为发展新质生产力的新探索方向。12月21日，由CCF（中国计算机学会）主办，CCF YOCSEF（中国计算机学会青年计算机科技论坛）天津学术委员会组织的特别论坛“破解多模态大模型感算一体芯片的诞生之路”在天津天开高教科创园举办。

  本次论坛邀请了多位国家级人才与产业界专业技术人员，旨在通过思辨从多模态大模型轻量化、感算一体芯片设计等多个角度展开讨论，以期为推进感算一体芯片设计生产进程贡献力量，发挥YOCSEF承担社会责任的作用。

  北京大学教授黄铁军进行了引导报告，他表示，照相术采用化学技术实现静态图像，后来电影电视在此基础上发展出视频（每秒数十幅静态图像）概念，但这并非记录光过程的好方法。根据光的粒子特性，他提出了脉冲连续摄影原理，实现了对光过程的正确感知表达，已经用普通芯片实现快千倍的连续清晰成像和超高速机器视觉系统。

  电子科技大学（深圳）高等研究院教授李耘从Hopfield类脑神经网络与目前大模型训练使用的多层感知机（MLP）的差异展开思辨，他表示，鉴于类脑计算芯片面向端侧推理而非预训练，引导比较了Hopfield网络的结构高效性与MLP的训练高效性在高维时空动力学、可重构层次结构、编码策略、并行网络处理和跨范式融合混合架构方面的特点，以便前瞻类脑通用计算的神经处理单元（NPU）芯片架构设计。

  天津大学教授徐江涛详细的介绍了感算一体智能视觉感知芯片的技术发展历史与最新趋势。他表示，随技术的发展，该芯片作为智能机器信息获取的核心器件，在分辨率、帧频、动态范围和灵敏度等性能指标上都有了显著的提升，未来有望在单一芯片上同时完成感知、存储和计算功能，并具备注意力机制感知、事件型表示传递处理信号以及自学习能力等特点，从而更高效地处理视觉信息。随着无人驾驶、增强现实、物联网等领域的需求量开始上涨，感算一体智能视觉感知芯片将在这些新兴技术中扮演重要角色。

  北京大学教授叶乐进行了引导报告《A与存算一体AI芯片》。他首先以基础硬件（芯片）和AI时代应用层面的Scaling law入题，指出随着大模型的出现，芯片行业面临挑战变得更突出模型参数过大，导致芯片的算力、运力、存力三者之间的平衡被打破，此时存储芯片与计算芯片之间的数据搬运成为主要瓶颈。为此，他提出了将计算和存储结合的解决方案，开发新的存算一体技术，以缓解运力矛盾。

  在随后的思辨环节，与会嘉宾就“设计面向多模态大模型的感算一体芯片有哪些技术路径？”、“研发面向Transformer的中大算力AI视觉芯片有哪些关键影响因素？”、“怎么样才能解决该类芯片所面临的面效比和能效比等瓶颈问题？”等议题展开热烈思辨，共同梳理近年来感算一体芯片在多模态大模型发展过程中遇到的问题、取得的重要成果、以及未来的演化趋势。

  经过参会嘉宾的广泛探讨和热烈思辨，专家学者一致认为：当前阶段，设计感算一体芯片是未来多年的重要科研方向，需要从多模态数据融合、感知与计算融合、芯片容量与成本控制三个角度来考虑，挖掘广义的多模态大模型云边端感算群体在具身智能和低空经济中的潜力，根据应用场景细分，利用不一样材料进行适配，实现端边云的协同和软硬件的协同，进一步发挥存算一体技术在能效比等方面的优势。论坛通过深入的探讨和交流，为推进感算一体芯片在多模态大模型领域的解决方案贡献了智慧与力量。（津云新闻记者霍艳华）