算力光芯片紧要打破！上海交大提议全光大畛域智能生成芯片
从一句话生成一张图，到几秒钟生成一段视频，生成式东谈主工智能正在走向更复杂的确切寰宇诈欺。模子越大、分歧率越高、生成实质越丰富，对算力与能耗的需求就越惊东谈主，后摩尔定律期间，面向改日的臆度焦点转向光电筹算等“下一代算力芯片”。关系词，刻下光电芯片仍主要擅长加快判别类任务，距离撑抓前沿大畛域生成模子还有不小距离。因此，“如何让下一代算力光芯片能启动复杂生成模子”，成为大家智能筹算领域公认的难题。
论文在《科学》杂志发表
新民晚报记者近日从上海交通大学获悉，上海交大集成电路学院陈一彤课题组在新一代算力光芯片标的得回紧要打破，初度竣事了支抓大畛域语义视觉生成模子的全光筹算芯片LightGen。有关臆度以《大畛域智能语义视觉生周详光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）发表于海外顶级学术期刊《科学》（Science）上。
所谓“光筹算”，不错粗拙地厚实为：不是让电子在晶体管中启动，而是让光在芯片中传播，用光场的变化完成筹算。光自然具备高速和并行的上风，因此弥远被视为打破算力与能耗瓶颈的遑急标的。关系词，要把光筹算实在用到生成式AI上，并非这样简便：生成模子常常畛域更大，还需要在不同维度之间按捺变换；淌若芯片畛域较小，则不得不常常在光与电之间级联或复用，速率上风会被蔓延与能耗马上对消。因此，全光筹算，就显得更为遑急和发愤。
大畛域全光生成筹算芯片LightGen
LightGen之是以简略竣事惊东谈主的性能飞跃，在于它在单枚芯片上同期打破了三项领域公认的重要瓶颈：单片上百万级光学神经元集成、全光维度移动，不依赖真值的光学生成模子进修算法。这三项中的纵情一项单独打破王人足以组成遑急证实，而LightGen将它们同期竣事，使得面向大畛域生成任务的全光端到端竣事成为可能。
更遑急的是，LightGen展示的并不是电辅助光去作念生成，而是让全光芯片竣工竣事“输入—厚实—语义操控—生成”的闭环：输入图像参加芯片后，系统简略索求与表征语义信息，并在语义操控下生周详新的媒体数据，竣事让光“厚实”和“领悟”语义。论文实验考证，LightGen可完成高分歧率（≥512×512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控，同期支抓去噪、局部与全局特征转移等多项大畛域生成式任务。
LightGen生成的采样图像示例
在性能评估上，LightGen吸收了极严格的算力评价圭臬：在竣事与电芯片上启动的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经聚集相仿生成质料的前提下，平直对端到端耗时与耗能进行测量。实测标明，即便吸收较滞后性能的输入建造，LightGen仍可得回比较顶尖数字芯片2个数目级的算力和能效扶持。而淌若吸收前沿建造使得信号输入频率不是瓶颈的情况下，LightGen表面可竣事算力扶持7个数目级、能效扶持8个数目级的性能跃升。这不仅体现了在不放置生成扫尾的情况下，用全光决策替换现存决策可能带来的精深增益，也从侧面印证了大畛域集成、全光维度变换与无真值进修等难点被系统性惩办后，全光片上承载大畛域生成聚集的履行敬爱。
论文同步被《科学》杂志选为高光论文要点报谈。文中提到，生成式AI正加快融入坐褥生涯，要让“下一代算力芯片”在当代东谈主工智能社会中实在实用，大势所趋的是研发简略平直履行确切寰宇所需前沿任务的芯片——尤其是大畛域生成模子这类对端到端时延与能耗极高的任务。面向这一谋略，LightGen为新一代算力芯片实在助力前沿东谈主工智能开发了新旅途，也为探索更高速、更高能效的生成式智能筹算提供了新的臆度标的。
