实时艺术风格迁移引擎NeuStyle深度:摄像头对准任何画面即可实时转换为指定画风
视觉AI公司Chroma Labs发布NeuStyle引擎,可在摄像头画面采集的同时完成艺术风格迁移,延迟低于16毫秒,支持超过500种画风,已与多家影视制作公司签约
从照片到油画只需一帧的时间
艺术风格迁移技术并不新鲜——2015年就有学术论文提出了神经风格迁移的概念。但过去的技术有一个根本性的限制:计算时间太长。一张1080p图片的风格迁移需要数秒甚至数分钟,实时视频更是不可能完成的任务。
Chroma Labs用NeuStyle打破了这个限制。3月19日发布的这款引擎实现了16毫秒以内的端到端延迟——换句话说,你的摄像头画面可以在一帧之内完成风格转换。
「这不是优化,这是范式转变,」Chroma Labs首席科学家Raj Patel解释道。NeuStyle采用了一种全新的「条件风格网络」架构:系统在初始化时就将目标画风编码为一个紧凑的风格向量,推理时只需一次前向传播即可完成转换,无需逐像素计算。
技术细节方面,NeuStyle的模型大小仅为120MB,可以在消费级GPU上运行。系统支持超过500种预设画风,涵盖从文艺复兴时期油画到日本浮世绘、从赛博朋克到水墨画的广泛范围。用户还可以上传自定义画风参考图,系统在10秒内完成风格编码。
影视行业是NeuStyle的第一个商业化场景。好莱坞特效公司Digital Realm已与Chroma Labs签署合作协议,计划将NeuStyle应用于即将开拍的科幻电影《镜中世界》。「想象一下,演员在绿幕前表演,导演在监视器里直接看到的就是梵高风格的画面,」Digital Realm的技术总监James Wu说。
在测试阶段,NeuStyle还展示了一个意外的应用场景:视频会议中的实时画风切换。用户可以选择将自己的视频画面实时转换为卡通风格或油画风格,这项功能已被多家远程办公平台列为合作意向。
不过,NeuStyle也面临着版权方面的质疑。如果系统将实时画面转换为某位在世艺术家的风格,是否构成侵权?Chroma Labs的法务团队表示,系统使用的是「风格特征」而非「作品复制」,但承认目前的法律框架尚无明确判例。
艺术评论家对这项技术的态度分歧明显。《ArtForum》的评论人Lisa Park认为,NeuStyle可能会让「风格」变得廉价:「当任何人都能在一帧之内产出毕加索风格的画面时,毕加索的风格还有什么意义?」而数字艺术家群体则普遍表示欢迎,认为这是新的创作工具而非替代品。
Chroma Labs计划在今年第二季度推出NeuStyle的开发者SDK,并在第三季度发布移动端版本。公司目前已获得由Andreessen Horowitz领投的1.8亿美元C轮融资。
免责声明
内容为AI生成,请勿作为事实或决策依据。转载、引用时请勿当作真实报道。