文| 刘澍
这是好莱坞“五大”初次在华拥抱AI,不仅自破了也曾公开抵制AI的宣言,而且扶捏了原土创作家和工夫公司,是民众头部电影公司合作国内科技文化东谈主才和后果的一次到手尝试。
泼墨成画,万物皆可毒药。
跟着小数墨迹晕染通盘这个词屏幕,毒液以目田灵动之姿幻化为战马、鱼、鹤等步地,恣意穿梭于海陆空,更能化身“毒液孔明灯”裸露粗劣笑颜,终末以本姿态落在录取楼阁的屋顶上,顾盼周围。
10月23日,恰恰《毒液:终末一舞》登陆世界院线,索尼电影官微发布了一支由AI制作的水墨风宣传片,激发了业表里的剧烈热议。
△ 《毒液:终末一舞》水墨风获网友好评
一方面在内容画面维度,世东谈主惊奇于AI创作的精良度和丝滑度,另一方面在行业趋势维度,这是好莱坞“五大”初次在华拥抱AI,不单是只是制作了一部顺眼的预报片,而且匡助了原土创作家和工夫公司,是民众头部电影公司合作国内科技文化东谈主才和后果的一次到手尝试。
日前,基于这支AI宣传片,极客电影独家专访了视频的幕后中枢——导演杨晟和北京生数科技有限公司(以下简称:生数科技)产物总监张旭东,邀请他们各自从内容和工夫的角度,共享了宣传片的制作过程、联系难点和所用的AI模子Vidu,以及AI应用于影视行业的趋势不雅点。 △ 杨晟导演
01 合规之内,AI相沿和增强创意已毕:
索尼对AI的相沿立场体当今尊重艺术家的需求,而不是强加功能或限定。
杨晟直言,AI宣传片是索尼、生数科技和他我方三方碰撞出来的驱逐。
最驱动,索尼的条目是制作一支饱胀具有东方元素和中国特点的视频,但是不成骄横太多剧情,表情则不截止。
这昭彰是一个灵通人命题,给了艺术家很大空间,杨晟很欣忭。
看成索尼重心扶捏的导演,他以为索尼更深档次的宗旨是:内容自己优质以外,制作表情也要走在行业前沿,产生世俗的影响力。
就此,杨晟遴荐皆集生数科技,共同完成命题。
生数科技是一家开导于2023年3月的新兴科技公司,中枢成员来自清华大学东谈主工智能连接院,其自研的AI模子Vidu是国内首个万古长、高一致性、高动态性的视频大模子,相沿文生视频、图生视频、主体参照等功能,此次的AI宣传片即由艺术家与Vidu合作履行。
△ Vidu
据杨晟骄横,索尼曾有益派东谈主到生数科技,用一张2018年出圈的水墨风海报去纯属Vidu的智商。
现场,张旭东演示了数个版块的效果,得到了索尼的认同,合作得以赓续激动。
高出要提的是,探究到合规性,索尼平直购买了艺术家与杨晟团队所使用的200余张水墨风原稿,然后再授权给杨晟团队基于Vidu创作。”
简言之:承制方创作画稿→索尼购买画稿→索尼授权画稿→承制方使用画稿生成视频→索尼验收并发布。
通盘这个词经过访佛于动画制作,而且是结合了日式和西洋式的动画坐褥表情,造成了一种新的责任流。
使用的过程里,Vidu相配于影相机、手机、PS或者Premiere,是创意已毕的高效坐褥力器具。
这么一来,索尼取得了所需的创意效果,承制方则得到了执行操作的空间和目田度。
不外联系过程并非一蹴而就,在执行履行纪律里,杨晟与生数科技曾遭遇过一个刚劲挑战,即艺术家与AI 工夫东谈主员在创作逻辑、主不雅审好意思和责任表情等方面的知晓互异。
对比来说,工夫东谈主员可能更贯注工夫和经过,而艺术家更贯注创意和进展。
关于这种互异,转译责任就显得尤为紧迫。杨晟和张旭东郑重负任了这种扮装。
张旭东回忆,驱动他不成对皆艺术家的需乞降圭臬,比如什么样的效果是导演更想要的。直到资深动画导演凯伦坐在工位旁,从艺术的角度下栽种后,他逐渐知晓了导演的艺术偏好,并和里面好意思学人人照应后,转译成相应的指示输入给模子。
Vidu 看成一个通用模子,能够知晓和抒发好多作风,但何如写出合乎的 prompt 和生成模子进行“疏通”,调度起模子的智商来生成出艺术家想要的东西,确乎需要懂模子工夫的东谈主和艺术家来共同完成。
△ Vidu参考文森特·梵高《星月夜》生成的视频
两边久了疏文牍晓后,当然会促进效用快速普及,张旭东共享到,证实规划和原稿,Vidu仅用半个责任日就生成了上千支视频,供给艺术家挑选和优化,再从中选出最优质的作品。
这种合作模式使得两边都能充分施展各自上风,极大浅显了时代老本,提高了责任效率和产出效率,已毕了高效率和高质地的创意已毕。
02 AI大模子Vidu:浅显近90%的后期干预
用传统影视的表情,制作一支30s的预报片毛糙需要30天,但是用Vidu只需要10个责任日。
谈及应用的工夫旨趣,张旭东先容,在图生视频以外,Vidu的首尾帧功能雷同对《毒液:终末一舞》的生成起到了紧迫作用。
这种作用高出体当今IP图像的一致性上,比如平常会看到这么一种AI创作的景况,一个老爷爷牵着小女孩过马路,一辆车驶过,下一秒老爷爷换了一个东谈主。
首尾帧功能正好能勤勉镌汰偏差率,以起头和扫尾的图片敛迹和调动影像细节,让IP图像前后高精度一致。
家喻户晓,索尼在IP图像上有严谨的条目,一点一毫都不成有舛误,而Vidu有用幸免了图变bug,这是国内AI工夫的一大跨越,亦然AI应用于影视IP的要紧冲破口。
张旭东进一步暗示,基于模子的陆续升级,当下Vidu的一键生成视频智商不错极大简化短片的制作经过,同步显耀普及联系坐褥效率。
制作雷同一支宣传片,对比传统影视的干预,Vidu浅显了近90%的后期干预,驱动总体的时代效率普及3倍。
数据规格上,Vidu能够同期相沿中英文指示输入;时长方面,模子最长可相沿一键32s视频的生成,产物端灵通了4s/8s的视频时长;画面质感方面,最高可输出1080p差异率。
张旭东还提到了Vidu昔时的升级标的,他们起了一个名为“参考生视频”的认识,但愿Vidu不错参考相对多的物体,当今它能够参考单个物体,举例用一对鞋,模拟东谈主穿鞋在月球上,生成一支告白片;或者提供一个“怪兽”的形象,安排怪兽作念一些事情,都能保捏很好的一致性。
昔时,据生数科技先容,Vidu也将补充作风参考智商,普及生成视频的品性感和艺术性,何况在同种作风呈现中,同并保捏东谈主物、场景、谈具等多个物体的一致性。
另外,张旭东和杨晟还提到,Vidu的贪图也能启发艺术家,提供超出预期的创作新念念路。
在《毒液:终末一舞》的宣传片里,录取楼阁等于典型案例。
原来只是给了Vidu一个很大约的宗旨,作念一个录取屋顶,但是Vidu既作念出了合感性的补全预测和3D模子,也自动生出了很惊艳的运镜和各样细节。
△ 《毒液:终末一舞》AI宣传片的“神运镜”
值得诠释小数,关于这支宣传片,区别于绝大多数AI模子,Vidu的主要指示不是教导词,而是首尾帧图像。
这能更直不雅地抒发创作意图,减少诬陷,不错让承制方更好地阻挡视频的质地和效果。
03 艺术家,惟有跟科技公司结合才有昔时
咱们都在说影视工业化,果然到了那一天,等于创作家和科技公司紧密联接。宣传片的艺术家团队都说,惟有跟科技公司结合才有昔时。
就在索尼发布AI宣传片的同期,民众影视行业亦传来两大重磅音讯。
一个是大导演詹姆斯·卡梅隆(James Cameron)官宣加入Stability AI公司,这家公司的开源模子Stable Diffusion在图像生成领域有着举足轻重的地位。
詹姆斯·卡梅隆,濒临生成式AI工夫的崛起,他看到了AI与影像创作交织的刚劲后劲。
这两种皆备不同的创作引擎的和会,将为艺术家开启全新的讲故事表情,这是他们从未设想过的。
另一个是张艺谋谈执导《三体》,他直言,网友的正向或负向评价,他都吸收,这会倒逼团队翻新视听抒发。
他照旧精选十余位AI东谈主才,构成AI小组,将应用“中国制造”的新科技、新不雅念开展创作。
跟着詹姆斯·卡梅隆和张艺谋的公开相沿,影视行业将会加快AI应用的进度。反之,这也会驱动AI科技公司快速精进工夫,民众范围内皆是如斯。
就当今的AI水平,张旭东和杨晟说到,淌若将AI模子的发展阶段比作电影学院的学生,ChatGPT3.5相配于初中生,不错知晓部安分容;GPT4相配于连接生,念念考较为全面;OpenAI o1则更进一步,具有特有的念念维表情。
而跟着应用案例和造就愈多,AI 的“学历”将更高。
当今,AI能够记着更多的专科词汇,知晓并履行复杂的微调任务,如3D动态故事板着色;
其学习智商使得它在不同场景中的应用愈加生动,不错证实具体需求进行定制化老师,从而提高责任效率和效果。
通过AI的这些智商,不错镌汰对表层构造数据的老师难度,使通盘这个词经过愈加智能化和高效。
细分到镜头畅通,AI通过学习和老师,能够知晓和应用镜头畅通的基应承趣,如推拉摇移等,从而普及视频的视觉效果。
以及,通过对大批电影和视频的分析,AI能够学习到镜头畅通的基本划定,并在执行应用中加以应用。
△ Vidu生成的鸟瞰视角视频
△ Vidu生成的第一东谈主称视角视频
这种对镜头畅通的知晓和应用,使得AI在视频制作中的应用愈加世俗和久了,普及了举座的视觉体验和艺术效果。
而鉴于AI模子范畴的扩大和工夫的升级,其性能和应用范围将得到进一步普及。
昔时,AI模子有望在更多领域施展作用,如绿幕殊效、视频补全等,这会更地面镌汰视频制作的难度和老本,更快速地提高创作效率。
但是,尽管效用在一直升级,但是现阶段AI并不成皆备替代东谈主类的创造性处事,而是看成援救器具存在。
许多东谈主作假地以为AI不错平直生成买卖化的内容,但执行上,生成的内容需要经过一系列的加工和优化,武艺达到最终的买卖圭臬。
毕竟,艺术作品的评价时常依赖于东谈主的主不雅感受。
但不成否定,按照这么的趋势,AI将拓宽创作家的门槛,同期也提高了对艺术家的条目,它更紧迫地强调了艺术创作力的紧迫性,会让硬汉会变得更刚劲。
预测在昔时,AI能够匡助更多有创意的东谈主已毕他们的宗旨,出生更多优秀的作品。
感谢【故事接龙StoryStorm】友情相沿。