bob全站下载ST系列RGB全彩影视摄影补光灯ST-50

当《繁花》遇上AI兵马俑跳科目三2024AI的剧本是视频?

来源:bob全站app应用    发布时间:2024-01-18 08:43:37
产品详情

  剧中取景地平和饭馆英国套房16888元一晚售罄、黄河路进贤路成网红打卡地、可定制西装的裁缝店电话被打爆、排骨年糕干炒牛河引发餐饮商家跟风……结局弹幕中,充满着观众对人物的问候、不舍以及对第二部的呼声。

  近来,甚至有用户运用ChatGPT创造了《富贵2》预告片:90年代一个男人的故事,开端于最低微的起点,双手铸就了他的命运。有剧粉直呼:不愧是AI,真敢说。

  “有问必有答”,这是以ChatGPT为代表的大言语模型的首要特征,而猜测下一步剧情、大结局外,从《繁花》出生起遇到AI,磕碰出了不相同的“宝总”形象,也有影视爱好者用AI生成《富贵》视频,问候剧组。

  进入2024年,AI视频一改上一年的沉寂,踏着期望之光走向群众视界。从兵马俑能跳科目三,带火通义千问的全民舞王,到Pixverse、Pika等迭代新功用,给创造者打了一波鸡血。AI视频会如《繁花》相同,好评如潮?这是一个问号。

  问候《繁花》是AI影视探究者陈坤第一个在视频号,揭露发布的著作。40s的预告片,是他用mj(Midjourney)作图,Pika生成的视频,声响选用的原声。

  视频宣布后,在视频谈论区,不少用户点赞、评凶猛,也有用户指出,动作仍是很缓慢,走步那几帧很古怪。

  在论述为何挑选生成《繁花》预告片时,陈坤用“问候”二字归纳自己的初衷,他表明晰自己曾在华策、优酷等企业从事影视作业,以专业视点看《繁花》,无可厚非是一部好剧,且到达了难以逾越的境地。

  在敬畏和好奇心唆使下,他幻想“《繁花》遇到AI”的画面,并付诸行动。回忆AI视频的生成进程,陈坤表明消耗了大约3天的时刻,“里边十分多的镜头,是现在AIGC还生成不出来的,我更多的是用其他一些镜头言语去处理。”

  其间值得一提的是,关于腿部运动的支撑,是个大痛点,在问候《繁花》的视频中,陈坤表明为了生成阿宝和爷叔双腿走红毯的镜头,不下100次的测验,终究呈现的作用也仍差强人意。

  间隔陈坤创造AI版《繁花》预告片,已逝去了近一个月。期间,字节发布新视频生成模型MajicVideo-V2、Pika推出视频画面扩大功用、阿里开源DreamTalk、mj将在2月上线初始视频功用……作为个人运用者,职业的改变陈坤也有显着的体感。

  “AIGC是以天为单位在进化的,有的是版本级的进化,有的则是模型微调级的进化。”陈坤说如果是现在从头生成,上述镜头不至于生成上百次,作用也会愈加流通。

  除了AI视频外,《繁花》的热度也延伸到了AI绘图、AI影评上,有创造者用AI呈现剧中的经典场景,如香港的大街、霓虹灯等,也有创造者将剧里边的人物李李、汪小姐和宝总,经过AI图生图,赋予了新的数字形象。

  回头来看曩昔的整个2023,全球各大科技巨子从大模型竞赛再到使用之战,AI视频简直和文生图同一时期进入到人们的视界中,但在上一年,AI视频的开展速度明显差劲于后者。直到上一年年末和今年年初,Pika、阿里Animate Anyone、Runway等,在产品迭代和立异上燃起了职业的期望。

  英伟达高档科学家Jim Fan猜测,“2024将是视频之年”。有意思的是,从2024年第一个作业日开端,兵马俑、布偶、马斯克以及各地网友跳科目和网红舞的视频就连续在交际渠道刷屏。

  这些视频都是用阿里的“全民舞王”AI生成的,用户仅需上传一张图片,就可以生成一段舞蹈视频。

  现在,该使用中内置了12种舞蹈模板,除了“科目三”以外,还有DJ慢摇、鬼步舞等网红舞蹈。这个功用源自他们的一项学术研讨Animate Anyone,这个研讨的方针是做可控的人物视频生成。

  依据揭露论文显现,Animate Anyone集成了多项立异技能,引入了ReferenceNet,用于捕捉和保存原图画信息,可高度复原人物、表情及服装细节;该算法运用了高效的Pose Guider姿势引导器,确保了动作的精准可控;经过时序生成模块,有用确保视频帧间的连接流通性。

  阿里巴巴通义实验室XR负责人薄列峰表明,“研讨自身并不限制在舞蹈生成,为了让偏单调的学术作业,变成咱们都能体会、都能找到趣味的功用,咱们这次是首先上线了一批舞蹈模板。”弦外之音,今后或许还会有更多的功用或许使用上线。

  通义舞王火爆的一起,市场上也呈现了一种声响,通义千问怎么去接受这波流量,会不会难逃公域流量出圈后便是高峰的宿命。

  薄列峰以为,通义舞王是业界在视频生成范畴的全新探究,未来该技能可使用于直播、影视制作、艺术创造等范畴。比方工厂女装出产规划范畴、AI模特试衣、漫改剧等等,还在进一步探究中,未来或许还有许多其他使用场景。

  陈坤剖析道,实在拍照牵扯到拍摄、灯火、化装、后期等整个链条,所消耗的时刻和财力成本是巨大,他以别的一个著作山海奇境里狐狸脑袋,一起驱动火的镜头为例,论述道这样一个镜头成本是10万元级的,时刻在大多数情况下要1个月。

  经过AI生成视频,陈坤表明在人力和时刻上的功率是明显提高的。但他也坦言,现在的产品仍处于初期阶段,远没到达可交给的商业化水平。依据他的调查,现在在玩AI视频首要的个人爱好者,专业的AI影视玩家还相对较少。

  呈现这个现象的原因,他以为除了东西自身还处于开展期,还有一个重要原因是对影视职业的了解不行,这就触及提示词的输入,创造者需求先在大脑中构建出画面,再输入东西能了解的关键词,“对垂类常识要必定了解,东西仅仅赋能,才干有好的著作诞生。”

  无论是陈坤仍是薄列峰都有类似的感触,AI视频日趋炽热,并有不少企业现已布局这一赛道。薄列峰将现在生成视频的使用分为两类,一类是Gen2、Pika这些使用,他们聚集在文本生成视频。

  他指出这类使用的好坏也很显着,“有点是文字的表达范畴广,天马行空,能说出来的都可以生成。相对地,文字也有表达不行精准的问题,生成的视频带有很大的随机性,一般生成不了长视频。”

  另一类,他以为是和他们更类似的,可控视频生成,比方DisCo、DreamPose。“举个比如,从一致性的视点来看,比较这些作业,咱们能精准捕捉原人物的衣服、头发、鞋子的细节,一起也能更好适配到人物的体型上,终究生成的视频能很好地保存原图画形象的特征。”

  关于未来的开展,陈坤猜测AI视频使用开展首要是两种不同途径:“玩具”和“兵器”。

  详细而言,“玩具”面向的更多是爱好者,首要寻求的是在公域的出圈,这类使用的定价则需求更慎重,商业化远景相对没那么明亮;“兵器”则更多的是针对专业运用者,例如美图东西,不断移风易俗赋能职业从业者,这类使用的商业化途径是相对明晰的,可是对产品力的要求也更高。

  不管是现已火爆出圈的Open AI的GPT-4,仍是热度趋增的视频生成模型,实质都归于多模态大模型。IDC发布的《2024 AIGC使用层十大趋势白皮书》也猜测,多模态大模型拓宽服务鸿沟、带来更丰厚的运用者实在的体会是重要趋势。2023,大模型之战已打响;2024,等待大模型的价值落地。