1号学术｜（美）麻省理工：讲故事的人工智能——机器作为共同创造者
2018/2/21 传媒1号

    

     1号按：这可能意味着在关键时刻有一个新的情节或者不同的形象,以及对情节、对话和人物的调整。随着故事制作者越来越认识到人工智能的价值,而且随着这些工具变得越来越容易获得,我们可以看到视频故事创作方式的重大变化。

     “电脑不会在悲伤的故事中哭泣, 但是他们可以告诉我们什么时候会哭。”

     在2016年的伦敦科幻电影节上，电影《Sunspring》首次亮相就立刻引了许多人的关注。原因无他，这是第一个由人工智能机器人写的电影剧本。许多人马上就认为“也许机器会取代讲故事的人类, 就像自动驾驶汽车可以接管道路一样。”

     第一部人工智能制作的科幻电影《Sunspring》

     然而,仔细看看电影《Sunspring》，在一个背景是失业人口众多的反乌托邦的世界里,一个角色莫名其妙地就会咳出了一个眼球,这种场景看起来就像是“一连串不相关的句子”硬凑起来的。所以，在技术进步之前,我们仍然需要那些在键盘上奋力敲击的编剧。这不妨让我们设想一下: 机器可以和人类一起讲故事吗？

     比如在视频制作过程中，先由讲故事的人类创造出一个剧本,其中包含了巧妙的情节曲折和现实的对话。然后，人工智能提供能够增加故事情感吸引力的部分，例如, 识别一个音乐乐谱或视觉形象,帮助产生希望的感觉。这种突破性的技术将会给讲故事的人带来巨大改变, 帮助他们满足观众的无限需求。

    

     麻省理工学院(MIT)媒体实验室最近进行了一项调查，探究这种机器与人合作在视频中讲故事的潜力。机器是否能够识别视频故事中常见的“情感弧度”，所谓情感弧度，就是一种典型的命运波动，让人物在艰难时期挣扎，战胜困难, 或无力抵抗,或宣布战胜邪恶。如果机器能识别“情感弧度”,那么讲故事的人能用这些信息来预测观众的反应吗？这些问题激起了人们的共同关注，从在 YouTube 上发布的视频的业余爱好者到制片公司的高管们。

     情感弧度: 故事的骨干

     从桑达克到斯皮尔伯格,再到普鲁斯特和皮克斯,这些都是讲故事的高手,他们擅长激发我们的情感。通过把握我们的心跳,调整他们的故事,用以在关键时刻激发欢乐, 悲伤和愤怒的情感。但是即使是最好的讲故事的人也不会让所有人产生一样的情感,譬如，有些莎士比亚的戏剧也会让观众感到冷漠或者孤立。这种变化的原因是什么？我们的结论是, 一个故事的情感弧度很大程度上解释了为什么有些电影获得了赞誉, 而另一些电影则是平淡无奇的。

     情感弧度的概念并不新鲜。 每个讲故事的大师都熟悉它们, 有些人试图找出最常见的模式。库尔特 · 冯内古特(Consider Kurt Vonnegut)声称, 最受欢迎的情感弧度就应该是“灰姑娘”的模式：故事开始时,主人公处于绝望的境地，紧接着是在进一步的麻烦来临之前，财富的突然好转(灰姑娘的故事里，财富由一位仙女教母提供)。 无论发生什么事情, 灰姑娘式的故事都以胜利结尾, 男女主角从此以后过上了幸福的生活。

    

     有证据表明, 一个故事的情感弧度可以影响听众的参与度。例如, 人们对社交媒体上视频的评论多少,影响他们向朋友推荐的力度。 在一项宾夕法尼亚大学研究中, 研究人员回顾了《纽约时报》的文章,以了解哪种类型更有可能成为该出版物最具影响力的内容。他们发现，读者最常分享的故事会引起强烈的情感反应，尤其是那些拥有正能量的故事。看电影的人可能也会有同样的反应,这是合乎逻辑的。

     电影观众: 麻省理工学院的激进实验

     一些研究人员已经利用机器学习来识别故事中的情感弧度。佛蒙特大学开发了的一种方法, 就是让计算机扫描文本(视频脚本或书籍内容)来构建这些弧度。

     作为更进一步的实验，麻省理工学院(MIT)的社交机器实验室(Lab for Social Machines)与麦肯锡的消费者技术与媒体团队(McKinsey's Consumer Tech and Media team)之间合作开发了一种机器学习模型,该模型依赖于深层神经网络,以“观看”视频、电影、电视和网络短片的一小部，并在之后估计出它们的积极或消极的情感内容。这些模型考虑视频的方方面面，不仅仅是情节、角色和对话, 还包括更微妙的触摸, 比如一个人的脸部特写,或者一段在汽车追逐场景中播放的音乐片段。当每一个片段的内容被全面考虑时,故事的情感弧度就会出现。想一想: 机器可以观看一个没有标签的视频, 并根据其所有的音频和视觉元素为故事创造一个情感的弧线，这是我们以前从未见过的。

     想想这部著名的3D电脑动画电影《飞屋环游记》的著名开场镜头。主人公卡尔 · 弗雷德里克森,一个脾气暴躁的老年人,在他的妻子艾莉死后,他把数以千计的气球放在家中,飞往南美洲。为了把电影的大部分时间都投入到卡尔的冒险中,编剧们必须想出一个快速的方法来提供他旅行背后的复杂故事，这就是故事的开始。它是无声的，除了电影的配乐，卡尔的生活以一个情感的弧线展示在屏幕上。

    

     你可以在图表中看到蒙太奇的高低点(图1)。X 轴是时间,以分钟为单位,y轴是视觉价值，或图像在特定时间激发正面或负面情绪的程度，作为机器的得分。分数越高, 情绪就越积极。与我们所有的分析一样, 我们还创建了类似的图表,用于机器对音频和整个视频的反应。我们关注的是视觉图表,作为我们后来对情感参与分析的重点。

    

     图1

     视觉价值在0到1之间进行测量, 但并不是每一部电影都有跨越整个光谱的图像。重要的是相对的价值，即一个场景与电影中的其他情节相比,以及情感弧的整体形状。和许多视频故事一样,《飞屋环游记》开始的蒙太奇片段中包含了一系列的情绪变化,而不是一个单纯的向上或向下轨迹。比如,其中一个最高峰与卡尔的幸福童年相对应,而当年轻的艾莉在半夜把他吓坏后，机器的负面反应反映了卡尔的恐惧。 当新婚夫妇计划要孩子时,或者当老年夫妇拥抱时,其他的高峰就会出现。艾莉死后, 卡尔独自一人回到家时,效价在接近终点时下降。

     麻省理工学院的机器学习模型已经审查了数以千计的视频,并为每一个视频编写了情感弧。为了测量他们的准确性,我们让志愿者用各种情感标签来注释电影片段。更重要的是志愿者必须确定哪些视频元素(如对话、音乐或图像)触发了他们的反应，我们用这些见解来改进我们的模型。

     寻找“弧线组”: 常见的情感弧线

     在对视频分析的数据进行筛选之后, 我们开发了一种将故事分类为“弧线组”的方法--换句话说，将具有相同的情感轨迹的视频分为一类。我们的方法结合了一种叫做k-medoid的聚类算法技术，并根据动态时间扭曲法，能够检测出速度不同的两个视频序列之间的相似之处。

     我们在两个独立的数据集中寻找“弧线组”,一组是500多部好莱坞电影, 另一组是在 Vimeo 视频网站上发现的近1500部短片。我们对视觉价值的初步分析表明,大多数故事可以分成相对较少的群体,就像冯内古特和其他讲故事的人所怀疑的那样。图2显示，Vimeo数据集中的视频所产生的弧线被分为五个组。例如，对于黄线指定的组，视频中的负面情绪在相当早期就出现了激增，最后一集的最后一幕是持续的积极情绪。(所有的电影在开始和结束时都会得分很低，因为机器会还没反应过来。)

    

     图2

     电脑就像水晶球: 预测观众的参与度

     我们看到故事的形成很有趣, 但是更重要的是要了解，如何利用这些发现。到底是一个故事的弧线还是它所属的弧线组决定观众对视频的反应？有某种弧线的故事能刺激更多观众的参与吗？

     我们的团队试图通过分析Vimeo的短片数据集的视觉数据来回答这些问题。(我们在这里讨论的集中于视觉弧线,因为它们与视频内容的联系比音频更为紧密,而且这些组合的弧线有一些分析上的挑战)对于每个故事,我们使用回归模型来考虑弧形特征,同时控制可能影响在线反应的各种元数据,如视频长度和上传日期。目的是预测一个视频在 Twitter 和其他社交媒体上会收到多少评论。在大多数情况下,大量的评论意味着强烈的受众参与。

     在对Vimeo短片数据集的分析中,视觉弧线确实预测了观众的参与度(我们做了一些分析, 每个分析都有不同数量的弧线组,以确保我们不会忽视任何数据。)在一项分析中,最显眼的一个弧线组即以红色显示的图3，表现出一种起起落落的模式,人物在稳步走向不幸之前获得了早期的成功和幸福。在所有的弧线组中,这个故事的结局是最消极的。尽管这些故事结局凄凉,但却对观众产生了影响。

     对 Vimeo 视频的其他分析也发现了类似的现象,下面两个故事弧线组吸引了比其他弧线组更多的评论(图3)。这些故事的高潮都是积极的情感爆发,这表现在弧线末处的凸起。最主要的区别在于左图中的故事在大结局之前会有更多的情绪波动从负向变为积极。这两个弧线组的故事往往比那些消极结束的弧线组收到更多的评论。

    

     图3

     我们的团队阅读了 Vimeo所有短片的评论, 对表达的情绪类型进行评分,并运行一个程序来测量它们的长度。这项分析表明,上面描述的三个弧线组的故事往往会产生更长的、更有激情的反应。同样引人注目的是,这些评论并没有关注特定的视觉图像, 而是视频的整体情感冲击, 或者说这个故事是如何随着时间的推移而改变的。

     这些见解不一定会让编剧们重新回到写字台前，但是他们可以故事制作者客观地看待他们的内容, 并通过编辑来增加参与度。这可能意味着在关键时刻有一个新的情节或者不同的形象,以及对情节、对话和人物的调整。随着故事制作者越来越认识到人工智能的价值,而且随着这些工具变得越来越容易获得,我们可以看到视频故事创作方式的重大变化。同样的,导演们也可以把这些融入到他们的作品中, 与作家一起和机器携手工作,用人工智能的能力来增强故事放大情感的吸引力。

     作 者

     朱立力(Eric Chu)：本文主要作者之一，麻省理工学院博士生并在麻省理工学院媒体实验室的社会机器实验室进行研究,该实验室是麻省理工学院媒体实验室的一部分。文中的机器学习模型就是该实验室与麦肯锡的消费者技术与媒体团队合力研发的，此文也是其实验的成果之一。

     译 者

     宋莹，南开大学新闻与传播专业在读硕士

    

     推送列表

     【头条】如何评价狗年春晚｜小众春晚篇：有些春晚很希望你来看，有些春晚你爱看不看

     【二条】传媒1号签约作家年度文选｜张答应篇：满腹经纶的江湖才子

     【三条】1号学术｜(美)麻省理工：讲故事的人工智能——机器作为共同创造者

     【四条】1号招聘 | 传媒1号/传媒少数派 电影封神三部曲 艺璇传媒 《时尚旅游》北京大禹营销咨询公司 裸爱创意摄影

    

    

    http://weixin.100md.com
返回 传媒1号 返回首页 返回百拇医药