迪士尼研究所和罗格斯大学的科学家共同发表了关于AI文本生成动画模型的论文。这种算法只要在输入的文本中描述某些活动即可，不需要注释数据和进行大量训练就能产生动画。研究人员进一步提出了端到端模型，这种模型可以创建一个粗略的故事版和电影剧本的视频，用来描绘电影剧本中的文字。此外，这个系统还可用于生成训练端到端神经系统的训练数据。

　　仅训练了996个电影剧本

　　将文本转换为动画并不是一项简单的任务，大多数将文本转换为视频的工具不能处理复杂句子，因为输入的句子和输出的动画都没有固定的结构。为了克服这种问题，研究团队构建了一个包含多个组件模块的神经网络。

　　这个网络由几个部分组成：一个可以自动将文本与剧本场景描述隔离开的脚本解析模块、一个自然语言处理模块（使用一套语言规则简化复杂句子，并从简化句子中提取信息，转化为预定义的动作表示），以及一个将所述表示转换为动画序列的生成模型。

　　研究人员说，简化方法使得提取关键脚本信息变得更加容易，并且为此，他们的系统自主地确定给定的代码片段是否包含特定的句法结构，然后将其拆分并组合成更简单的句子，递归处理它，直到无法进一步简化。

　　接下来，系统将“协调”句法关系相同、功能相同的句子。最后，词汇简化器将简化后句子中的动作，与预定义库中的52个动画匹配（通过同义词词典扩展到92个）。

　　然后，在一个名为Cardinal的管道中将动作输入，并在一个流行的视频游戏引擎Unreal中创建预可视化。利用预定义的动画库、预加载的对象以及可用于创建角色的模型，最终，这个系统可以生成一个3D动画视频。

　　为了训练这个系统，研究人员从IMSDb、SimplyScripts和ScriptORama5等可自由获取资源的电影剧本数据库中，搜集了超过1000个剧本，从中选取了996个，编写了场景描述语料库。这个语料库由525708个描述组成，包含1402864个句子，其中920817个（超过40%）句子中至少有一个动词。

　　帮助作家提高编写效率

　　迪士尼一直十分关注AI领域的进展，多年来一直尝试将AI技术融入自己的各项产业当中，也曾多次与大学或其他研究机构合作，开发了一系列训练模型。

　　2018年1月，迪士尼的研究人员发布了一项可以使动画AR角色与实际的物体互动的黑科技。这项研究做到了AR体验与现实的互动，给动画带来了更多乐趣。

　　2018年9月，迪士尼AI研究中心还尝试了让机器人完成像超级英雄一样的特技动作。迪士尼的特技实验包括训练机器人的神经网络来控制机器人，以此完成上天入地、爬行、划船等动作。

　　这次，迪士尼又将文本转换视频的技术进一步加强，使模型自动生成动画。

　　“从自然语言文本自动生成动画可以应用到许多领域中，如电影脚本编写、教学视频和公共安全等，通过实现更快的迭代、原型设计和概念验证，对剧本编写特别有价值。我们开发了一个能够处理复杂句子的文本到动画系统，目的不是要取代作家，而是要使他们的工作更有效率，并减少乏味的工作。”研究团队介绍道。

　　68%测试者认为动画合理

　　在一项定性测试中，22名参与者以5分制标准，来评估系统生成的20个动画。例如，如果所显示的视频对文本来说是合理的动画，则视频中描绘了多少文本信息，以及视频中有多少信息存在于文本中。68%的参与者认为系统通过输入剧本生成了“合理”的动画。

　　研究人员认为，除了系统本身的局限性之外，生成动画的“不合理”成分也与文本中关于行动的模糊性有关。他们承认这个系统并不完美，它的动作和对象列表并不是详尽无遗的。有时候，词汇简化不能将动词（如“watch”）映射到相似的动画（“look”）中，或者只能为原句中有很多主语的动词创建几个简化的句子。

　　内部评价和外部评价显示了该系统性能的合理性。研究人员计划在今后的工作中，重点关注如何能使系统更充分地利用文本中描述的话语信息，来解决文本中关于行动模糊性的问题。