由电影制作人和科学家共同打造的Flawless公司，可能终于跨越了内容配音的“恐怖谷”（Uncanny Valley）。
目前，观看一部被配成英语的外语内容是一种令人不适的体验。
由于流媒体平台带来了大量的本地语言电影和电视节目，观看被配成英语的丹麦犯罪剧或西班牙寄宿学校肥皂剧的经历，简直是一次次进入“恐怖谷”的噩梦之旅。这一术语广泛用于描述无法让我们信服的技术，实际上是将人类的相似性抛入了一个反乌托邦的噩梦中。
这时，Flawless公司出现了。这是一家由AI驱动的电影制作工作室，它希望你能在观看热门节目时仍能安心入睡，而不用再看到不匹配的嘴型和残酷的场景切换。Flawless公司由多才多艺的导演Scott Mann和Nick Lynes于2018年创立，其专有技术TrueSync可以覆盖演员的面部，并提供我们在AI领域见过的最令人印象深刻的翻译效果。该公司在今年的戛纳电影节上展示了其作品的预告片，《Variety》独家分享了这一预告片。
这家AI公司想要彻底改变多语言对白的重新配音方式
Flawless公司旨在保护艺术版权，并遵守好莱坞劳工公会的规定，这引发了关于国际内容价值及其在美国市场突破潜力的大问题。《Variety》还报道称，Flawless公司正式进入了电影发行领域。该公司与XYZ Films和Tea Shop Productions达成了合资企业，收购外国电影版权。该合作伙伴关系将把这些项目转换成英语，并承诺提供“完美对口型的视觉效果”，并在相关地区发行。首部上映的影片是Victor Dannell获奖的科幻片《UFO Sweden》，该片将在国内以《Watch the Skies》为标题上映。预计未来几个月将有一系列项目推出*。
Mann在与《Variety》的长时间对话中，讨论了好莱坞对AI的恐惧和厌恶、建立伦理规范以及“恐怖谷”的脑机制。
你是如何进入这个领域的？
这一切始于2018年。我的背景是导演、编剧和制片人。我偶然发现了介绍生成式AI（Generative AI）的第一篇论文。它叫做“Deep Video Portrait”，在SIGGRAPH大会上发布，这个会议基本上是科学界的奥斯卡奖。它让我大开眼界。
我一直在视觉特效（VFX）领域工作，很明显这种技术对我们行业可能产生的影响。我联系了该论文的作者，这促成了我和这些人以及我的合伙人Nick Lynes共同创立了公司。Christian Theobalt、Pablo Garrido和Hyeongwoo Kim成立了我们的科学部门，并将其发展为世界领先的计算机驱动生成科学部门。这就是我们的秘密武器。
目前好莱坞对AI充满了恐惧和焦虑。你的公司有意思的是你们充满了乐观。
我们从电影制作的角度创办了这家公司。我热爱艺术，我们的使命是将这项技术视为制作工具的能力。有一种观点认为，这种技术旨在消灭创意者并偷走艺术，就像Napster那样粗暴地颠覆。但是我们相信人类故事的表达，而电影是最先进的表达形式。技术正在放大这一点，并增加更多的创意层次。这样有好处。此外，这整个业务的经济性依赖于某些保护措施和对其运作方式的理解。
这个圈子里对AI的教育严重缺乏。这对你的业务有何影响？
这是一个全球性的问题，不仅仅是好莱坞。教育和理解是关键。有些公司——我们称之为有缺陷的公司——宁愿不进行教育，因为这会揭示一种不正当的做法。你需要就它的破坏性及其积极性进行诚实的对话。过去几年，我们优先考虑了与工作室和劳工公会——包括SAG-AFTRA——的理解，并表示：“看，这应该是如何使用的。”下一次[AMPTP合同]谈判是每个人现在应该开始讨论的事情。这个行业正在发生转型，我们应该做好准备。
说得好。行业对这一点有足够重视吗？
我可以自信地说，外界的态度正在发生变化。在去年的罢工之前，使用AI项目的批准路线是谨慎的。人们在早期阶段进行了对话，并且似乎理解了它们，并且试图改进流程。但对于跨越这个门槛，人们是有恐惧的。目前行业的某些地方状况非常糟糕，许多人不想急于做出错误的解决方案。
Flawless是如何建立其伦理规范的？
这是我个人作为电影制作人亲身经历的问题所引发的。我一直想修正电影配音的问题。我制作了一部电影《Heist》，与罗伯特·德尼罗合作。我很用心地制作了这部电影，结果在看它的外语配音版本时，发现剧本完全被重写了，嘴型完全不同。我意识到，“天哪，难怪这些东西传播不好。”
我产生了修正这个问题的冲动，并尝试了很多视觉特效（如头部扫描等），但这些都不切实际，也未能跨越“恐怖谷”。总之，你不能在移除和破坏整个对电影有贡献的部分的情况下做到这一点。我们了解到伦理和合法权利是密不可分的。
说到“恐怖谷”，看当前的配音形式真是太残忍了。特别是流媒体使它更加严重。
作为人类，我们非常详细地研究彼此。如果我们看到某些东西异常，我们的大脑会进入高度警戒状态。在电影制作的发展过程中，我们的大脑不断被愚弄和重新训练。你的潜意识在努力检查现实。如果某些东西没有很好地结合——尤其是声音和视觉——你会立刻在观看时设置一个巨大的障碍，阻碍任何形式的沉浸、共情和信任感。想想演员面部表情和手势的表现力有多强，甚至不用听到声音。这一切都使得[目前的配音]成为一个问题。但有明确的问题要解决是件好事。
对于国际电影来说，这里也有一个相当改变游戏规则的因素。它可能会开启一个新的明星市场，并消除许多备受赞誉的电影的美国语言重拍。
在过去一年中，我们向电影制作人展示我们的材料时，他们意识到从本地舞台走向全球舞台的潜力。这是一个巨大的机会，可以让你的作品得到展示，这让人兴奋不已。他们对将作品展示给更广泛的观众，尤其是美国观众感到非常兴奋。
有任何工作室或公司试图直接收购你们吗？
是的，当我们在2021年首次来到好莱坞时。我们有一个非常短的宣传片，有些人试图直接开价收购。Nick和我一致认为，我们想为所有人服务，而不仅仅是一个工作室的利益。我们想成为中立的，因为否则就非常有限了。但这帮助我们筹集资金并扩大公司。这是个好问题。
你们也想进入发行领域。
在某种程度上，我们一直把自己看作是一个工作室。我们希望面向未来。你需要从前期制作、制作到发布的每一个环节都做好。所有这些阶段都受到技术的影响。我的观点是，我们应该让电影的观众达到10倍。这，加上用这些工具制作出令人惊叹的电影，成本更低。如果你看看我们的第一部电影《UFO Sweden》，它显然已经翻译成英语，但也让电影制作人有自由添加和更改他们第一次无法负担的内容。你可以选择像算法组件那样尝试做一个工作，但我认为真正的力量在于制作电影和发行。整个过程。而在后期制作方面，我们可以做得更多。看看皮克斯，他们可以一直迭代他们的电影直到发布前的时刻。
原文：https://variety.com/2024/film/news/flawless-ai-lip-dubbing-movies-tv-1236068071/
