pika生成音效概念股梳理

一，pika新功能上线

3月11日消息，Pika上线了一个功能——Sound effects，可以无缝生成声音并将其集成到视频中。

生成的方式有两种：

要么给一句Prompt，描述你想要的声音；

要么直接让Pika根据视频内容自动生成。

并且Pika非常自信地说到：“如果你觉得音效听起来很棒，那是因为它确实如此”。

车鸣声、广播声、鹰叫声、刀剑声、欢呼声……可谓是声声不息，并且从效果上来看，也是高度与视频画面匹配。

不仅是发布的宣传片，Pika官网现在也放出了多个demo。

例如无需任何prompt，AI只是看了眼烤培根的视频，便可以配出毫无违和感的音效；

再如给一句prompt：

Super saturated color, fireworks over a field at sunset.

超饱和色彩，日落时田野上的烟火。

Pika便可以在生成视频的同时配上声音，从效果中不难看出，烟花绽放的瞬间，声音卡点也是相当的精准。

大周末的发布这样一个新功能，网友们在高呼Pika“够卷、够Awesome”的同时，也有人认为：

它正在为多模态AI创作收集所有的“无限宝石”。

二，什么原理？

Sound Effects背后的原理，虽然Pika此次并没有公开，但在此前Sora大火之后，语音初创公司ElevenLabs就出过类似的配音功能。

当时，英伟达高级科学家Jim Fan就对此做过较为深入的分析。

他认为，AI学习准确的视频到音频映射还需要对潜在空间中的一些“隐式”物理进行建模。

他详细说明了端到端Transformer在模拟声波时需要解决的问题：

识别每个物体的类别、材料和空间位置。

识别物体间的高阶互动：例如，是木棍、金属或是鼓面？以什么速度击打？

识别环境：是餐厅、空间站、还是黄石公园？

从模型的内部记忆中检索物体和环境的典型声音模式。

使用“软性”的、通过学习得到的物理规则来组合和调整声音模式的参数，甚至即时创造全新的声音。这有点像游戏引擎中的“程序化音频”。

如果场景很复杂，模型需要根据物体的空间位置叠加多个声音轨道。

所有这些都不是显式的模块，而是通过大量的（视频，音频）对的梯度下降学习来实现的，这些视频和音频对在大多数互联网视频中自然地时间对齐。注意力层将在它们的权重中实现这些算法，以满足扩散目标。

除此之外，Jim Fan当时表示英伟达的相关工作并没有这样高质量的AI音频引擎，不过他推荐了一篇MIT五年前的论文The Sound of Pixels。

三，放到教育领域会发生什么？

首先是在内容制作的角度。

视频课程的生产成本可能会降低，比如传统的录播课、动画课一些环节成本很高，如果可以批量化生产视频的话，也就可以很快生产出很多内容。

这意味着未来更大的需求应该是在优秀的脚本和编剧上，对相关人才能力的要求也会更复合，比如编剧+教研+prompt，再稍微会一点剪辑……一个人就可以拥有做一个课的能力。

另外是1V1师生的互动过程中，可能会形成三个递进的步骤。

第一步，将来的老师想讲好一个知识点，就可以从文本生成多模态的方式去给学生讲解。但是讲得好不一定学生听得下去甚至能听懂。

第二步，学生喜欢什么，老师就用学生喜欢的方式或者你容易理解的方式去讲明白。

这个时候更好的解决方案是孩子喜欢看什么就给什么，比如孩子喜欢奥特曼，那就用奥特曼生成视频去给孩子举例子讲解一道物理或是数学题。

第三步，到了未来有可能像Apple Vision Pro等产品普及了或者更好的AR产品出来了，在这个场景下可以实时地、以场景式的形态给到学生用户。

四，相关概念股梳理：

1，信雅达：pika开发团队创始人之一郭文景系公司实际控制人郭华强先生女儿。

2，万兴科技：公司重点投入多模态视频生成跨模态音乐音效生成等AI生成类技术，积极进行A特效类，A增强类，A基类技术的研发升级，以技术支创新产品及新功能在视频，文档，给图等领域的落地应用。

3，易点天下：公司KreadoAI, 只需提交5分钟录制音频，即可高度还原真人音色，克隆后还可以随意切换140+种多国语言输出。

4，首都在线：公司讲持续在chatGPT类人工智能所依托的AIGC技术方面持续发力，将云算力解决方案广泛应用于AIGC的文字，图像，音频，游戏和代码的业务场景中，加速AI推理的内容生成。

5，物产金轮：公司旗下的AI音乐生成算法可以针对应用场景生成或推荐合适的音乐，可以应用于音频和视频制作领域，其中也包括短剧和短视频。

6，当虹科技：公司的AIGC视频内容智能生成系统融合了大模型技术，包括语言，视觉，音乐等。

我会在 公众号：海涵财经 每天更新最新的华为概念、创新减肥药、数字经济、ChatGPT、AI算力、CPO/硅光芯片、大数据、6G卫星、数据要素、医疗新基建、一体化压铸、 汽车智能化，激光雷达，HUD，车规芯片，空气悬挂、L3级智能驾驶、PET铜箔，纳电池，800V高压，光伏HJT、TOPCON、钙钛矿、光伏XBC、BIPV、IGBT芯片、碳化硅SIC、CTP/CTC/CTB电池、4680电池、工业母机、海风柔直高压、新能源车高压快充、高镍三元、碳纤维、PET铝箔、PET铜箔、空气源热泵、新材料、中药创新药、中药配方颗粒、乡村振兴、锂矿、钒液流电池、钠离子电池、分布式储能、集中式储能、抗原检测等最新题材热点挖掘，未来属于高预期差的结构性市场，把握核心赛道以及个股的内在价值逻辑预期差才是根本所在。

— END —

先赞后看，养成习惯

免责声明：图片、数据来源于网络，转载仅用做交流学习，如有版权问题请联系作者删除