从Seko 2.0的重磅更新出发,我们试图拆解商汤科技在AI视频创作领域的独特打法,解析其底层技术布局。
主打一步成片的Seko这次更新,将视频生成的高交互性与低门槛拉满了。其更新围绕着三大功能:UI升级、支持100集以内剧本连续创作、Agent智能调度。
首先是UI升级,Seko提供了沉浸式的创意体验,用户在生成过程中对人物、分镜、图片、场景的编辑、交互性增强。
打开Seko可以发现,交互界面包含的元素增多。在对话框下方,用户可以直接选择提示灵感,或者可以自行输入提示词。在对话框中,用户还可以直接上传剧本、选择模型、添加主体、添加画风。
在对话框右下角就是另一个重要更新多剧集Agent,打开“多剧集”,用户就能进行长剧集多文本创作。
可以看到在画面左侧,用户能点击 号生成下一集,其会延续第一集的故事设定,保持人物和场景一致。用户还能进行更为细节的交互式处理,如每一个图片、分镜、口型、画布等都可以进行修改。
在上述更新之上,Seko 2.0可以支持多达100集的剧本连续创作。
这波更新,一方面为专业创作者提供了更全面的工具支持,另一方面让非专业人士也能快速上手,轻松将创意想法转化为实际视频。
智东西也体验了下Seko 2.0的生成效果,在没有结合其他视频创作工具的同时,从输入灵感、生成大纲、分镜到调整分镜图、生成视频、导出,智东西在十几分钟内就得到了1分钟左右的一集AI短剧。
从上面的视频生成效果来看,Seko 2.0已经支持在多人连续对话时精准匹配口型,且能在切换场景与剧集时保证人物表情、形象全程一致,且生成速度高效快捷。
这背后是商汤科技针对性的技术全栈升级。
第一是角色一致性技术SekoIDX,其通过扩散模型优化,平衡参考图相似性与提示词响应性,使得生成效果精准可控。
短剧创作中,换脸式穿帮问题会因为人脸变形、特征失真等瑕疵破坏画面真实感,影响观众的沉浸式观看体验,同时在保证一致性的同时还要让人脸随场景、表情变化更加自然、真实。
基于此,其会提供正向和反向的参考图,适当加入副参考图,以兼顾主体的多样性和一致性,避免直接像复制粘贴主体形象。
第二是多人对口型方案SekoTalk,这也是业内首个支持超过2人对口型的方案。对于短剧而言,多人对口型是强需求,且往往在制作过程中会面临多人对话、连续切换说话人、口癖还原等核心痛点。
商汤科技的实时语音驱动数字人技术SekoTalk,可以在8卡服务器上达到25 FPS的生成速度,首帧延迟低至3.5秒,同时做到多人、多语言的口型精准匹配和超长时间稳定生成。
第三是效率提升技术Phased DMD蒸馏,进一步降低多剧集生成成本。
扩散模型低步数生成的质量受限于等效模型质量,如果等效模型容量不足,低步数生成的视频就会出现模糊、细节缺失、逻辑混乱等问题。主流SOTA视频生成模型已经验证了MoE技术的优势,不需要增加推理阶段的计算开销。
商汤科技研究团队创新性提出Phased DMD技术,既能提升蒸馏模型生成的动态效果和多样性,使SekoTalk推理开销在降低1/25的同时,仍保持教师模型良好的肢体运动效果和情绪表现力。
同时Seko 2.0已经支持性价比更高的寒武纪芯片适配方案。
最后是商汤开源的行业首个能够达到实时视频生成的推理框架LightX2V,其与模型协同设计,支持低资源部署。
商汤科技在模型和系统设计之初,就让它们融入低比特量化感知训练、稀疏注意力等原生优化,配合自研“SPARSE NVFP4 低比特通信”高效注意力算子,模型训练完成后可直接低资源部署。这一开源框架的累计下载量已超350万次。
总的来看,Seko 2.0的升级正是聚焦短剧行业痛点,真正达成生成质量与效率的双向平衡。其能实现分钟级出片,还能通过多剧集一致性保证生成视频的质量,更将成本压至最优,破解行业的产能与质量焦虑。
以Seko为代表的AI视频创作平台的出现与升级迭代,让AI短剧迎来风口。
谈及Seko的产品迭代理念,王子彬谈道,他们的产品定位是和创作者做朋友、为创作者提供便利、满足创作者的需求,也就是真正把“一切围绕创作者”落到实处。
这也可以从Seko的用户画像看出来,他补充说,其有固定创作需求的用户占比在50%~60%之间,这类用户分两类,一类是专业高频创作者,他们对自己的内容有高度把控性和要求,更看重工具易用性;另一类是MCN创作者,其对视频创作有自己的理解,有固定每周1~2个视频创作需求。
王子彬谈道,《婉心计》就是专业创作团队基于Seko打造的AI短剧,创作团队会使用Seko完成大部分流程,然后调用其他工具进行高精修完善创作。
▲AI短剧《婉心计》片段(图源:《婉心计》抖音账号)
最后一部分是完全没有创作经验的用户,其占比达到30%-40%,这部分用户一般而言没有二次创作需求,很难长期留存。
无论是具备AI视频创作基础的进阶用户,还是意欲尝鲜体验的入门群体,Seko均可全面覆盖其差异化需求。
如今Seko再度更新,为AI短剧创作门槛带来一场降维革命。
此前视频制作需要专业的创作团队,且成本甚至高达百万元级别,如今普通人就可以在家用PC制作一部成片,让视频创作应用到了更为广泛的场景。
如山西一位语文老师通过Seko,将学生的作文直接转换成了视频,在播放的过程中,通过视频形式增强学生对好的作文内容的认同感与共鸣感,同时能进一步增强其创造力和想象力。
此外还有不少跨界创作热潮,如程序员借Seko圆了武侠梦、作家让笔下小说一键变身可视化影像、公务员用它制作生动的历史动画……使得AI视频工具打破行业壁垒,释放更大的产业价值。
在视频创作领域,新人入门难、产能低的难题也被破解。
过去漫剧新人需掌握分镜设计、剪辑、模型适配等专业技能,上手周期长且易因操作失误影响产出;而Seko通过简化交互、智能调度模型等功能,让新人无需复杂学习就能快速启动创作。据了解,已经有漫剧工作室新人通过Seko快速上手,日均产出3-4集成片。
产业发展有一大规律是,当创作工具实现普惠,必将催生行业增长的正向循环。
Seko进一步拉低视频创作的门槛,使得更多元化的创作者团队入局,让更多创意大神将脑洞变成新颖的视频,缓解短剧剧情同质化的困境,带动产业规模化增长。
伴随AI技术进阶,视频生成正在打破视频生成的壁垒,从此前依赖高端、专业团队的创作形式,向普通人也能轻松参与其中的方式扩展。
从Seko的发展轨迹来看,AI视频生成工具正朝着推动视频生成产业实现质量与规模同步提升发展,既通过多维度的技术优化保障内容输出的高质量,又以高效生成能力支撑规模化生成创意视频,人人都是创作者的时代真要来了。


VIP复盘网