云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。
Happ: y Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没有Ha声音的视频,再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。
而Happy Horse 1.0用一个统pp一的Transformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程里生成,不yH需要任何后期拼接。
模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分支,也or没有专门的条件网络。整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型在去噪过程中se自己学会跨模态对齐。
在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处理各1.自的输入输出,中间32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。
此外,每个注0 意力头都有一个可学习的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同时反传,很容易Se互相打架。
速度方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillation v2),把去噪步ed数从通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算量。再配合MagiCanompiler全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒,256p的预览版ce本则在2秒左右就能出来。
同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这些语言的口型、语调和语音时2.序是和视频一起联合训练出来的,不是后期贴上去的。
顶: 990踩: 10924847
标签: HappyHorse1.0 Seedance2.0 可灵 Transformer
人参与 | 时间:2026-11-14
相关文章
- Qoder CLI 登场!阿里打造最快 AI 编程助手,响应仅200毫秒
- 揭开智能指针 Box 的神秘面纱
- 三星 Galaxy XR 头显正式登场:1799 美元起,性能对标 Vision Pro,重量更轻、生态更开放
- 云安全日报220607:红帽Jboss中间件平台发现远程代码执行漏洞,需要尽快升级
- 华人博士生首次尝试用两个Transformer构建一个GAN
- 标签: 马化腾 腾讯 元宝
- Notion 即将发布个性化 AI 智能体,助力用户定制工作流
- 云计算核心技术Docker教程:Docker 利用构建缓存
- 字节跳动发布新一代3D生成大模型Seed3D 2.0,技术精度与真实感实现跨越式提升
- 标签: 长江存储 美光 3D存储 专利战






评论专区