- SignalDesk2 hr ago
V 站的朋友们,上周我们开源了 Hypit ,一句话就是可以用它来复刻各种视频: https://v2ex.com/t/1242258#reply1 感兴趣的朋友可以关注下: 项目链接: https://github.com/hypit-ai/hypit 今天分享下我们为什么做这个项目,踩了哪些坑 对于大部分创作者和商家来说,制作视频内容只有一条路:吸收别人的创意( creative ),然后想办法结合自己的内容和产品,最终转化为自己的内容。但关键的问题是如何复刻。一两年前,随着 VLM 模型发展,上传视频后解析脚本给制作指导的产品有很多。但对于复刻创意来说,这一步几乎没什么用,可能连百分之一的工作都没有搞定。 我们在帮 AI startup 制作内容的时候,也是一样会参考其他企业制作的内容,借鉴他们的创意。比如我们参考了 perplexity 的 meta ads ,借鉴了 the rundown 的 UGC 广告内容。 制作这样一条视频,作为剪辑团队,需要 AIGC 生成许多素材,然后剪辑,配上各种字幕,特效,且完全卡点。很多剪辑一天也就做个 2-3 条,哪怕不思考不动脑,就照搬这个创意然后更改内容。 这种事情未来一定都是 Agent 来完成。但想让 Agent 制作这种内容,且能够工作流式的产出(同类型但不同质化),就必须组件式的去完成制作。 视频模型自己搞不定这件事。今天的模型是一个网络一口气画出整段画面,训练时见到的描述只有“一个女人在厨房做饭”这种粗粒度文本。它脑子里没有“字幕““B-roll““卡点”这些对象,你也就没法单独指挥其中任何一个。这是生成范式决定的,堆参数解决不了:模型再大,画面更好看,但还是没有精确性。 是因为视频模型输出的是像素,不是结构 现在主流的视频模型基本都是 DiT 加 Flow Matching 这一路,做法是一个网络对一整段时空 patch 一起去噪。它内部没有“这是字幕”、“这是 B-roll”、“这里是一刀”这样的对象,所以你也没办法单独指挥其中任何一个 训练数据也是这样。公开的高质量数据大多是“粗粒度 caption + 几秒钟的单镜头切片”,比如“一个女人在厨房做饭”。caption 里几乎不会写“第 1.5 秒切镜头”或者“画中画保持人脸居中” 要让 Agent 真正做出这种内容,只能在模型外面下功夫:需要一套全新的系统,把制作视频的每一个元动作变成组件;还需要一门全新的语言,所有组件都用它来写,由系统编译执行,拼成最后的成片。 DeepSeek 刚开源的 Harness ,干的就是同一件事。模型本身不干活,他们就在模型外面搭了一层 Harness:工具、沙箱、调度,连 Agent 的运行循环本身,全部做成可替换的插件组织起来,模型这才成了 Agent 。 视频缺的正是这一层。他们把 Agent 的一切做成插件,我们把视频制作的一切做成组件写在 SVML 里,和 DSH 的插件一样可替换,再由系统组织组件,编译成片。Hypit 就是视频的 Harness 。 这就是我们做这套系统和这门语言的原因。 “那让模型输出剪辑指令不就行了?” 对,这确实是正确方向。但到了这一步,做剪辑的已经不是视频模型了,而是一个语言模型在写一份可编译的描述,视频模型退回成这份描述里的一个素材组件。 这其实就是我们的结论。问题于是变成:这份描述应该长什么样? 时间线也不是答案 第一反应肯定是让 Agent 去操作时间线。现在也有不少这类尝试,比如 CapCut 草稿逆向出来的 CLI 、DaVinci 的脚本 API 。但时间线是按秒组织的,这对 Agent 来说有两个硬伤: 生成之前,你不知道某个词会落在第几秒。 所以只能先生成,再回头逐帧找位置加效果。这个后置工序大家都当成理所当然。 重新生成语音之后,所有秒数都会漂移。 之前对好的效果全部要重对一遍。 创作者写稿的时候脑子里想的其实是“说到这个词的时候出特效”,而不是“第 3.27 秒出特效”。所以锚点应该放在词上,而不是秒上。 边界呢? 模型会进步。多镜头生成、带字幕生成肯定会越来越好,如果你的需求就是“一镜到底、烧个字幕、发一次就完”,以后模型也许单独就够用。 但只要你需要改一处其余不变、精确卡点、批量出变体,你就需要一份可编辑的源码。这个边界不会因为模型变大而消失,因为问题出在输出形态上,而不是能力上。 我们不是大厂模型进步就能被秒杀的创业公司,像 Seedance 、GPT Image 、MiniMax 这些在系统里都是可以替换的组件,自己带 Key ( BYOK )就能用。反过来,也可以一个模型都不调,只用字幕、动效和代码渲染的画面,直接编译出成片,成本是 0 。 我们还很早期,模板也不多。比起 star ,我们更想听大家的理解!
- 情报分类:硬件与数码
- 分类依据:内容涉及硬件、数码产品或通信卡
- 信息来源:服务器 / V2EX
- 发布时间:2026/9/22 18:41:42
- No replies yet