自从 Minimax H3 这个模型开源以来，我在本地玩到现在，也积累了不少经验，记录一下最近做人物替换视频的经验，顺便和佬友们讨论学习一下。不过我的经验一般是基于动漫风格的视频总结来的，可能和真人风格有差别，这点可能会有其他佬友能详细传授一下。 首先说明一下配置，4090 24g显存 + 96g内存。 这个模型对于配置要求不算高，不过配置越好，速度倒是越快，并且效果可能会越好。 MinimaxH3提示词很重要 这个模型，下限极低，上限极高，甚至有时候能够到sd2.5的水平。提示词尽量按照官方的那个提示词指引来写。 MinimaxH3官方提示词指南 我一般用的是ref2va的比较多，也就是全参考模式，人物替换一般都用这个模式。ref2va的提示词格式就是六段式的格式。 你的提示词描写一定既要详细也要简略，这不是废话，下面听我详细解释。 简略 ： subject_definitions 模块中，对于引用图片的描述要简化，类似<Picture 1> 这种标签后续的描述，可以一句话概括这个图片是干啥的，尽量不详细描述。 summary 模块中，也不要太过于详细的描述，这个总结模块就是要保持简洁。 retention_analysis 模块中, 只介绍 subject_definitions 中写的各个标签和镜头的关系，不要在这里再次详细描述 subject_definitions 已经定义好的内容了。 non_diegetic_music 模块，一般就直接保持 N/A，主要是因为我一般都后期重新配乐，基本上不用这个视频模型生成背景音乐。 详细 ：subject_definitions 模块中对于人物特征的描写要详细一点，这里是提示词中唯一一处描写人物特征的地方，所以尽可能详细。 detailed_description 模块中对于镜头的描写要详细，这是核心中的核心。这个模块中要定义镜头，[Shot 1] [Shot 2] 这种。minimaxH3对于这个标签的理解很深，基本上只要写了这个标签，他就会切镜头，所以多镜头可以用这个标签来描述。每个镜头的内容你要描述详细一点，你可以让有视觉能力的大模型帮你细化，你可以向大模型按你自己的理解描述这段镜头人物的动作环境的交互，然后让他细化后在稍微检查下有没有错误，这样会好一些，毕竟有些动作可能我们书面语确实描述不太好。这里可以用详细的时间点来控制节奏，比如 [Shot 1] 视频在 00:00.000 开始, 摄影机快速拉远。到 00:00.250 显出两个人的身体轮廓，到 00:00.542 显出完整的画面：XXXXXXX...... [Shot 2] 00:02.333 切镜。画面仍然满幅，XXXXXXX...... 00:02.583 这一帧按 <Picture 4>。 ...... 使用agent辅助 带有视觉能力的大模型可以帮你分析画面，帮你写分镜图的替换提示词，帮你编排脚本批量跑分镜图，哦对了，Minimax H3 模型的图片编辑能力也很强，我最近一次的视频替换人物一百多个分镜图基本上都是 Minimax H3出的图。 但是agent只能打辅助，不能全信，大模型看视频还是会有不少的理解偏差，你要用自己的眼睛去纠正它，你可以先用大模型给你的提示词去生成尝试，如果一次成功了那就省事了，如果没成功，那就看看哪里出了问题，看看哪个 [Shot] 的问题，然后去和大模型说，让它继续修改，这样迭代几次一般就可以了。 时长不要太长 我是24g显存的配置，但我每次最多也就跑8秒，基本上都是3-5秒的片段最多，这样速度快，而且更容易出片，MinimaxH3 每次跑的时长越长就越耗时间。如果要出长镜头可以用一些接续的工作流，每次跑8秒，接续一个长镜头。 分镜图 有时候靠语言描述可能就是没法得到想要的画面，此时就需要用分镜图，可以用闭源模型出，也可以就地取材，让minimax H3出分镜图，作为生成视频的分镜图来说，我感觉MinimaxH3是要比其他开源的图片模型要强的，很听话，十分遵循提示词。 二次采样 众所周知，MinimaxH3生成的视频，很糊，伪影很多，画面动起来后，高频细节很容易糊掉，特别是眼睛，我做的动漫风格的，眼睛也很容易糊掉，但是通过二次采样后就会好很多。我用的是1.0mp的一采，然后配合2.0mp的二采，这样能修细节并且减少伪影，最后配合星光放大到4k，清晰度甚至比sd还清晰。原分辨率二采也能够减少伪影和添加少量细节，如果追求质量的话，还是很有必要进行一次二采的。 二采我主要是用minimax_h3_latent_upscaler_3d_fp16这个模型来二采的，一般都是整块一起采样。如果分块采样可能会比较麻烦，要调各种参数，修复接缝问题和各个块的运动节奏对齐问题，时间分块要注意时间接缝处的画面跳变问题，这两个问题我暂时未解决，如果要是能解决的话，感觉会是minimaxH3开源社区最重要的突破之一。 高速动作糊的问题 有一个节点能够稍微解决这个问题， matlowai/ComfyUI-MAINodes: MatlowAI’s MiniMax-H3 ComfyUI nodes: Contact-Sheet diffusion + Motion Lab (test-time de-roping of fast motion) 这个节点能够局部变慢然后重绘最后在合并回去，能够一定程度缓解高速动作糊的问题，但也不是万能的，很吃配置，效果也有限。或者你可以利用这个思想，放慢整个片段，然后去参考替换重绘，最后再利用剪辑软件还原到原本的速度。 暂时先总结到这里… 有些可能一时半会没想到，这个是刚做完一个视频的随手记录，希望佬友们一块讨论学习，继续开发开源模型的潜力，看看能不能用开源视频模型狠狠的踢sd的屁股。 附新做的视频： 哔哩哔哩 【隐海决战】现代最强圣女 VS 史上最强主座 4k 60FPS_哔哩哔哩_bilibili 原视频链接：https://www.youtube.com/watch?v=X8xLl_802UUYoutube作者：NinjaristicNinja身为阿列夫一主人的菲比，成为主座后再也压抑不住自己的光明面......, 视频播放量 620、弹幕量 1、点赞数 55、投硬币枚数 19、收藏人数 25、转发人数 14, 视频作者 异世界的卡蜜, 作者简介... 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/13 18:09:45