前情提要： 双非文科大三勇闯产品赛道 - 搞七捻三 - LINUX DO 【长文预警】【含面筋】腾子aipm(技术bg)二面凉经+杂谈有感 - 搞七捻三 / 搞七捻三, Lv1 - LINUX DO 书接上回，哪门子产品啊啊啊啊，分明是AI Infra。模型微调调吐了的幻想（）至少不是纯数据标注了。 言归正传，业务背景是公司需要一个开源ASR模型用于转录内部工作的会议，但是呢常见的开源baseline model比如qwen3-asr-1.7B或者whisper-large-v3在粤英混说（港式粤语）的场景下常常出现以下几个问题： 语言省略：只输出粤语部分，不输出英语单词 翻译：全句直接以粤语输出 幻觉：输出无关内容（尤其于whisper，什么谢谢观看之类的） 以上问题在 音频语言学习模型中英语-普通话代码转换语音识别的直接偏好优化 — Direct Preference Optimization for English-Mandarin Code-Switching Speech Recognition in Audio LLMs 中也有一些研究，不过这篇论文研究的是中英混说，煮啵正在尝试将其推广到粤语中。 于是乎煮啵开始构建一个pipeline从而让煮啵能够快速构建一个微调数据集，设计的流程大致如下： flowchart TD A["视频输入"] --> B{"检测是否有硬字幕"} B -- "有" --> C["全片VAD"] C --> D["按片段时间截取视频帧"] D --> E["OCR识别字幕文本"] E --> F["对齐音频与字幕文本"] F --> G[("产出音频-文本数据对")] 在构建的过程中，煮啵发现视频中的字幕多为粤语书面语，而实际音频中为粤语口语发音，例如： 字幕：其實他們買樓的思維咧。 音频：其實佢哋買樓個思維咧。 一开始煮啵对齐文本所使用的是传统的VAD通过声学特征对齐字幕，发现极其不稳定。再次感谢 @curaalizm 在 使用Qwen3-ASR-0.6B和Qwen3-ForcedAligner 为本地音乐库打上歌词！ - 开发调优 - LINUX DO 中提供的思路，利用Qwen3-ForcedAligner将字幕文本与音频强制对齐。此时问题出现了，由于视频中字幕使用的是粤语书面语，导致在强制对齐中Qwen3-ForcedAligner无法找到对应的口语词，从而导致对齐失败。 因此，煮啵迫切的希望佬u能提供一些idea来尝试解决这个问题，煮啵明天就要跟mt汇报了，要完蛋了有感觉吗？ 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：技术学习与提效
  • 分类依据：内容涉及技术、AI、软件工具或工程实践
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/15 22:39:01