做语音识别(ASR)的人大多踩过同一个坑:同一段会议录音,直接丢给转写引擎,出来的文本满是「嗯啊」「半句话」「甲乙丙分不清」;但把音频先处理一遍,识别准确率能肉眼可见地提升。这篇文章不聊某个具体产品,只讲一套通用的音频预处理流水线——ffmpeg 加几行 Python,跑完再交给任何转写引擎都更稳。
为什么不能直接丢原始文件?三个常见原因:
- 采样率/声道不匹配:很多模型内部只跑 16kHz 单声道,你喂 48kHz 立体声,它要先重采样,顺带把底噪一起放大。
- 响度忽高忽低:远程会议里有人用小音箱、有人用耳机,音量差十倍,模型对弱信号段落容易漏字。
- 长文件 + 重叠说话:一段两小时的录制,中间没有停顿,模型很难切句,说话人一多就乱标。
下面这 5 步,按顺序跑,每一步都有可复现的命令。
第 1 步:统一成 16kHz 单声道 WAV
先降维。把各种来源的音频归一化到模型最友好的格式,文件也更小、跑得更快。
1# m4a/mp3/mp4 等任意输入,统一成 16k 单声道 16bit PCM 2ffmpeg -y -i input.m4a -ar 16000 -ac 1 -c:a pcm_s16le step1_mono.wav 3
-ar 16000 是采样率,-ac 1 是单声道。绝大多数开源/云端 ASR 的声学模型 backbone 都在 16kHz 上训练,这一步能省掉引擎内部的不确定重采样。
第 2 步:响度归一化
用 loudnorm 把整段拉到语音标准响度(集成响度 -16 LUFS,播客/人声常用值),避免某个人声音太小被当成静音。
1ffmpeg -y -i step1_mono.wav \ 2 -af loudnorm=I=-16:TP=-1.5:LRA=11 \ 3 -ar 16000 -ac 1 step2_norm.wav 4
I 是目标集成响度,TP 是真峰上限,LRA 是响度范围。三个参数一起把「忽大忽小」压平。
第 3 步:频域降噪
底噪(空调、风扇、电流声)会干扰清音辅音的识别。用 afftdn 在频域把低于噪声地板的成分压掉。
1ffmpeg -y -i step2_norm.wav -af "afftdn=nf=-28" step3_denoised.wav 2
nf 是噪声地板,单位 dB。这个值别调太狠(-40 以下容易把气声也削掉),-25 到 -30 之间通常比较稳。如果你想要更平滑的时域降噪,也可以换 anlmdn,代价是稍多一点计算量。
第 4 步:按静音切分长文件
很多转写服务对单文件时长有限制(比如单个文件不超过 60 分钟),而且太长的连续语音会让句边界和说话人判断变差。用 silencedetect 找出停顿点,再自动切片。
先探测静音段:
1ffmpeg -i step3_denoised.wav \ 2 -af silencedetect=noise=-35dB:d=0.8 -f null - 2>&1 | grep silencedetect 3
输出形如 silence_start: 12.3 / silence_end: 13.6。下面这段 Python 把它切成不超过 max_len 秒的小段,切点尽量落在静音中段,避免把一句话拦腰截断:
1import subprocess, re, os 2 3WAV = "step3_denoised.wav" 4MAX_LEN = 600 # 每段上限 10 分钟 5OUTDIR = "chunks" 6os.makedirs(OUTDIR, exist_ok=True) 7 8# 1) 拿静音区间 9log = subprocess.run( 10 ["ffmpeg", "-i", WAV, "-af", "silencedetect=noise=-35dB:d=0.8", 11 "-f", "null", "-"], 12 stderr=subprocess.PIPE, text=True 13).stderr 14starts = [float(m) for m in re.findall(r"silence_start: (\S+)", log)] 15ends = [float(m) for m in re.findall(r"silence_end: (\S+)", log)] 16 17# 2) 在静音中点处切,保证每段 <= MAX_LEN 18cuts = [0.0] 19for s, e in zip(starts, ends): 20 mid = (s + e) / 2.0 21 if mid - cuts[-1] > MAX_LEN: 22 cuts.append(mid) 23cuts.append(None) # 末段到结尾 24 25# 3) 逐段导出 26for i in range(len(cuts) - 1): 27 start = cuts[i] 28 end = cuts[i + 1] 29 seg = f"{OUTDIR}/chunk_{i:03d}.wav" 30 cmd = ["ffmpeg", "-y", "-i", WAV, "-ss", str(start)] 31 if end is not None: 32 cmd += ["-to", str(end)] 33 cmd += ["-ar", "16000", "-ac", "1", seg] 34 subprocess.run(cmd) 35 print("wrote", seg, "start=", start, "end=", end) 36
跑完你会得到 chunk_000.wav、chunk_001.wav……每段都不超上限,且切口基本在换气处。
第 5 步(可选):用参考文本快速核验
如果你手上有一段人工听写的参考文本,可以用 jiwer 算个词错误率(WER),判断预处理到底有没有用,而不是凭感觉。
1pip install jiwer 2
1from jiwer import wer 2 3reference = "今天我们要讨论第三季度的上线计划" 4hypothesis = "今天我们要讨论第 3 季度的上线计划" 5print("WER =", wer(reference, hypothesis)) 6
WER 越低越好。把第 3、4 步前后的 WER 对比一下,通常能直接看到降噪 + 切片带来的提升。
处理完交给转写引擎:怎么选
流水线跑完,干净的音频可以走两条路:
- 自建 Whisper / faster-whisper:完全本地、数据不出门,适合有 GPU、量大的团队;缺点是环境搭建和显存占用。
- 在线转写工具:上传处理好(且已切到时长上限内)的音频,直接拿带时间戳和说话人标签的文本。比如做 audio transcription 这类在线工具,支持上传文件、粘贴链接或浏览器内录音三种输入,能输出说话人分离、时间戳、90+ 语言互译,并导出 TXT / Word / PDF / SRT / VTT;免费额度是免登录 60 次一次性积分、登录后每日 240 分钟,单文件上限 60 分钟——所以第 4 步的切片在长录音场景里几乎是必做项。
选哪条路看你的数据合规要求和体量。但无论哪条,前面 5 步预处理都是通用且免费的,先洗一遍音频,再去比识别效果,结论会靠谱得多。
几个容易翻车的小结
- 重采样放在最前面(第 1 步),后面所有处理都基于统一格式,避免重复重采样引入误差。
- 降噪地板
-28不是绝对值,环境越安静可以越轻(比如-22),越吵可以略重,但别低于-35。 - 切片上限按你用的转写服务的单文件限制来定,不要拍脑袋。
- 如果源文件本来就是清晰近场人声,第 3 步可以跳过,过度降噪反而伤音质。
把这套流程存成脚本,下次拿到任何录音,一键跑完再转写,省下的校对时间比预处理本身多得多。
参考文档
- Primers 编程伙伴/Bash/帮助手册/grep
- Primers 编程伙伴/Python/内建函数/float
- Primers 编程伙伴/Python/内建函数/zip
- Primers 编程伙伴/Python/内建函数/range
- Primers 编程伙伴/Python/内建函数/len
- Primers 编程伙伴/Python/内建函数/str
- Primers 编程伙伴/Python/内建函数/print
- Primers 编程伙伴/Bash/帮助手册/install
