时间戳数量和字符数量不匹配【词粒度模式返回时间戳】

[qiutzh]

Notice: In order to resolve issues more efficiently, please raise issue following the template.
（注意：为了更加高效率解决您遇到的问题，请按照模板提问，补充细节）

❓ Questions and Help

Before asking:

1. search the issues.
2. search the docs.

What is your question?

发现对于某些音频（如asr识别结果有特殊符号的话），sensevoice返回字符数量和时间戳数量会不一致？相比字符数量，时间戳数量上会偏少一些。有办法对齐两者的输出嘛？因为想试一试sensevoice的说话者分离效果怎么样，首先会用到词粒度时间戳。
参考：

1. 修复 当选用SenseVoice模型处理长音频（同时开启vad和output_timestamp）时的异常 modelscope/FunASR#2413
2. https://www.modelscope.cn/models/iic/speech_campplus_speaker-diarization_common

Code

from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess
import re

model_dir = "iic/SenseVoiceSmall"

model = AutoModel(
    model=model_dir,
    vad_model="fsmn-vad",
    vad_kwargs={"max_single_segment_time": 30000},
    device="cuda:0",
)

audio_files = [
    'https://www.modelscope.cn/models/iic/speech_campplus_speaker-diarization_common/resolve/master/examples/2speakers_example.wav'
]
res = model.generate(
    input=audio_files,  # 1分钟以上长音频
    cache={},
    language="auto",  # "zn", "en", "yue", "ja", "ko", "nospeech"
    use_itn=True,
    batch_size_s=60,
    # merge_vad=True,  #
    merge_vad=False,  #
    merge_length_s=15,
    output_timestamp=True
)
text = res[0]["text"]
timestamp = res[0]["timestamp"]
text = rich_transcription_postprocess(text)  # 对于上面的例子音频，解开注释，数量上一致；但对于另外一些音频数量上会对不上！

print(f'text: {text}')
print(f'timestamp: {timestamp}')
print(len(text), len(timestamp))

What have you tried?

What's your environment?

• OS (e.g., Linux): ubuntu20.04
• FunASR Version (e.g., 1.0.0): 1.2.6
• ModelScope Version (e.g., 1.11.0): 1.18.0
• PyTorch Version (e.g., 2.0.0): 2.6.0
• How you installed funasr (pip, source): pip
• Python version: 3.12
• GPU (e.g., V100M32): gtx4090t
• CUDA/cuDNN version (e.g., cuda11.7): 12.4
• Docker version (e.g., funasr-runtime-sdk-cpu-0.4.1): not docker
• Any other relevant information:

[chengligen]

I have the same problem, have you solved it?

[PL2584718785]

I have the same problem, have you solved it?

[chengligen]

I raised a PR that fixed this issue. https://github.com/modelscope/FunASR/commit/8b0fb74bded1f8a162e6c0e94c3522be6216ea03

[liuqijie6]

我遇到了同样的问题，你解决了吗？

[LauraGPT]

重新打开。虽然评论提到过 FunASR 修复提交 8b0fb74b，但关闭后仍有用户报告同样的字符/时间戳数量不匹配，说明不能按 completed 处理。

请复现者用当前 funasr==1.4.7 和固定 SenseVoice model revision 重新运行，并提供一段可公开或脱敏的最小音频、原始 text、timestamp 以及是否经过 rich_transcription_postprocess。我们会区分富标签清理、字符粒度与 token 粒度契约后再给结论。

[LauraGPT]

补充一次实际复测和输出契约说明，不据此关闭本 issue。

使用正式 funasr==1.4.15 wheel（443 个 RECORD 文件校验通过），PyTorch 2.11.0+cu128 / H100，固定官方 HF FunAudioLLM/SenseVoiceSmall@3847d57b6bdf2dd8875cb1508d2af43d80a16bf7，以及 funasr/fsmn-vad@df20e6b30c653645fa4ff125cacfcabd1020a669。这里明确是该 HF revision，不声称复现了原环境未固定的 ModelScope revision。

保留原示例的 output_timestamp=True、merge_vad=False、batch_size_s=60、VAD 最大分段 30000 ms。结果如下：

输入	use_itn	清理后文本字符数	words 数量	timestamp 数量
本 issue 的 2speakers_example.wav，51.663 秒	True	242	242	242
同一段音频	False	217	217	217
固定 revision 的 example/en.mp3，7.180 秒	False	84	16	16

三组输出的时间区间均非负、按顺序排列且位于音频范围内。中文原音频 SHA256：8dd999996bfc3dfbef07d71401dd9043096ffbff576bcccdd8f8ddce33563b14。这只检查结构与范围，不是时间戳精度或转写准确率评测。

关键区别是：应把返回的 words 与 timestamp 配对，不要把 rich_transcription_postprocess(text) 拆成字符后再配时间戳。英文子词会合并成词，原始文本还含富标签，显示后处理也可能改变字符数量，因此 len(text) == len(timestamp) 不是通用契约。上面的英文例子展示了这一点；words 也不意味着每种语言都采用空格分词。

下面的消费方式已在这三组真实输出上验证，共配对 475 项；显式检查长度，避免普通 zip 静默截断：

item = res[0]
if "words" not in item or "timestamp" not in item:
    raise ValueError("This result has no word/timestamp alignment")
words, timestamps = item["words"], item["timestamp"]
if len(words) != len(timestamps):
    raise ValueError("Word/timestamp count mismatch")
for word, (start_ms, end_ms) in zip(words, timestamps, strict=True):
    print(word, start_ms, end_ms)

无对齐字段的结果需要由应用显式处理，不能伪造时间戳。显示文本可另行做富标签后处理，但不要独立改变配对序列。本次没有运行 CAM++，这些结果也不证明说话人分离质量。

原文已说明其他音频仍可能有特殊符号问题，本次没有覆盖那些未提供的音频；若其中 words 与 timestamp 本身不等长，或可听内容缺失，仍属于需要继续定位的问题，而不能用“字符数本来就不同”一概解释。