日期 | 说明 |
2025年5月28日 | 优化泰语、日语、韩语和越南语的发音和音质 |
2025年1月21日 | 高情感克隆模型支持重新配音 |
2024年12月5日 | 上线情感增强克隆模型,本模型特点: 1. 复刻原来剧集的情感和声线,能保留原来的哭腔、嘶吼的情感,保留内心独白、电话声音的音色等 2. 优化背景音保留策略,现在能保留非vocal部分的哭声、笑声、喘气声等 3. 优化句子连贯性等 |
克隆模型 | 高情感克隆 new | 经典模型/超真实配音 |
准备材料 | 1. 无字幕原视频 2. 标记了角色的字幕文件 | 1. 无字幕原视频 2. 标记了角色的字幕文件 3. 为每个角色指定声音(克隆/公共) |
优势 | 1. 效率更高,无需准备/匹配声音 2. 高情感还原 3. 高度声音特征还原 | 1. 可以使用公共音色来配音 2. 可以独立训练一批专业的声音用来配音 3. 声音较为稳定 4. 几乎没有口音 |
劣势 | | 情感较弱 无法保留声音的环境特征(如电话音等) |
成本 | 100点/30秒以内(≈24元/分钟) | 30秒/25点以内(≈6元/分钟) |
生产效率 | 一部(100集)/2小时 | 一部(100集)/1小时 |
操作流程 | | |
| 流程 | 流程解释 | 所需数据 | 获得产物 | ||||
| 1. 视频合成 | 1.剧集视频(含原声) 2.原文、译文和角色标注Json 属于即时复刻,无需指定声音 | 作品id | |||||
| 2. 查询视频处理结果 | 获取合成后的视频文件、字幕文件、每段话的音频文件 | 作品id | 视频文件、字幕文件、每段话的音频文件 | ||||
当对合成视频的某些句子声音不满意的时候,可以通过重新对此句进行克隆配音,试听满意后重新合成作品 | | | | | ||||
方法1.通过api修改 | 1. 发起重新配音任务 | 重新对某些台词句子进行克隆配音 | 需要重新配音的句子的sent_id列表 | 任务id | ||||
| 2. 获得重新配音任务的结果 | 查询重新对某些台词句子进行克隆配音的结果 | 任务id | 重新配音的音频 | ||||
| 3. 使用新声音重新合成视频 | 重新合成作品 | 作品id+新的配音参数 | 重新合成后的作品 | ||||
方法2.授权访问网页端修改 | 1. 使用精修编辑器对配音结果再编辑 | | |