記 2017·10·24 GeekPwn AI 仿聲驗聲攻防賽

02-21

AI 仿聲驗聲攻防賽是 GeekPwn 2017 解構行動嘉年華人工智慧安全挑戰賽的一個子項目，參賽隊伍需使用合成語音在規定時間內破解設置了聲紋鎖的設備。

花了幾個周末和一點假期時間完成了比賽。

比賽整體介紹

目標人物：

王者榮耀英雄妲己的配音人
徐昊（GeekPwn 評委之一）

目標設備：兩台手機 + 一個平板 + 天貓精靈智能音箱

目標文本（賽前未知）：比賽計時20分鐘

五支決賽隊伍

清晨李唐王（冠軍團隊，破解三台設備，技術方案：Tacotron 端到端參數合成 + 拼接合成）

神牛gogo（第二名，破解兩台設備，技術方案：Tacotron 端到端參數合成 + 拼接合成）：

SmartParrot（第三名，破解一台設備，技術方案：語音轉換 + [拼接合成]）：

有點意思（優勝獎，破解一台設備，技術方案：拼接合成）：

maxmon（優勝獎，破解一台設備，技術方案：拼接合成）：

團隊交流

賽前賽後都有一些團隊之間的交流，

清晨李唐王：

清華大學（含深圳校區）的語音合成方向研究生隊伍，手動切分官方提供的目標人物長段語音、強制對齊句子與文本，準備了兩套合成技術方案，一是傳統拼接，二是 Tacotron 參數合成，破解的三台設備均是使用參數合成。

對「清晨李唐王」準備了 Tacotron 技術方案還是挺驚訝的，畢竟是2017新興的端到端合成技術，我們都是使用獨立復現的 Tacotron 而不是開源版本，相對來說復現早於開源版本。

神牛gogo:

也即是我本人的隊伍，自動化切分目標人物長段語音、強制對齊音頻與文本（強制對齊使用了CVTE開源的 kaldi 中文聲學模型），
1）生成聲韻母單元索引用於單元拼接，用 python 寫了簡單的 TTS 單元拼接，控制最大單元數目以使得可以快速獲得拼接結果；
2）訓練 Tacotron 模型（由於官方提供的目標人物語音有限，使用了更大的多人ASR語料庫訓練 Tacotron，並根據聲紋相似度挑選兩個 speaker 作為 Transfer Learning 的基礎，使用他們的 SpeakerID 作為目標人物 ID，在目標人物語音上 Tuning 模型）；
使用 Shell + Kaldi + Python + Tensorflow 串起，比賽進行中沒有抽出時間測試 Tacotron 合成結果，破解兩台設備的聲音是拼接合成語音。

SmartParrot

來自南京理工，由於中午自助餐沒在一起、賽後他們被拉去採訪，交流不是很多，技術上應該是語音轉換與拼接合成。

有點意思

拼接

maxmon

拼接

第二位目標人物徐昊的聲音只有冠軍團隊破解了一台，他們說到有注意到提供的目標人物徐昊的聲音有些前後鼻音不分，比賽破解文本中有相關鼻音，同時在比賽期間發現使用筆記本公放較難破解設備，他們準備了音箱。「有點意思」與「maxmon」兩個隊伍沒有進行程序自動化拼接，在生產速度上慢了許多，這也是他們在比賽最後階段才完成一次破解的原因。

大家都不太會操作天貓精靈智能音箱。。

其他

賽前賽後的安排都比較周到，我們的比賽在當天上午比較靠前的時間，幾乎完整地享受了整個盛會。中午的自助餐以及晚宴都很棒。