近日，雲知聲團隊研究成果Zipper-LoRA: Dynamic Parameter Decoupling for Speech-LLM based Multilingual Speech Recognition成功被語音與語言處理領域頂級國際期刊IEEE Transactions on Audio, Speech and Language Processing (IEEE TASLP 2026)正式接收論文。
該成果直擊語音大語言模型（Speech-LLM）多語種適配的行業痛點，破解了跨語言干擾與跨域知識遷移難以兼顧的核心難題，為資料資源不均衡場景下的多語種語音識別提供了全新高效的微調正規化，同時為低資源語種語音大模型的規模化落地搭建了通用、可複用的技術底座論文。
IEEE TASLP由IEEE訊號處理學會主辦，是音訊、語音與語言處理領域的頂級權威期刊，聚焦音訊技術、語音處理、自然語言計算三大核心方向，收錄全球高質量、高創新性的前沿學術成果，學術影響力與行業認可度位居領域頂尖水平論文。
入選論文核心資訊
英文題目：Zipper-LoRA: Dynamic Parameter Decoupling for Speech-LLM based Multilingual Speech Recognition
中文題目論文：Zipper-LoRA：面向Speech-LLM多語種語音識別的動態引數解耦方法
作者團隊論文：Yuxiang Mei, Delai Qiu, Shengping Liu, Jiaen Liang, Yanhua Long
研究方向論文：多語言自動語音識別、語音大語言模型（Speech-LLM）、低資源語種適配、引數高效微調（PEFT）、LoRA最佳化
論文簡介：面向資源分佈不均衡的多語言自動語音識別任務，現有語音大語言模型在引數高效微調時面臨跨語言干擾與知識遷移難以兼顧的問題：共享 LoRA 易受高資源語言主導，損害低資源語言效能；完全獨立的 LoRA 則限制了跨語言知識共享論文。
展開全文
針對這一問題，本文提出 Zipper-LoRA 動態引數解耦框架，將 LoRA 適配能力劃分為共享子空間與語言特定子空間，並利用語言身份感知路由器在秩級別動態融合二者，實現對可遷移知識的細粒度共享和對語言衝突的有效隔離論文。本文進一步設計了靜態、硬路由與軟路由三種變體，以及採用 Initial-B warm-start 的兩階段訓練策略，以提升不平衡多語言訓練下的收斂穩定性。
實驗結果表明，Zipper-LoRA 在 12 種目標語言上均取得了優異效能論文。與僅透過調整有效秩來實現壓縮或效率最佳化的 FlyLoRA 等方法不同，Zipper-LoRA 所提出的動態引數解耦策略能夠在保持跨語言知識共享的同時，有效緩解不同語言之間的引數干擾。同時，相比 Fully Shared 的 Vanilla-LoRA 和 Fully Decoupled 的 Independent-LoRA，Zipper-LoRA 在所有語言上均取得更加均衡的效能表現，驗證了共享與語言特定知識動態融合的有效性。
Zipper-LoRA 結構圖
不同 LoRA 方法在 12 種語言上的識別效能對比
從語音識別到Speech-LLM論文，持續探索語音大模型技術邊界
作為國內早期佈局智慧語音賽道的企業，雲知聲在語音識別、語音合成、自然語言處理及大模型領域深耕多年，積累了深厚的技術壁壘與成熟的產業化經驗論文。公司自研的U2語音大模型已支援超100種中國方言、15餘種國際語種，廣泛落地於醫療、教育、智慧家居、智慧車載等核心垂直場景，實現了多場景、多語種語音AI的規模化商用。
在Speech-LLM前沿領域，雲知聲持續深耕語音編碼器與大語言模型的高效融合架構，不斷突破端到端語音理解、語音生成核心技術，持續夯實多語種、低資源語音建模能力論文。
長期以來，雲知聲研發團隊的創新成果持續登上ICASSP、Interspeech、ACL、EMNLP等國際頂級會議與期刊，在語音識別、聲紋驗證、語音增強、多語言大模型建模等領域擁有廣泛的國際學術影響力論文。
本次成果獲IEEE TASLP 2026錄用，是對雲知聲技術實力與創新路徑的又一次權威認可論文。未來，我們將堅持“強基模、深應用”的戰略方向，持續迭代模型能力，推動語音大模型基礎研究與產業應用深度融合，讓更先進的語音AI技術走向更多語言、更多場景，服務於更廣泛的真實應用。
