跳到主要內容

Xiaomi 發布可控視訊和音訊生成模型 ControlFoley


Xiaomi 發布可控視訊和音訊生成模型 ControlFoley，這是一個統一且可控的多模態視訊到音訊 (V2A) 生成框架，它能夠使用視訊、文字和參考音訊對生成的音訊進行精確控制。與依賴單一模態或在相互衝突的輸入下難以應對的現有方法不同，ControlFoley 旨在處理複雜的多模態交互，即使在模態不一致的情況下也能保持強大的可控性。

ControlFoley 支援多種應用

  • 文字-視訊-音訊產生 (TV2A): 在文字指導下，視訊內容自適應配音和同步音效產生
  • 文字控制視訊轉音頻 (TC-V2A): 在視訊文字衝突的情況下產生音頻，語義與文字提示一致，時間上與視訊內容同步
  • 音訊控制視訊轉音訊 (AC-V2A): 音訊產生以參考音訊為條件，音色與參考音訊一致，並在時間上與視訊內容同步
  • 文字轉音訊產生 (T2A): 作為統一框架的附加功能，直接從文字提示產生音訊

主要創新

  • 聯合視覺編碼實現穩健的多模態控制： 結合 CLIP 和 CAV-MAE-ST 表示來捕捉視覺語言和視聽相關性，從而提高模態衝突下的穩健性。
  • 以音色為中心的參考音訊控制： 擷取全域音色表示，同時抑制時間線索，從而實現精確的聲學風格控制，而不影響同步。
  • 採用統一對齊的模態穩健訓練： 引入全模態丟棄和統一的 REPA 目標，以提高對不同模態組合的穩健性。
  • VGGSound-TVC 基準測試： 一種評估視覺文字語意衝突下文字可控性的新基準測試。

ControlFoley 在多個 V2A 任務中都表現出色，展現出高生成品質和強大的可控性。

TV2A

  • CLAP 得分最高（語意對齊效果較好）
  • 最低 DeSync（更好的時間同步）
  • 最佳整體 IS（更好的音訊品質）——相對改進高達 27%（VGGSound 上的 22.08 對比 17.36）

TC-V2A

  • 在各種衝突等級下保持較高的文字對齊度 (CLAP)
  • 有效降低衝突下的內隱偏見（減少對視覺偏見的依賴）
  • 在可控性和發電品質之間實現了更好的平衡

AC-V2A

  • 更好的音色相似度（Resemblyzer）
  • 更好的同步（DeSync）
  • 更高的音訊品質（IS）

ControlFoley 也展現出與 Kling-Foley 等強大的專有系統相媲美或更優的性能，突顯了其作為開放且可控解決方案的有效性。

https://kopyai.com/zh-tw/latest/view/type.news/0/72

Picture Source
Xiaomi

標籤：

留言

張貼留言

這個網誌中的熱門文章

標普 500 指數和那斯達克指數結束兩週連漲勢頭，人工智慧引發的動盪令科技股承壓

週五美國股市波動劇烈，半導體股在有關 OpenAI ( OPAI.PVT ) IPO 可能推遲的報道出現後回落，這加劇了本週令市場劇烈震蕩的不利因素。 科技股為主的那斯達克指數（^IXIC）下跌 0.2%，而標準普爾 500 指數（^GSPC）小幅下跌，這兩個指數本週分別下跌 超過 4% 和近 2%。 道瓊工業指數（^DJI）科技股佔比較低，跌破橫盤整理線，但周漲幅不到 1%。 蘋果公司（ AAPL）上調 MacBook 和 iPad 價格後，人們越來越擔心記憶體和儲存組件成本飆升可能會衝擊設備製造商。內存晶片製造商美光科技（ MU）亮眼的財報表明，這種成本壓力還將繼續。 同時，《紐約時報》報道稱，OpenAI 正在考慮將其巨額 IPO 推遲到 2027 年，這也抑制了人們對科技股的興趣。 由於市場預期聯準會今年將升息，人工智慧交易已承壓。聯準會首選的通膨指標—個人消費支出指數— —5月份的強勁表現，進一步鞏固了這一預期。 https://kopyai.com/zh-tw/markets/view/type.stock.us/0/165 Picture Source unsplash
張貼留言
閱讀完整內容

Figure AI 發布新一代的神經系統 Helix 02

Figure AI 推出新一代的單一神經系統 Helix 02，可直接從像素控制全身，從而在整個房間內實現靈巧、遠距離的自主移動。 新特色 自主長距離移動操作： Helix 02 能夠在一個完整的廚房內完成洗碗機的裝卸工作——這項全程自主任務耗時四分鐘，整合了行走、操作和平衡能力，無需任何重置或人工幹預。我們相信這是迄今為止人形機器人自主完成的最長距離、最複雜的任務。 所有感測器輸入，所有執行器輸出： Helix 02 透過一個統一的視覺運動神經網絡，將每個板載感測器（視覺、觸覺和本體感覺）直接連接到每個執行器。 基於人體資料的類人全身控制：所有結果均由系統 0實現，該系統是一個經過訓練的全身控制器，基於超過 1000 小時的人體運動資料和模擬到實際的強化學習進行訓練。系統 0 用一個神經網路先驗取代了 109,504 行手工編寫的 C++ 程式碼，從而實現了穩定、自然的運動。 新的靈巧度類別：借助 Figure 03 的嵌入式觸覺感測和掌心攝像頭，Helix 02 可以執行以前無法完成的操作：取出單個藥丸、分配精確的注射器容量，以及在自身遮擋的情況下從雜亂中取出細小的、不規則的物體。 根據最新的影片結果說明： 在操作約束下的運動。機器人能夠一邊行走一邊抓取易碎物品，並在每一步都保持穩定的抓握。 充分利用全身：當雙手被佔用時，機器人會用臀部關上抽屜，用腳抬起洗碗機門——將整個身體當作工具，而不是只依靠雙手。 雙手協調配合貫穿始終：物體被拿起、在雙手之間轉移、堆疊和放置，而雙臂則作為一個協調的系統進行操作。 跨尺度的運動範圍。同一個神經網路既能產生毫米級的指尖運動，也能產生房間尺度的移動－動態範圍跨越四個數量級。 長時域序列執行：61 個運動操作動作，順序正確，並具有隱式錯誤恢復能力。機器人可在數分鐘的執行時間內保持任務狀態。 Helix 02 的觸覺感測和掌部攝影機突破了純視覺策略的限制，實現了更多操作任務。 Helix 02 的 S0 提供學習到的全身控制，S1 將所有感測器連接到所有執行器，S2 實現對擴展任務的語義推理，從而實現了新的目標：連續的、房間規模的自主性，無縫地融合了行走和操作，目前研究結果尚處於初步階段，但已展現出持續性全身自主控制所能達到的成就 https://kopyai.com/zh-tw/latest/view/type.news/0/60...
張貼留言
閱讀完整內容

西班牙監管機構表示，歐盟數位貨幣監管截止日期不會延長，幣安仍未獲得許可

西班牙最高證券監管機構週五表示，該國不會延長數位貨幣公司根據新規註冊的最後期限——儘管幣安公司正努力完成註冊。 根據歐盟新實施的 MiCA 數位貨幣框架，企業必須在 7 月 1 日前在成員國註冊並繼續營運。如果未能在下週前完成註冊，則將強制停止營業。下週後，歐洲消費者將無法與未經授權的數位貨幣服務提供者進行交易。 全球最大的數位貨幣交易所幣安曾申請在希臘根據《貨幣與公司法》（MiCA）註冊。但先前有報告指出希臘不太可能批准註冊申請，幣安本周宣布撤回在希臘的申請。目前，幣安正尋求在另一個歐盟成員國註冊，但由於下週三截止日期臨近，幣安很可能被迫至少暫時停止在歐洲的業務運作。 根據路透社報道，西班牙國家證券市場委員會主席卡洛斯·聖巴西利奧週五表示，7 月 1 日的最後期限“不會有任何例外或延期”。 聖巴西利奧對幣安等大型數位貨幣平台表示擔憂，這些平台由於缺乏 MiCA 合規性，可能在幾天內關閉。 他說：“我們擔心的是……過渡期的結束將如何展開，以及人們將如何適應新的環境。” 該監管機構補充說，他和一些人正在與尚未獲得牌照的主要數位貨幣公司聯繫，以確保他們制定計劃將客戶資產轉移到其他提供者，並確保投資者的權利。 一旦數位貨幣公司在歐盟國家註冊，其牌照即可「通行」至其他司法管轄區。歐盟成員國在金融監管方面採取了多種不同的方法，從塞浦路斯和馬耳他等較為寬鬆的監管體系，到法國和德國等以監管嚴格著稱的體系，不一而足。 雖然每個歐盟國家處理申請的方式可能各不相同，但所有國家都將執行同一套更廣泛的數位貨幣相關規則。 https://kopyai.com/zh-tw/markets/view/type.stock.us/0/166 Picture Source unsplash
張貼留言
閱讀完整內容