微軟推出 Phi 模型系列的新版本 - Phi-4-mini-flash-reasoning，此新模型專為運算、記憶體和延遲受到嚴格約束的場景而設計，旨在為邊緣設備、行動應用程式和其他資源受限的環境帶來高級推理能力。
新模型沿用 Phi-4-mini，但建立在一種新的混合架構上，吞吐量提高了 10 倍，延遲平均降低了 2 到 3 倍，在不犧牲推理性能的情況下實現了顯著加快的推理速度。
Phi-4-mini-flash-reasoning 在數學推理能力和效率之間取得平衡，使其可能適用於教育應用、基於即時邏輯的應用等。
與前代產品類似，Phi-4-mini-flash-reasoning 是一個擁有 38 億個參數的開放模型，並針對高階數學推理進行了最佳化。它支援 64K 的 token 上下文長度，並基於高品質合成資料進行了微調，以提供可靠的邏輯密集型效能部署。
Phi-4-mini-flash-reasoning 的核心是全新引入的解碼器-混合解碼器架構 SambaY，其核心創新在於門控記憶單元 (GMU)，這是一種簡單而有效的跨層共享表徵機制。該架構包含一個自解碼器，它結合了 Mamba（狀態空間模型）和滑動視窗注意力 (SWA)，以及一個單層全注意力機制。此外，該架構還包含一個交叉解碼器，它將昂貴的交叉注意力層與全新的高效 GMU 交錯排列。這種具有 GMU 模組的新架構顯著提升了解碼效率，增強了長上下文檢索效能，並使該架構能夠在各種任務中提供卓越的效能。
SambaY 架構的主要優勢包括：
- 增強解碼效率。
- 保留線性預歸檔時間複雜度。
- 提高了可擴展性並增強了長上下文效能。
- 吞吐量提高高達 10 倍。
與 Phi 系列的所有模型一樣，Phi-4-mini-flash-reasoning 可部署在單 GPU 上，從而適用於廣泛的用例。然而，它的獨特之處在於其架構優勢。與 Phi-4-mini-reasoning 相比，這個新模型實現了顯著更低的延遲和更高的吞吐量，尤其是在長上下文生成和延遲敏感型推理任務中。
這使得 Phi-4-mini-flash-reasoning 成為希望部署需要快速、可擴展和高效推理的智慧型系統的開發人員和企業的引人注目的選擇——無論是在本地還是在設備上。
https://kopyai.com/zh-tw/latest/view/type.news/0/41
Picture Source:
microsoft
留言
張貼留言