夠用就好！　手機裝置端AI轉向小模型

自2023年以來，中國的Android手機業者便開始積極探索充分利用人工智慧(AI)的方法，目標是在裝置內的人工智慧趨勢中領先，並獲取顧客的心占率。他們開創了裝置與雲端混合AI模型部署，希望能為顧客提供獨特的AI體驗，或至少展示他們的研發實力。   在2023年，這些中國OEM廠商急忙推出搭載AI模型的設備，其參數達到7B甚至10B，適用於他們最新的高階機型。市場最初預期搭載人工智慧模型的規模將持續增長，類似於全球領先的人工智慧巨頭升級其模型的方式。然而，在2024年，大多數中國OEM廠商採取了退一步的策略，採用更加平衡的方法，將搭載的人工智慧模型從10B降至較小的版本，例如4B甚至3B版本。   這一變化可以歸因於像剪枝和蒸餾這樣的技術，這些技術使得人工智慧模型變得更小，同時仍保持相似的性能。此外，高通(Qualcomm)和聯發科在2024年推出的最新旗艦晶片組，均聲稱其推理速度顯著提升。兩家公司最新晶片組中的NPU或APU性能提高了超過50%。   在這樣的背景下，為什麼中國原始設備製造商沒有在設備上部署更大的人工智慧模型？答案在於他們變得更加務實。大多數一般用戶並不需要全功能的設備內模型。一個能有效滿足日常應用需求的小型模型就已經足夠，同時還可節省寶貴的記憶體空間。   目前OEMs通常專注於以下功能： ‧...