4月29日凌晨，阿里巴巴開源新一代通義千問模型Qwen3（簡(jiǎn)稱千問3），在美國硅谷技術(shù)圈引起熱議。蘋果機(jī)器學(xué)習(xí)科學(xué)家奧維尼·漢農(nóng)（Awni Hannun）第一時(shí)間就在蘋果處理器芯片上完成千問3全系列模型測(cè)試，認(rèn)為“有很酷的特性”，并表示蘋果機(jī)器學(xué)習(xí)框架與千問3是最佳搭檔，開發(fā)者可以在蘋果多終端上適配部署千問3，包括Mac、 iPhone等。

 

奧維尼·漢農(nóng)的測(cè)試數(shù)據(jù)顯示，在M2 Ultra芯片運(yùn)行235B混合專家模型（MoE）時(shí)，僅需132GB內(nèi)存即可實(shí)現(xiàn)每秒28個(gè)token的生成速度；而在M4 Max芯片上，部分模型版本最高吞吐522.43 tokens/s，最低內(nèi)存占用僅0.44GB。

 

所有千問3模型都是混合推理模型，可通過API設(shè)置預(yù)期最大思考深度，實(shí)現(xiàn)「快思考」與「慢推理」的模式切換，為不同場(chǎng)景提供靈活的性能成本方案。這個(gè)技術(shù)特性讓奧維尼·漢農(nóng)覺得“很酷”。

 

鑒于千問3與蘋果芯片平臺(tái)展現(xiàn)出良好的適配性，奧維尼·漢農(nóng)表示，MLX（蘋果機(jī)器學(xué)習(xí)框架）與千問3是最佳搭檔。開發(fā)者已可通過mlx-lm在蘋果多終端部署千問3全系列模型，涵蓋從iPhone到Macbook Pro直至工作站級(jí)設(shè)備的多款產(chǎn)品。

 

 

 

 

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。