Re: [新聞] 蘋果積極徵才開發生成式AI 力拚整合到iPh

蘋果這條路線跟高通一樣 就是on-device inference
高通之前示範過了 https://www.ithome.com/0/675/490.htm
目前個人不負責任理解是 Meta/Adobe/MS/Google/Saleforce都在走向雲端大模型
(e.g., Foundation/LLM AI)也就是AI as a Service
有些Startup公司已經開始在把Foundation/Pre-trained Moedel當作工具在賣
比方說Pytorch的Eng Head Lin Qiao所跳出來創辦的Fireworks
https://www.youtube.com/watch?v=tR7ntuDo_pM

而Qualcomm/Apple因為自身有硬體架構優勢 會走向on-device AI
但會著重在infernce的省電和low latency這塊

On-device AI和Large Model AI是光譜的兩端 前者需要有特殊硬體和底層low-level
API加速整合 著重在省電和壓縮大模型網路架構 後者就是暴力解

而老黃會繼續吃下AI架構設計這邊市場(Training) 但老黃最近去挖了小鵬汽車
自動駕駛 ( https://www.stcn.com/article/detail/938652.html )
https://www.163.com/dy/article/IB9M7ORO0552Q8FS.html
看來有在持續佈局自動駕駛這邊 老黃從去年就有在矽谷這邊持續挖Toyota/Argo
自動駕駛部門的高階人才

自從Meta開源LLaMa後 ( https://developer.aliyun.com/article/1263631 )
許多開源社區開發者 像是Georgi 都有在針對蘋果晶片做C語言的inference
甚至縮小化 ( https://www.163.com/dy/article/IADUN0LG0511AQHO.html )

LLM在手機上on-device變得可能 商用目標會取代siri和alexi/google home這類應用場景個人很悲觀地認為Q家的晶片真的在這波比蘋果手機晶片去跑LLama還難用 之前看到情況有人抱怨Q社的NPU跑些on-device架構 還不如直接在CPU上跑 因此蘋果可能在on-deviceLLM/Generative AI 有機會靠者硬體特有架構 (諸如unified memory)
吃掉on-device inference市場 但目前還不了解蘋果會在手機平台如何打造這些硬體架構或許當IPad不用雲端就跑出Adobe Firefly效果時 就能吃到另一波生成式AI生產工具紅利

結論 蘋果有機會在on-device AI這個市場成為壟斷者...QQ

--
99NVDA 99TSLA 99AMD!!

※ 引述《DarkMore27 (四平街的美味湯包)》之銘言：
: 經濟日報 編譯洪啟原／綜合外電
: 2023/08/06 19:26
: 美國消費電子巨擘蘋果（Apple）正大舉招募生成式人工智慧（AI）專業人才，野心勃勃地要把生成式AI功能整合到旗下的iPhone和iPad等行動裝置上，讓用戶在彈指之間執行相關功能、而非要等雲端回應，企圖顛覆生成式AI體驗。
: 英國金融時報（FT）報導，蘋果位於加州、西雅圖、巴黎及北京等地的辦公室正在招募數十名人才，將研究自家大型語言模型（LLM），所有徵才廣告投放時間集中在4~7月，顯示蘋果正在從事「將影響蘋果的未來與其產品的多項雄心勃勃長期研究計畫」。
: 報導指出，蘋果的機器智慧與神經設計（MIND）等多個團隊都正招募研究員和工程師，工作包括巴黎實驗室的LLM基礎研究，以及壓縮既有語言模型，以利在行動裝置高效運作、而非雲端。
: 蘋果的招才廣告顯示，蘋果力拚專門在行動裝置上運作LLM這類尖端技術，儘管蘋果的競爭對手都還沒解決相關的巨大技術障礙，但這攸關蘋果的設備銷售及相關服務等核心業務。蘋果執行長庫克日前形容AI和機器學習，是「與蘋果幾乎每項產品密不可分的核心與基礎技術」。
: 例如，蘋果的一則徵才廣告徵求能在「我們裝置推論引擎執行壓縮並加速LLM的功能」，意指在行動裝置上的行動運作、而非網路。另一則7月28日刊登的廣告則希望「把最新的基礎模型帶到口袋裡的手機內，以保護隱私的方式達成下一代的機器學習基礎體驗」。
: 獨立研究人員暨網路安全顧問歐雷尼克認為，蘋果的短期目標是在既有產品整合生成式AI功能，立刻提高裝置生產力與效用，在行動裝置運作AI的隱私保護效益較大。
: 心得/評論：
: 如果蘋果的目標是直接在行動裝置運作AI,而不是透過雲端運算，那蘋果的AI會需要很多AI伺服器嗎？

--