Re: [新聞] 蘋果積極徵才開發生成式AI 力拚整合到iPh

閒聊,
on-device inference 的產品很多,
簡單說就是 edge computing,
已經出來快十年了,
像是最早的華為手機NPU,
Google Pixel Tensor,
高通跟蘋果也有 edge AI chip,
基本上,
現在手機很多應用早就已經在使用這顆 edge AI chip

只是現在要把LLM/Generative AI 套用在這顆edge chip 上面,
那就是一個全新的應用領域,
我個人認為在這塊上面,
硬體廠(華為高通等)沒有優勢,
因為這塊是系統尤其是OS/Compiler/Tools 的整合,
還有如何與上層的應用軟體連結,
說穿了又是安桌跟iOS的競爭,
跟硬體開發反而關係不大

※ 引述《LDPC (Channel Coding)》之銘言：
: 蘋果這條路線跟高通一樣 就是on-device inference
: 高通之前示範過了 https://www.ithome.com/0/675/490.htm
: 自從Meta開源LLaMa後 ( https://developer.aliyun.com/article/1263631 )
: 許多開源社區開發者 像是Georgi 都有在針對蘋果晶片做C語言的inference
: 甚至縮小化 ( https://www.163.com/dy/article/IADUN0LG0511AQHO.html )
: LLM在手機上on-device變得可能 商用目標會取代siri和alexi/google home這類應用場景: 個人很悲觀地認為Q家的晶片真的在這波比蘋果手機晶片去跑LLama還難用 之前看到情況: 有人抱怨Q社的NPU跑些on-device架構 還不如直接在CPU上跑 因此蘋果可能在on-device: LLM/Generative AI 有機會靠者硬體特有架構 (諸如unified memory)
: 吃掉on-device inference市場 但目前還不了解蘋果會在手機平台如何打造這些硬體架構: 或許當IPad不用雲端就跑出Adobe Firefly效果時 就能吃到另一波生成式AI生產工具紅利: ※ 引述《DarkMore27 (四平街的美味湯包)》之銘言：
: : 經濟日報 編譯洪啟原／綜合外電
: : 2023/08/06 19:26
: : 美國消費電子巨擘蘋果（Apple）正大舉招募生成式人工智慧（AI）專業人才，野心勃勃地要把生成式AI功能整合到旗下的iPhone和iPad等行動裝置上，讓用戶在彈指之間執行相關功能、而非要等雲端回應，企圖顛覆生成式AI體驗。
: : 英國金融時報（FT）報導，蘋果位於加州、西雅圖、巴黎及北京等地的辦公室正在招募數十名人才，將研究自家大型語言模型（LLM），所有徵才廣告投放時間集中在4~7月，顯示蘋果正在從事「將影響蘋果的未來與其產品的多項雄心勃勃長期研究計畫」。
: : 報導指出，蘋果的機器智慧與神經設計（MIND）等多個團隊都正招募研究員和工程師，工作包括巴黎實驗室的LLM基礎研究，以及壓縮既有語言模型，以利在行動裝置高效運作、而非雲端。
: : 蘋果的招才廣告顯示，蘋果力拚專門在行動裝置上運作LLM這類尖端技術，儘管蘋果的競爭對手都還沒解決相關的巨大技術障礙，但這攸關蘋果的設備銷售及相關服務等核心業務。蘋果執行長庫克日前形容AI和機器學習，是「與蘋果幾乎每項產品密不可分的核心與基礎技術」。
: : 例如，蘋果的一則徵才廣告徵求能在「我們裝置推論引擎執行壓縮並加速LLM的功能」，意指在行動裝置上的行動運作、而非網路。另一則7月28日刊登的廣告則希望「把最新的基礎模型帶到口袋裡的手機內，以保護隱私的方式達成下一代的機器學習基礎體驗」。
: : 獨立研究人員暨網路安全顧問歐雷尼克認為，蘋果的短期目標是在既有產品整合生成式AI功能，立刻提高裝置生產力與效用，在行動裝置運作AI的隱私保護效益較大。
: : 心得/評論：
: : 如果蘋果的目標是直接在行動裝置運作AI,而不是透過雲端運算，那蘋果的AI會需要很多AI伺服器嗎？

--