[心得] WWDC24節錄-系統級個人助理面世

整個發表會前一小時都是例行交代，過個水升級一個版本。
時長約1小時40分左右，約莫45分在講今夏推出的Apple Intelligence（蘋果智能）。
一個終端設備專屬於個人的智能應用，如果設備支持的用戶，可以在推播後即刻開始訓練自己專屬的智能助理。

而前面的更新，具體都是WWDC23的再延伸，有興趣的板友可以搜尋，放上連結以供參考。

WWDC23節錄：https://www.ptt.cc/iOS/E.9MBK6RI_tnOo

＝＝
蘋果官網Keynote連結：https://www.apple.com/apple-events/event-stream/
Youtube發表會影片連結：https://www.youtube.com/watch?v=RXeOiIDNNek
照影片的順序，並搭配官網自己介紹的功能，依序對每個OS進行節錄。

＝＝
序幕，Craig帶頭把各部門主講者進行跳傘，打開降落傘揭曉這次WWDC24的更新項目。
Cook先介紹Apple TV+裡面的原創影集獲獎無數，營運了五年，後續會推出更多令人讚嘆的影集內容。
https://i.imgur.com/IxVJ7Ii.jpeg

1.visionOS 2（上市四個月即更新至第二版）

Apple Vision Pro 的突破性空間計算體驗在visionOS 2中更進一步。以新方式重溫和分享回憶。讓自己沉浸在娛樂中，並可以使用新手勢更輕鬆地導航。
現在，可以從照片庫中拍攝現有照片，並立即將它們轉換為空間照片。只需輕輕一按，記憶就會以自然的深度和維度栩栩如生。
當你與朋友和家人進行 FaceTime 通話時，當每個人都在使用 Apple Vision Pro 時，你都可以以真人大小的比例共用空間照片、影片和全景圖並與之互動。因此，無論身在何處，都可以重溫回憶。

新版Photo App “照片”應用可讓圖庫井井有條，輕鬆快速查找照片和精選空間照片。
借助對 Final Cut Pro 中空間影音編輯的支援。將空間視頻導入 Mac，在 Final Cut Pro 中進行編輯，然後在 Apple Vision Pro 中瀏覽。

用手訪問主頁檢視。查看日期和時間，控制音量，甚至檢查電池電量。還可以打開“控制中心”以快速使用常用功能。使用 Mac 虛擬顯示器就像擁有一個可擴展的超寬螢幕。這
相當於兩個 4K 顯示器並排放置。

當沉浸在環境中時，visionOS 2 會識別並顯示妙控鍵盤或 MacBook 鍵盤，以便繼續在海灘上、山上甚至月球上打字。
在任何環境中，都可以在真正的大螢幕上觀看Safari中的影片。這是一種令人驚歎的電影觀看體驗。

借助 Multiview，MLS 和 MLB 球迷可以跟上他們最喜歡的球隊，並在五個不同的視圖中同時觀看多達五場不同的比賽。選擇一個主檢視和最多四個其他檢視，然後在它們之間切換。甚至調整整個佈局的大小。

訪客使用者是你的朋友和家人試用 Apple Vision Pro 的一種簡單方法。現在，它可保存最近使用者的眼睛和手部數據，這樣就可以輕鬆跳過下一次設置，直接回到他們的體驗中。

當在visionOS 2上捕捉角色時，您將能夠享受更準確的膚色和鮮豔的服裝顏色。手部動作更加流暢和自然，具有新的動畫效果。在 FaceTime 通話或第三方視頻通話期間，可以添加各種背景。

旅行模式新增列車情境，現在可以在長途通勤期間使用多個應用程式進行私密工作。或者沉浸在寧靜的環境中，在大螢幕上觀看最喜愛的節目。

現在有一整套 API 和框架可以幫助開發人員構建更具沉浸感和吸引力的應用程式。從 Volumetric API 到 Tabletop Kit 再到 RealityKit 等等，visionOS 2 載入了開發人員創建令人興奮的新空間體驗所需的一切。

visionOS 2 API應用頁面：https://developer.apple.com/visionos/
https://i.imgur.com/YyHpWQe.jpeg

6/28開放中國大陸，日本，新加坡販售。
7/12開放澳大利亞，加拿大，法國，德國，英國販售。

2.iOS 18

應用程式圖示和小部件在新的深色外觀下顯得更加時尚。可以用任何顏色為它們著色，或者讓 iOS 建議一種顏色來補充你的桌布。還可以使應用程式和小組件看起來更大。重新設計的“控制中心”具有新的控件組，可以通過在主螢幕上，向下滑動來流暢地訪問這些
控件。從「控件」庫中添加更多控件，該庫在一個位置顯示所有選項，包括來自收藏的應用新控件。自定義控件的佈局方式、調整控件大小或構建自己的控件組。

Photo App合輯會自動按“最近幾天”、“旅行”和“人與寵物”等主題整理資料庫。右
滑動以訪問新的輪播，以精美的海報視覺圖突出顯示最佳內容。

Message
除了粗體、斜體、下劃線和刪除線之外，還可以對iMessage資訊中的任何字母、字詞、短語或表情符號應用俏皮的動畫效果，其中許多效果會在鍵入時自動建議。
且Messages在沒有網路環境下會使用衛星發送S.O.S等緊急訊息。
Schedule a message with Send Later
使用「稍後發送」現在都可以安排在指定時間發送消息。

Mail 郵件
Categorization 分類類別可説明最重要的內容，例如來自朋友、家人或同事的時效性消息和電子郵件。並且按寄件人分組的郵件片段，如收據、行銷電子郵件和新聞稿。

Safari 瀏覽器
會自動檢測頁面上的相關訊息，並在流覽時突出顯示。“突出顯示”有用的資訊，如路線
和快速連結，以了解有關人物、音樂、電影和電視節目的更多資訊。通過目錄和高級摘要。

Passwords app 密碼應用
從密碼到驗證和安全警報，都安全地存儲在「密碼」應用中。同步於跨設備和應用程式安全。

Maps 地圖
下載土地的佈局，保存蹤跡以供離線訪問瀏覽徒步旅行，並可以將其儲存到設備中，以及添加的任何筆記。定製步行和遠足路線。

Game Mode 遊戲模式
最大限度地提高遊戲性能，遊戲模式可最大限度地減少後台活動，以在連續數小時的遊戲過程中保持高幀率。遊戲模式還可顯著降低 AirPods 的音訊延遲，並使無線遊戲控制器的回應速度更快。

Wallet 錢包
將iPhone等設備整合在一起進行私密支付。
重新設計的活動門票，包括活動指南，有關場地的資訊。

Notes 筆記
Live audio transcription
即時音訊轉錄在筆記中錄製音訊會話並生成即時音訊轉錄，還可以在搜索或與其他評論、清單或文檔結合使用。
在筆記中處理數位輸入表達式計算，並在算式末端自動計算求解。
Highlighting 突出顯示標題列主要訊息，可摺疊的章節標題簡化和隱藏文本，從而輕鬆管理文本繁多的筆記。

Journal 日誌
在日記應用程式中記錄您的心理狀態。可以在「健康」App 中自動將日記所花費的時間添加為正念分鐘數。查看寫作記錄、包含現有條目的日曆以及其他有趣的統計數據，以掌握日記目標。輕鬆查找過去的條目，能夠對日記進行排序，並使用搜索準確查找要查找的內容。

Apple TV app
在 Apple TV App 中選擇 InSight，以進一步了解螢幕上播放的演員和音樂。
將iPhone用作Apple TV 4K遙控器時，InSight也將可用。

Home app 家庭
授予具有來賓訪問許可權的特定控件。
訪客訪問可説明被授權者進入家的方式和時間，在選擇的時間提供對選擇的車庫、警報系統和門鎖。當走近時，只需將iPhone放在包或口袋裡或戴上Apple Watch即可解鎖車門。直接從家庭應用程式輕鬆訪問和瞭解家庭用電情況。符合條件的天然氣和電力公司客戶可以連接他們的公用事業帳戶以查看他們的用電量和費率計劃資訊。

AirPods
Hands-free Siri Interactions 對於Siri的指示，點頭說“是”，搖一搖說“不”進行
操作。
AirPods Pro 上的語音隔離即使在有風的條件下或背景噪音較大的地區，通過計算音訊，通話時的聲音將會大幅度降低背景噪音影響。

Privacy and Security 隱私與安全
控制與應用共享聯繫人的方式，決定要與應用共用哪些聯繫人，而不是讓它訪問您的所有聯繫人。或者，僅將應用程式的訪問許可權授予發送消息和呼叫最多次的聯絡人。
重新設計了隱私和安全設置，改進的「隱私和安全」設置功能表可更輕鬆地管理與應用共用的資訊量。

https://i.imgur.com/lWEcLgs.jpeg

3.watchOS 11

如果現在需要休息一下，可以將活動環暫停一天、一周、一個月或更長時間，並保持連勝紀錄。現在可以調整一周中每一天的健身記錄圓環目標。
在iPhone上「健身」 App 的「摘要」標籤頁中添加、移動或移除指標。並查看跑步、騎自行車、游泳等的新指標。

Vitals App
更好地瞭解日常健康情況
Vitals 會在睡眠時收集的每個健康指標建立一個週期運算。如果多個指標超出週期運算，將收到通知以及可能涉及的因素（如藥物、海拔、酒精甚至疾病）的關聯性。時刻保持對自己身體的追蹤。

Training Load 訓練負荷
訓練負荷可説明了解鍛煉強度會隨著時間的推移如何影響身體。可以何時調整鍛煉做出明智的決定，尤其是在為大型賽事進行訓練時。
在「體能訓練」 App 中完成大多數以有氧運動為重點的體能訓練，將能夠在摘要中查看新的努力指標，該指標指示鍛煉強度，配速、海拔、心率以及年齡、身高和體重等個人數據都會被計入每個評級。訓練負荷將過去 7 天的鍛煉強度和持續時間與過去 28 天的鍛煉強度和持續時間進行比較。然後，它會將當前的訓練負荷從遠低於到遠高於進行分類，以説明瞭解身體的相對壓力並確定它是否可持續。

Photos Face
在機器學習的支援下，重新設計的照片表盤可以搜索圖庫中的數千張照片，智慧地分析它們，為手錶選擇最佳構圖、取景和圖像品質。給你喜歡的人、地方或事物明星待遇。選擇特定的人、寵物、自然或城市，watchOS 11 會找到最佳鏡頭並將它們呈現出來。
自定義時間大小和佈局，選擇自己喜歡的字體。

Cycle Tracking 周期追蹤
對懷孕計畫追蹤有幫助，當在 iPhone 或 iPad 上的「健康」 App 中添加懷孕時，「月經跟蹤」現在會顯示胎齡，並在所有健康圖表中跟蹤懷孕情況。

Smart Stack 智慧堆疊
小組件會根據時間、位置等自動顯示。即時活動現在顯示在智慧堆疊中。可以隨時瞭解最新的體育賽事比分，或者知道Uber何時到達。
全新的小部件包括惡劣天氣警報、訓練負荷、照片、距離和Shazam。

Workout 鍛煉
增強的 GPS 定位查看距離和路線圖，瞭解更多體能訓練。包括划船。Apple Watch 現在可以自動引導完成定時的工作間隔和泳池長度蹤跡。

Translate 翻譯
支援 20 種語言，鍵入或聽寫短語即可查看翻譯。可以大聲播放翻譯，並在需要時放慢速度。只需下載一種語言，即可在沒有iPhone的情況下使用手錶上的翻譯應用程式。

Double Tap 按兩下
按兩下 API 開放用於第三方應用。

https://i.imgur.com/7dpaVga.jpeg

4.iPadOS 18

Notes 筆記
在筆記中錄製音訊會話並生成即時音訊轉錄。用顏色使文本Highlighting 脫穎而出，搭配可摺疊的章節標題簡化和隱藏文本，從而輕鬆管理文本繁多的筆記。且Apple Pencil隨寫，iPadOS會根據字跡產生出獨特的筆跡在筆記中就像親自書寫一樣。

Calculator 計算機
使用 Apple Pencil 或鍵盤評估算式，表達式、分配變數，甚至繪製圖表，只要寫入或鍵入等號，計算機就會內聯求解表達式，繪製多項式圖表。
針對大型iPad顯示螢幕進行了更新，基本和工程計算機還引入了單位轉換等新工具。

SharePlay 同播共用
通過在螢幕上點擊和繪圖來説明朋友和家人使用他們的設備，指出他們應該在他們的設備上做什麼。（螢幕遠端控制）

重新設計了應用中的標籤列
通過重新設計的標籤欄，將重點放在重要的內容上，該標籤欄會浮動在應用內容上方。更新後的 Pages 文稿、Numbers 表格、Keynote 講演和 Swift Playground 文稿瀏覽器可説明快速跳轉到最新的文稿。

https://i.imgur.com/uKDBpnk.jpeg

（前面有的技術，iPadOS都會有）

5.macOS Sequoia

Continuity，在 Mac 上使用 iPhone。（系統底層應用，如同鴻蒙系統）
使用 iPhone 鏡像，可以查看 iPhone 上的內容並對其進行控制，而無需伸手去拿它。
將 iPhone 通知與 Mac 通知一起整合。可以在使用 iPhone 鏡像時採取行動並直接啟動應用程式。設備之間的無縫拖放，在 iPhone 和 Mac 之間照片和影片，就像在 Mac 上的 App 之間拖放一樣。

Productivity
將視窗拖到螢幕邊緣，排列成桌面上的並排磁貼，或者將它們放在角落裡，讓更多應用程式保持在視野中。使用鍵盤和功能表快捷鍵進行平鋪即時佈局工作空間。

Presenter preview 演示者預覽在向所有人顯示之前，準確查看將在影音通話應用程式（整個螢幕或單個應用程式）中共用的內容。

Background replacements 背景替換用內置背景或自己的照片，以去背技術整合圖片顯示在視訊對話之中。

Game
利用 Metal 3 使得遊戲有著統一平台開發的優勢方便統一著色器使用。
並且更新了Game Porting Toolkit 2，將開發遊戲移植到蘋果設備的難度下降且輕鬆。
（幻獸帕魯也有在陣容名單，所以要奴役的可以不用開雙系統了，然後米家的遊戲一個都沒上）

https://i.imgur.com/YIFgYP2.jpeg

＝＝＝
6. Apple Intelligence 蘋果智能

https://i.imgur.com/3wFNFZC.jpeg

蘋果智能圍繞著這五個大宗。
1.性能足夠強大
2.直觀且易用
3.深度整合
4.絕對個人化
5.注重隱私

完全的終端使用，不需經過伺服器雲端訓練大模型，完全就是在自有設備上完成個人化客製訓練。

Apple Intelligence對工具的文字生成以及再編輯糾錯，借助大語言模型LLM訓練，可以將文本內的重點迅速整合濃縮，並通過優先順序減少冗長的資訊。並且可以校對文本，重寫不同的版本，直到語氣和措辭修正滿意，文本幾乎可以覆蓋所有App應用，包括第三方應用。

支援文生圖，可以透過文字創建符合的圖像，以及全新的Genmoji，將特定情境下的心情描述出來創建一個新的emoji。

Siri 利用 Apple Intelligence 打造全新能力。憑藉全新的設計、更豐富的語言理解以及隨時向 Siri 鍵入的能力，與 Siri 的交流比以往任何時候都更加自然。Siri 具備了對使用者個人背景的瞭解、在 app 內和跨 app 執行操作的能力，以及有關設備功能和設置的產品知識，Siri 將能夠以前所未有的方式提供説明。
Siri 採用全新設計，更深入地融入系統體驗，優雅、發光的燈光環繞屏幕邊緣。只需輕點兩下 iPhone 或 iPad 螢幕底部，當不想大聲說話時，就可以從系統中的任何位置鍵入 Siri。利用 Siri 對設備功能和設置的廣泛產品知識。當在 iPhone、iPad 和 Mac 上學習如何做一些新的事情時，你可以提出問題，Siri 可以快速為你提供分步說明。更豐富的語言理解和增強的語音使與 Siri 的交流更加自然。
當提到之前的請求中提到的內容時，例如剛剛創建的日曆事件的位置，並詢問「那裡的天氣會是什麼樣子？Siri 知道你在說什麼。Apple 智慧賦予 Siri 螢幕感知能力，使其能夠理解螢幕上的內容並採取行動。如果朋友給你發了他們的新地址，你可以說“將這個位址添加到他們的聯繫人名片”，Siri 會處理它。

不記得朋友是否在便條、簡訊或電子郵件中分享了該食譜？預訂航班時需要護照號碼嗎？Siri 可以利用其對設備上資訊的了解來説明你找到要查找的內容，而不會損害隱私。使用 Siri 在 App 內和跨 App 無縫執行操作。你可以提出類似“將我起草的電子郵件發送，Siri 就會知道你正在引用哪封電子郵件以及它位於哪個 App 中。

Private Cloud Compute 私有雲計算
Your data is never stored
你的數據永遠不會被存儲

Used only for your requests
僅用於你的請求

Verifiable privacy promise
可驗證的隱私承諾

將 OpenAI 的 ChatGPT 整合到 Siri 和寫作工具中，可以在可能幫助獲得更多專業知識，無需在工具之間跳轉。Siri 可以利用 ChatGPT 處理某些請求，包括有關照片或文檔的問題。借助寫作工具中的撰寫功能，可以從頭開始創建和說明原創內容。
可以控制何時使用 ChatGPT，並在共用任何資訊之前詢問。任何人都可以免費使用 ChatGPT，而無需創建帳戶。ChatGPT 訂閱者可以連接帳戶以使用這些體驗中的付費功能。

https://i.imgur.com/D3xOIRN.jpeg

https://i.imgur.com/0EpY37g.jpeg

SDK參考頁面：https://developer.apple.com/apple-intelligence/

＝＝＝
整場看下來，自己的模型用在系統底層，而在發表會反覆提到的App Intents API，看來是之後的關鍵。畢竟現在Siri被賦予系統級的跨App應用權限，更加個人化勢必會碾壓其他終端系統。

我是還沒看到Windows Copilot有辦法做這麼全面的事情，而且是在終端自己做，不需經過雲端。
而且也給你判斷要不要加入GPT的功能了，可擴展性至少不會太低。屬於下限超高，上限看不到的層級。

這個發表會一出，也圓了我當初看到鴻蒙當時所期望的功能。
先這樣，有問題再修改。

--

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.166.133.140 (臺灣)

回頭快速瀏覽一下內文，好像忘了寫上Lock an App。 明天補。

※ 編輯: KimomiKai (218.166.133.140 臺灣), 06/11/2024 05:34:02

一早起來更新開發者版本，先簡化我的桌布流程。

https://i.imgur.com/d4xXXUl.jpeg

#1W1nlLQp (iOS)

這樣三年前這篇文章，可以省去製作背景桌布icon圖案，除非你還需要戳艦娘語音功能.. . 至於大家爭執最熱烈的不外乎就是終端記憶體大小跟NPU規模無法撐起一個小型的大語言 模型。 這部分我覺得留給夏末英語系統面世後再來討論也不急，這段期間有興趣的開發者也可以 參考SDK的技術內容拆解分析。 至於為什麼阿婆要把GPT串接的使用權交給使用者，不外乎就是不希望這些個人化的資訊 上傳到OpenAI端跑。 畢竟整個發表會，自家智能時長佔比對上GPT串接時長佔比顯而易見阿婆還是想自己做， 跟OpenAI串接不是非得跑在GPT上，充其量只是把現有的全能模型串接一個生成式模型。 所以我才會說接下來跟NV老黃那邊有沒有交集，指的還是跟其他模型串接合作的樣式。

※ 編輯: KimomiKai (218.166.133.140 臺灣), 06/11/2024 11:29:02