[情報] Claude 3.5 Sonnet新增操作電腦能力

https://tw.news.yahoo.com/anthropic%E6%8E%A8ai%E4%BB%A3%E7%90%86-%E6%96%B0-%E4%BB%A3claude-3-5-075247497.html
Claude 3.5 Sonnet大升級！新功能「電腦操作」可解放雙手，能代訂機票的AI秘書不遠了？
數位時代

AI新創公司Anthropic於10月22日發布升級版Claude 3.5 Sonnet，以及全新模型Claude
3.5 Haiku！

更新後的Claude 3.5 Sonnet， 開放用戶測試「電腦操作」（Computer Use）功能，這項技術允許AI能模擬人類操作滑鼠的動作，透過電腦的應用程式完成多步驟任務，亦即「AI代理」功能。

Anthropic也宣布在10月底釋出全新迷你模型Claude 3.5 Haiku，其在許多智慧基準測試上超過了上一代最大模型Claude 3 Opus，「在編碼任務上尤其強大。」

Claude 3.5 Sonnet評測表現大升級
升級後的Claude 3.5 Sonnet在效能上超越前一代，特別是在編碼、工具使用及推理任務中的表現有著顯著提升。

除了MATH略遜Gemini 1.5 Pro之外， Claude 3.5 Sonnet在其它評測都勝過Gemini 1.5
Pro、Gemini 1.5 Flash、GPT-4o與GPT-4o mini。

在與撰寫程式相關的HummaEval及SWE-bench Verified評測中，Claude 3.5 Sonnet奪得了93.7%及49%的成績，高過前一個版本的88.1%與40.6%。

另一個TAU-bench，是用來測試AI代理工具於真實世界場景中的表現，能否處理複雜且多步驟的任務，並與使用者進行自然對話。 Claude 3.5 Sonnet在零售領域的表現達到
69.2%，在航空領域的表現為46%，高於前一版的62.6%與36%。

靠AI訂機票？代理功能值得期待

Claude 3.5 Sonnet的「電腦操作」（Computer Use）功能，能夠模擬人類操作電腦，包括點擊按鈕、移動滑鼠游標、輸入文字等操作，甚至能夠進行網站導和即時網頁瀏覽。

Anthropic的科學總監賈里德．卡普蘭（Jared Kaplan）表示：「Claude 3.5 Sonnet可以理解並與任何桌面應用程式互動，完成數十甚至數百個步驟的任務，這是AI技術在實體世界應用中邁出的重要一步。」

亞馬遜是最早測試「電腦操作」功能來簡化內部流程的企業之一，其他初期測試者也包括Asana、Canva和Notion等知名企業，它們嘗試將功能應用於自動化任務中，例如設計與編輯流程、表單填寫、數據處理等。Replit則利用Claude 3.5開發了一個自動驗證應用程式功能，能在App的開發過程中自動檢查並驗證代碼。

Anthropic計劃未來將「電腦操作」功能擴展到更多應用場景，例如讓AI自動完成預訂航班、安排會議或報銷表單填寫等，進一步提升工作效率。

適合中小企業，更小更快的Claude 3.5 Haiku模型

Anthropic也宣布預計在10月底推出全新Claude 3.5 Haiku模型，這款模型是Claude家族中速度最快的產品。

根據官方說法，Claude 3.5 Haiku以與前代Claude 3 Haiku相同的成本與速度，展現了更強大的綜合能力，並在許多智能評測中超越了此前的最大模型Claude 3 Opus。在
SWE-bench編碼評測中，以40.6%的成績勝過多款主流模型。

Claude 3.5 Haiku將先以純文字模式推出，未來也將支援圖像輸入功能。開發者可以透過Anthropic的API、Amazon Bedrock與Google Cloud的Vertex AI等平台進行使用。

如何防範代理AI失控？
儘管「電腦操作」功能開啟了AI應用的新可能性，但AI代理能模擬人類的操作，也意味著可能被濫用。過往的研究發現，AI模型在受到越獄攻擊（jailbreaking）時，有可能執行不法行為，例如購買假證件或發布虛假訊息。對此，Anthropic也在「電腦操作」功能的開發過程中採取了多項預防措施。

首先，Claude 3.5 Sonnet在訓練過程中並未使用用戶的螢幕截圖或輸入內容，確保模型不會接觸到用戶的隱私資料。

此外，Anthropic還開發了一系列分類器，能夠在AI執行被認為是高風險的行動時即時識別，並引導AI遠離高風險行動。例如，在社交媒體上發布資訊、創建帳戶或與政府網站互動，以減少風險。

Anthropic也會保留由「電腦操作」功能捕捉的螢幕截圖，保存期限至少為30天，若有合法需求，Anthropic也會依據法律程序配合調查。

心得:連操作電腦都不需要了 沒人類工程師的事了?公司不用叫HR幫忙叫外賣了?

--