Re: [心得] 蘋果揭露人工智能並不思考

蘋果要讓AI變強當然是難 不然siri早變強了

蘋果要找AI毛病當然是容易的多

其實改進AI的人也常常發現各種毛病

只是不一定會針對毛病作為研究成果發表

發表側重點不一樣罷了

如引文 LLM大致就是對海量資料幾何意義上的理解啊

文內說人類邏輯思考

是指 Deduction/Induction/Abduction 嗎??

那這類東西先天更接近代數上的東西哇

不過廣義上的 Deduction/Induction/Abduction 也是帶有機率的

參見 Bayesian statistics

很難說LLM最終掌握不了 Bayesian statistics 吧 一點想法

※ 引述《midas82539 (喵)》之銘言：
: 大語言模型(LLM)它的原始目的是要「模仿人類回答出人類看得懂的答案。」
: 但跟人類的語言不同，你我使用的與言語表達會是一系列的文字規則，
: 例如「主詞，動詞，受詞」的SVO結構。
: 但模型本身並不是這樣學習的，它是把你看到的字，拆成詞素(token)
: 然後將這些詞向量化，變成一系列數列：
: king → [0.8, 0.1, 0.3, 0.7]
: queen → [0.9, 0.1, 0.5, 0.9]
: man → [0.9, 0.0, 0.3, 0.6]
: woman → [0.8, 0.0, 0.5, 0.8]
: 這個數列可以很長，例如有必要的話，可以到有300多個。然後模型可以找到特徵。
: 這個特徵用人類可以理解例子，就姑且濃縮成一個角度，便為說明就簡化成：
: king=右上 man=右上
: queen=左上 woman=左上
: 那麼就算是你，也可以找到king跟man都是右上，故似乎有關連性。
: 而king跟queen角度不同，所以這兩個不是同樣的東西。
: 再把朕、殿下、皇帝、國王，排在一起。
: 只要資訊夠多，理論上是可以讓模型自己圈出有向量角度相近的集合。
: 我們可以再增加這個字出現在字首、字尾、中間第幾個字的頻率作為變數。
: 那麼就可以算出這個字出現在哪裡的特徵比較大。
: 這時我們回到剛剛的SVO結構，模型就可以在不懂中文，但憑統計出的特徵，
: 可以拼湊出一個你可以看懂的中文回答。
: 然而這並不是人類的理解與語意判定，以及衍伸的推理。
: 所以它就會造就出「中文房間」的錯覺，例如假設一個外國人被關在房間。
: 但他有一本教戰手則，上面說明了那些字出現了，可以給出哪些答案。
: 那他就算不懂中文，在手冊的指引上也可以回答定型文。
: 大語言模型也是同樣的概念，它是基於大量的資料來找出「特徵」，
: 而這些特徵的組合在在它的神經網絡會給予特定的權重，最後形成類似"手冊"
: 的東西，然後依照手冊找到近似值的解答，生成給你看。
: 但它不見得是理解回答是否有意義，所以才會出現錯誤。
: 比如說很常見的，現在threads被一堆詐騙仔用AI生成圖片，
: 例如啥我是護理師給我一個讚好嗎？但裡面的圖片會出現一些錯誤，
: 例如敘述自己是75年出生，但生成的身分證是57年出生。
: 或者有生成名字了，但它的字型大小很明顯不一致。
: 然而對於模型來說，它不會知道"怎麼樣才是對的格式"，而它只是針對
: 中華民國身分證大概是長怎樣，而隨機生成一個結果。
: 故單純直接產出，就免不了會有以上的問題。
: GPT4-O3它是說有多一個推理功能。然而它的底層還是大語言模型(LLM)
: 加上它的數據處理是弄成很長串的多維資料，你人類也看不懂，
: 所以你還是不會知道，它的推理過程，是不是也是模仿生成人類看得懂的邏輯。
: 但這個算法是否正確與必要，不見得正確。
: 這個問題在你處理只有你會面對的數學問題就有機會發生。
: 例如假設你要模型生成一個模型由0至指定最大值，與指定最小值機率遞減，
: 而機率遞減的分配公式，正常我們人類就是設一個權重來分配。
: 但我問過O3它就很奇葩，它想用自然常數來分配，然後算式會出現錯誤。
: 其他你看過的就是GPT跟deepseek下西洋棋，結果deepseek憑空出現棋子，
: 或者無視規則走奇怪的動作。這些都說明了語言模型並不是真的了解規則，
: 而只是像兩隻猴子看人類下棋，而模仿人類玩西洋棋。
: 由於這不是你熟知的建立規則(base rule)，所以在面對複雜的隨機模擬。
: 它可能做出錯誤的資訊，而你沒有發現錯誤的話，它就會繼續引用上下文
: 而給出錯誤的結論，但你看起來覺得是對的。
: 比如說你不會選擇權，但你想要模型直接生成一個賣方與調整策略。
: 而模型基於call有正的delta，而錯誤認為sell call也有正dela，
: 那它就會繼續基於錯誤資訊引用，而得出：
: 當標的價格趨近於SC履約價，整體delta會變正而且增加，故需要買put調整的規則。
: 當然對我來說我可以看出哪裡有問題，但對於沒有理解的人來說，
: 那他就不會發現這個推理與建立規則錯誤，就會導致利用而產生虧損。
: 而這我認為基於大語言模型的訓練方式，本質上是無解。
: 你只能靠自己判斷模型的回答是否邏輯正確。而不是期望模型像神燈精靈，
: 你不用會你也可以產出一個東西跟專業的人競爭。

--