Re: [問卦] AI產出的產品之間有關聯性嗎？

※ 引述《Joannashinn (Joannashinn)》之銘言：
: 這短短的幾個月之中，
: 看到各種AI的產出在以極快的速度進化，
: 覺得奇怪的是，
: 怎麼突然直接各個領域AI創作都在同步開快車？
: AI產圖、產動畫、產文章、對話，
: 這些AI產出彼此之間有關聯性嗎？
: 掛否？
:

阿肥碼農阿肥啦！有興趣可以看我在科技版的文章，看一下chatGPT的思維模式綜述。

#1Zxi_nPB (Tech_Job)

基本上，現在的深度學習突破的領域在學術界已經是一兩年前的舊聞了，現在所有的語言視覺模型最好的成果都是基於Transformers(變形金剛)這個家族爆發性成長的結果。

先說說Transformers這個模型最早就是出自Google Brain在2017的一篇開山之作，Attention is all you need(我們只需要自注意力)這篇基本上可以說是改變了傳統做深度學習的視野，傳統我們採用CNN或RNN的模型其實某種程度就是給機器一種強假設他只會去在意我們給他筐起來的方向(文字當前字的前後或是圖片一個區塊)，這樣優點是在小量數據集跟小規模模型上非常好收斂，訓練起來效果也很好。

直到Google這篇著作誕生後人們才開始關注數據增大後其實模型可以完全解除思想限制讓模型自己不需要經過人為強假設去學習，隨後LeCun基於傳統自然語言處理中的一個完形填空問題發展出了自監督訓練(SSL)的模式。

傳統完形填空其實挖空很像人為給數據製造雜訊，然後在讓機器學習依照現有線索去還原，這樣子做連人工標註數據都不用做了，用大規模網路品質不好的數據稍微清洗乾淨後馬上就可以訓練，結果人們發現訓練出來的模型不只很強，在下游任務像是分類你只要給他小批量的範例他馬上就學會而且效果更好，機器更會依據過往經驗來舉一反三，接著就是把數據跟模型規模做大，利用谷歌、微軟龐大的算力，也就誕生了今天的chatGPT。

另一個圖像生成則是得力於一種叫擴散模型的一種新訓練模式，也就是說也是我人為一步一步加入雜訊讓機器還原，概念其實跟自監督有幾分相似，這樣研究就發現到機器產生了類似想像力的東西，而且更穩定更好收斂。雖後就是把語言模型跟這類型曠散模型融合，也就產生今天那麼多的雨後春筍。

不過其實也連帶產生很多問題，包含當前訓練的成果發現機器其實離人類的推理能力還很遠，機器不懂人類世界的物理規則也不知道從網路上的哪裡學習或自主產生偏見思想，為了消除這些問題人類需要教導機器學習脫毒，而脫毒又需要大量的人工標註。當前最前沿很多研究也是在思考怎麼去除毒性跟偏見還有讓機器學習理解物理規則這樣的概念，這些都還是待解決的未知問題。

--