Re: [問卦] 這次的人工智慧熱潮是玩真的嗎?
※ 引述《soulmola (絕頂優文大師)》之銘言:
: 認真問
: 現在歐美亞全力投入人工智慧領域
: AI我10幾年前就聽過了
: 炒了一陣子吹出一堆科系然後就沒然後惹= =
: 時間來到2023年
: 人工智慧再度躍上版面
: 這次連產生意識人類滅亡這種事都擔心起來了
: 到底是豪洨還是真的?
: 我不是這個領域的專家不太懂
: 有沒有高手出來說明一下?
: 對惹GPT4 好猛….
: 八卦否?
阿肥外商碼農阿肥啦!
這波人工神經網路浪潮其實得力於兩三年前Lecun跟Hinton等等大神推廣的自監督的概念。自監督其實就是用一種更有效的方法來學習網路或是數據庫長久以來建立的有效自然對數據,透過自然對來做前訓練期望機器能夠自我學習到自然數據的相對關係。
這其實我們的大腦可能也存在相似的功能,這幾年隨著腦科學的研究其實有一種比較新穎的想法就是我們的新皮質柱可能不如我們之前設想的有功能上的區分,甚至有可能他其實都是同一種新皮質細胞(也就是語言、數理能力包含視覺其實都是同一種細胞),唯一的差異只有輸入不同才導致他功能不同,而這些新皮質柱其實都存在一種世界模型(world model),透過世界模型來預測建立參考框架(reference frame)來修正自己大腦的模型,像是我們觸摸杯子大腦會事先預測杯子的幾何構造,杯身跟杯耳之間的相對關係,當我們大腦發現存在差異時就會即時修正這個關聯跟更新世界模型。
這邊也可以看出自監督學習會成功的原因是因為他建構的高維空間座標模式其實是跟大腦有相似之處的,但是也存在不同的地方。
過往採用監督訓練其實在五六年前在封閉工業環境已經成功了,但是其實在工業環境對於非在這個領域的業界跟學界其實還是太遙遠了,而這次自監督模式反而因為跟大腦模式相似所以才會有讓大眾有一種AGI即將誕生的錯覺。
其實整個框架我們也可以發現他跟大腦架構的不同之處,大腦的新皮質通用學習算法其實是比當前的GPT-4還要強的,大腦的通用算法可以在不到幾毫秒就更新,而且他也會去檢查世界模型的衝突決定學習率,而當前的GPT模型並沒有這種功能,甚至他的世界模型我們也很難確定他是否掌握了什麼樣的歸納偏置,近幾個月的研究是有發現GPT-4確實學習了某種類似真實世界低複雜度高結構化數據的能力,只是更多研究還要再累積一些。
最後,一個比較有趣的問題就是今年2023的新paper阿肥有閱讀到一篇其實是讓模型了解物理規則概念的,結果研究人員發現模型你先喂他物理因果關聯的數據做預訓練還不如先給他隱蔽位移(就是給他遮蓋物體的影像)來得好,這就有點有趣了,這似乎某種程度上間接證明了當前基於神經網路的模型他確實學習到了某種表徵表示,但是他確實無法學會人類的隱式邏輯概念,這也證明了模型終究還是基於某種類貝葉斯歸納原則的。
剩下還有蠻多有趣的問題也是發現到基於梯度方法的神經網路有其侷限性,像是下面這張圖我之前在科技版有說明過在這邊就懶得細說了,下面那張圖顯示的是神經網路當前的泛化難題,也就是我們的數據若是不存在0.8,0.8這種藍色位置可以讓梯度下降到共同的minimum位置而是柱形的低點,由於每次我們模型初始差異很有可能走到某個位置雖然都是相同精度但是激活的神經元功能完全不同,這在當前依舊是一個很大的難題,因為模型沒有像人腦的世界模型,我們很難讓他有基礎的學習,這也是當前為什麼很多學者不認為GPT是真正的AGI,因為他離人腦的關係還是差異太大,不過即使如此GPT-4依舊展現給我們大力真的能出奇蹟的湧現能力,這種能力用不同於人類的方式正在改變世界的認知。
https://i.imgur.com/745mSVG.jpg
--
跟3D電視風潮一樣真吧!
講人話好ㄇ
說中文好嗎
以我文組的角度來說,不在乎是否有A
GI,但能讓生產力大幅增加能多點時間
當薪水小偷才是最重要的,對老闆來說
能透過AI多砍幾個人才是真的
能弄數位部a錢就好
快推不然別人以為我看不懂
論文是哪一篇啊?
71
Re: [閒聊] AI畫圖是不是大數據拼圖?只要是深度學習AI,原理都是把圖轉換成矩陣,通過神經網路作back propogation學習特 徵,在整個模型的運算過程中只有矩陣,不存在任何圖像拼接的過程 你認為圖很像,是因為那個tag底下的圖大多有類似特徵,模型通過矩陣學習到這個特徵 當然,也有一些generator的算法是會拿部分來源當輸出,不通過矩陣運算的,怎麼選也 是讓模型自己學,類似概念可以參考pointer network或residual network之類的算法51
[情報] 擁有嗅覺的電腦:Intel 神經形態晶片能擁有嗅覺的電腦:Intel 神經形態晶片能夠嗅出有害化學物質 在《自然機器智慧》(Nature Machine Intelligence)期刊上共同發表的一篇論文中,Int el 實驗室和康乃爾大學的研究人員展示英特爾神經形態研究晶片「Loihi」,在明顯的干擾 和阻絕情況下學習和辨識有害化學物質的能力。Loihi 僅透過單一樣本就學會各種氣味,同6
Re: [閒聊] 為啥AI總是會叛亂?如果電腦的程式只是單純人類一行一行寫出來的,電腦的一切都是可以預測的。 在這種方式下,有人真的認為它是人工智慧嗎? 電腦會不會叛變,會不會試著統治人類,恐怕跟它怎麼想沒有關係, 它依然只是照著指令行事,我不認為它具有思考能力,或至少沒有深度思考的能力。 (思考的定義為何?在此暫不討論。)
爆
[問卦] 英國網紅挑戰印度路邊攤奶茶?41
[問卦] 所以現在就開始準備要打仗了嗎?36
[問卦] 越南妹配合度很高怎辦54
Re: [問卦] 英國網紅挑戰印度路邊攤奶茶?爆
[問卦] 給三立 民視65億 有沒有圖利的問題?34
[問卦] 開戰時一大群人民硬闖撤僑專機會怎麼樣32
[問卦] 覺得人生痛苦的多嗎爆
[問卦] Netflix又被炎上了8
[問卦] 我對烏龍派出所很熟 儘管問24
[問卦] 現在開始 不准說環島 懂嗎?20
[問卦] 養貓狗的,萬一你孤獨老死,會讓他們吃嗎?18
[問卦] 辛德勒為什麼願意救這麼多猶太人?8
[問卦] 有人討厭某個瞎子歌手嗎15
[問卦] Dcard要逛哪個版51
[問卦] PTT窮途末路囉?28
[問卦] 喝熱湯會致癌是認真的?96
[問卦] 八方雲集兩岸一家親慘遭抵制?11
[問卦] 兩個素昧平生的天才 在機場偶遇合作機會?31
Re: [問卦] 奶超大又超瘦是怎麼做到的!!!==?12
[問卦] 中醫說我體內又濕又寒是什麼意思?12
[問卦] 中國14億人口 找不到11個踢足球??99
[問卦] 親人 癌症/中風/失智 哪個慘?11
[問卦] 還記得自己用過哪些智障型手機?7
[問卦] 被周杰倫指名點歌要點哪首5
Re: [爆卦] 李文宗 朱亞虎 收押禁見11
[問卦] 晚酌流派 孤獨美食家 都幾10
[問卦] 大人的約會是哪種類型的約會?爆
[爆卦] 李文宗 朱亞虎 收押禁見9
[問卦] YT演算法推薦俄羅斯脊椎整復影片給我?7
[問卦] KIA電動車有什麼優點