[情報] OpenAI員工作息表
https://twitter.com/_jasonwei/status/1760032264120041684
從Google跳槽OpenAI的Jason Wei分享自己在OpenAI的一天:
[9:00am] 起床
[9:30am] 搭乘Waymo前往Mission SF,途中在Tartine買個酪梨吐司
[9:45am] 背誦OpenAI範式。向優化之神致敬。學習《The Bitter Lession》(強化學習之父Rich Sutton著)
[10:00am] 在Google Meet上開會,討論如何在更多數據上訓練更大的模型
[11:00am] 打code,在更多數據上訓練更大的模型。搭檔是Hyung Won Chung
[12:00pm] 去食堂吃午餐(純素且無麩質)
[1:00pm] 真正開始在大量數據上訓練大模型
[2:00pm] 處理基礎設施問題(我是腦子秀逗了嗎為啥要從master分支拉code?)
[3:00pm] 監控模型訓練進度,玩Sora
[4:00pm] 給剛才訓練的大模型上提示工程
[4:30pm] 短暫休息,坐在在酪梨椅子上,思考Gemini Ultra的性能到底有多強
[5:00pm] 腦力激盪模型可能的演算法改進
[5:05pm] 修改演算法風險太高,pass。最安全的策略還是力大磚飛(增加算力和數據規模)
[6:00pm] 晚餐時間,和Roon一起享用蛤蜊濃湯
[7:00pm] 回家
[8:00pm] 喝點小酒,繼續寫code。鮑爾默峰即將到來
[9:00pm] 分析實驗結果,我對wandb又愛又恨
[10:00pm] 啟動實驗,讓它自己跑一晚上,第二天查看結果
[1:00am] 實驗真正開始運行
[1:15am] 上床睡覺。在納德拉和黃仁勳的守護下入夢。壓縮才是關鍵。晚安
--
好辛苦喔 忙到半夜 不愧是頂級企業
真操
為啥不是在Altman的守護下睡覺
為什麼矽谷工程師都不用做看issue解bug的事
好會拍馬屁
這操度就是google ai大輸的原因ㄇ
這不就是板上最推崇的真·純軟外商嗎
台灣外商過太爽,果然都是假的
台廠工程師只會看log 接電話
羨慕
如果是台積電應該還要做 PPT 整理 5W1H
這種人都是做興趣的好嗎 操個屁
總要有人看log、解雜七雜八bug,還要被嫌職涯沒價值
回4樓:因為人家是真RD, 不是你各位產線仔
年薪多少?沒講啊!
實驗失敗 一定是因為按return鍵的姿勢不對
被以馬小朋友屌打
這樣好像Google爽很多
OpenAI 60萬鎂起跳吧
所以這篇是AI產生嗎
以馬屌打 (願神與我同在)
看起來好辛苦的幸福工作
夭壽
台灣Google也可以去嗎
做看issue解bug的事是給我這種學經歷差的人在做的
有人一輩子都在做最有價值的事情,有人一輩子幹髒活
都在腦力激盪
我也只能看問題解問題,等待ai取代我
其實這種工作是最爽的,完全不用碰髒活
都是天選之人萬中取一, 但是一般人根本沒機會碰
一般人都是去抓raw data,好命點有API可以抓data
但是你抓data還是要處理data,normalize,去除異常值
debug data, debug infra,結果出來還要驗證
這些所有所有的髒活都是學經歷差的人在做
天選之人做最重要的算法與coding,哪裡都一樣
重點是髒活的工作很多,門檻比較低(比較不看學經歷)
這種最爽的工作都是要名校Phd+超級門師+超級實驗室
幫w大補充 這邊名校是指美國top10這種 台灣都髒活
失敗的作息 中醫推薦晚上九點睡到早上五點
是說髒活,累人耗精神,但是髒活在台灣的收入還是文
組的幾倍之多
有夠操,可是工作內容真的不錯0.0b
酪梨椅子是什麼 我需要
推w大. 這schedule只有超級無敵強者才會是長這樣
其他非天選之人通常都是碼農,做髒活解bug...
髒活不是收垃圾的清潔工之類的嗎
不碰髒活? 人家看起來很輕鬆而已吧。實際上難度可
能你一輩子都做不到。
前幾天才看到有人在blind上請益OpenAI的offer TC大
概有一百萬美金 但近七成都是PPU就是了
力大磚飛… 鈔能力!
不需要去吹捧天選之人,他們做的難度是真的很高
但是不碰髒活也是個事實
光是同組裡頭,有人就不碰髒活不debug
我花三個月抓到修了他的bug,他在全組面前淡淡的說
好爽
this is just one line of code fix
應該很多人也是早上九點上班半夜一點睡覺吧,只是下
在數百萬行代碼裡頭抓出一行錯,整整一年系統無法動
就只是個one line of code
班時間到玩到半夜睡的區別。人家到了這種階段,工作
都是做興趣的,對這種級別的人來說這跟打game到半夜
我職業生涯一直沒機會碰有價值的東西,下班自己學習
沒有區別,會以為操的那是以打工仔的心態在看,如果
一般人攻略台廠高層比較簡單啦,也不用碰髒活薪水
還更高…幹嘛把自己放在不擅長的跑道上咧?這間要
進去先看腦袋大不大顆,台廠則是看心臟大不大顆XD
認真講台灣也有美本top名師高徒領百萬美刀,悠哉悠
哉的出張嘴收割髒活幫自己賺錢不好嗎?
我現在下班也自己在寫ML/AI代碼,作模型
是你專注投入的東西,幾天幾夜不睡都想搞。
大公司在歐美的TC 1M的比例不低....
不低?連L7都不見得有1M. 整個業界有沒有1%的人到L7
?不要算股票增值那沒有意義。heck就算是 hedge fun
d SDE也不見得有1M
都不洗澡的純軟宅!
美國還是找的到肝
這工作內容很爽又自由好不好,加上這薪資根本幸福
坐辦公室喊髒活真是笑死
呃...不用照顧家人老婆養小孩做家事?
這不操好嗎 比較操的是整天要跟客戶、國外開會、老
闆又愛每天review那種
發哥處長都在停車場拼命搞 這就是努力
這很操,完全沒有處理生活雜務的時間,腦袋永遠全
速運轉,沒天份幹不來的
不過這也種頂級開創性工作放眼美國也少見
我如果改吃素無麩質可以變得跟他一樣聰明嗎
幫開發、客戶打雜缺是純開發缺的10倍量,純開發缺又
是開創缺的10倍量
大家讀研究所的時候應該都差不多吧 特別是在做ML的
,由於運算資運跟時間很珍貴,睡覺的時間可不能浪
費了,結果每次都為了在睡前train下去越肝越晚
這顯然是偏RD那邊的
腦力激盪竟然五分鐘就結束了 思考太快跟不上
其實這些人也還是會被review你用的算力資源沒效率
操起來!
Open air還敢在競爭對手的產品上開會啊 不怕被聽光
光
過勞
好像我研究所的生活喔 工時有夠長
這是做給上面的人看的
之前推特員工太爽 下場QQ
修改演算法問題真得太多 沿用非必要別動實際多了
看起來比台商還操
酪梨椅是在致敬這篇新聞嗎?https://ppt.cc/fcEgQx
Jason Wei這種等級,給他碰髒活太浪費天賦了吧
睡超過六小時 比小朋友還懶
連股東是微軟的公司都不用teams
這麼操才60萬鎂還要扣高額稅生活費,老實說就算給你
160萬鎂又如何,活得跟狗一樣
工程師真是可憐韭菜
推
年薪三千萬台幣ㄉ生活
OpenAI都1M的吧 不只60萬
睡8小時真好
這種人的智商也算全人類的資產了,多睡保養腦力也好
還好吧我最近看到小學生的作息5:30就要起床寫功課
了
他做的是開發跟貢獻,沒人逼他欸
這行程一看就知道這人是為了做出成品在奮鬥的,不是
工時長的問題是他真的認真投入
人類文明的進步就靠他們惹
抓到 酪梨控
小學生都比你認真
沒時間看族長直播,這生活我不要了
109樓真了不起,像你這麼高尚的人一年60萬台幣應該
就過得很舒服了不用再高,老闆覺得物超所值吧
酪梨椅子是什麼
沒什麼好吹得吧= = 大概就一般研究生作息阿
主管看到會叫你:小心肝
cs的研究生日常不就是這樣嗎
跟碼農最大差別就是碼農996coding一整天
搞ai則是腦力激盪一整天 寫code幾分鐘
煉丹操不操見仁見智 我是覺得挺舒適的
操? 台廠視野真的太窄了 多的是”研究就是自身興
趣之人” 不用到OpenAI faang這些地方 本島的前端
學校學生就有這種人 追求的高度不一樣 故成就自然
不一樣
對 就像aria大說得煉丹概念
人家二十幾歲發Flan, PaLM團隊,兩萬citation的
沒啥可比性吧
雇神人debug? 發碼農薪水?
看起來很爽啊
照109F邏輯大概連黃仁勳也活得跟狗一樣 嘻嘻~
還有, 根據最新估值OpenAI內部很多人TC可以破2M鎂
了
一年快百萬鎂 ok的
查了一下 他搭檔是MIT PhD 所以說一般人真的別想了
這超爽的不用一直開會
我也下班還要遠端按compiler熱鍵
這哥有10K citation是所有AI從業者中的頂級存在
不過我就算這麼頂 在OpenAI裡面應該也是普通員工
一般公司還在搞模型是浪費時間 你走一步 人家走百步
SMCI還沒停 ,比NV還飆
真的是2/8理論,雜魚比較多
不至於啦 大模型搞不過人 你可以搞小模型XD
興趣吧 我國小也是每天調整RO的CORE-C弄到半夜阿 還
會一大早跳起來看結果
充滿樂趣的事情根本不會累
一般人做四小時腦袋就燒壞準備睡覺了
黃仁勳的守護下入睡XD
每天搭威某 羨慕
最後一項 是為了祈求基礎設施不會壞掉吧
21
[閒聊] 串連數千個 Nvidia GPU,微軟打造 Chattechnews 串連數千個 Nvidia GPU,微軟打造 ChatGPT 的超級電腦 March 14, 2023 by 陳 冠榮 微軟斥資數億美元打造一台大型超級電腦,串連數千個 Nvidia GPU,為 OpenAI 的聊天機21
Re: [問卦] 為什麼AI 這2-3年進步這麼神速?我剛好研究所讀資工領域的。 你應該知道在這次AI大模型震撼世人之前,電腦科學界在紅啥嗎?? 就是Big Data,大數據,資料探勘。 但是因為"算力"不足,所以在十年前,幾乎都是關注於儲存與基礎處理而已。 譬如NoSQL數據庫與一些簡單的資料探勘,那個時候SVM分析歸類資料可火的。10
Re: [請益] 為什麼有人說AI會讓資工人失去工作?阿肥外商碼農阿肥啦! 我只能說當前甚至往後十幾年都很難完全取代,除非真正的AGI實現了,那取代的可能不 止資工人,而是整個人類社會了,想想看AGI都有人類智慧了,那鎖螺絲、自己修理自己 或是檢測同類機器人都是很簡單的,那幹嘛還找人類黑手? 先說說像GPT-4即便是大成功的當下,很多企業要復現這樣的模型難度也是跟登天一樣8
Re: [新聞] 國科會擬砸349億 拚年底推「台版Ch阿肥外商碼農阿肥啦! 本來昨天有看到這則新聞,先說我是支持台灣自己發展的啦!就是回想過往國科會說要自 己弄量子電腦,搞到現在量子沒見半毛只看到寫計畫靚仔倒是很多,人家中美都不知道發 展到哪裡了,你才在揭牌開放申請計畫,整個搞笑。 要做自己的chatGPT我是不反對,但是這些官員真的知道openAI光是訓練一個原始的版本7
Re: [討論] 中國科技業發展不起來的原因?: : 電車發展到歐洲領袖都說「太誇張了,要限制」 : : LLM的競爭,亞洲大概只有字節跳動這間公司玩得起 :6
[情報] 《貧瘠之地》卡牌揭露時間表3/17 1:00AM 官方 2:00AM Kripp3
Re: [問卦] ChatGpt為什麼開始變笨了?正好半夜看到這篇無聊來回一下 GPT4能力下降大概5月多開始就有人注意到了 但你要怎麼定義能力衰退這件事而且量化他? 於是七月就有一篇論文在討論這件事2
Re: [問卦] AI機器人的信度和效度?阿肥外商碼農阿肥啦!在下鍵盤研究員回答一下你的問題, 1. 先說統計檢驗部分,一般而言在傳統研究領域小數據上都會要你做一些傳統的統計檢驗, 例如你加了某個方法以後會更好,你要跟讀者證明A優於B,要避免模型有隨機性那做了可以 證明你是對的。不過現在大部分NLP訓練都是基於巨量數據像GPT-3有45TB的文本,這麼大的 數據情況下我們都會假設數據服從中央極限定理符合常態分佈,那做假設檢驗就有點多餘。1
[問卦] 訓練阿美語的大型語言模型當碩論可行嗎以下是chatGPT的生成內容 ----- 訓練一個專注於特定語言,如阿美語的大型語言模型,是一項複雜且耗時的工程,但可以透 過以下步驟逐漸達成: 1. **數據收集**:阿美語作為一種少數民族語言,其可用於訓練的數據可能相對有限。首- 阿肥外商碼農阿肥啦!認真說,這幾年口說上字幕甚至翻譯,還有有字幕上語音這幾年都獲 得不錯的進展,包含openAI、Google、Amazon、Meta實驗室都有不錯的產出,而且這些都是 依靠當前所謂的多模態零樣本學習的大力進步,很多轉換錯誤或是機器音都減小很多,不 過偶爾還是會有出槌需要人工修正的部分。 所謂的多模態零樣本其實就是換一個思維過往很多工作需要大量標注工跟資料工程前處理來