Re: [請益] 軟體失業是遲早的事吧

沒有要ㄉ一ㄤ誰的意思

就是這benchmark到底存不存在

小弟我相信 這一定是有論文的

找了一下

還真的有

https://arxiv.org/html/2501.16857v1

以下為AI翻譯 並由我這個人腦節錄：

1. 在本研究中，我們使用 GPT-4（OpenAI 於 2024 年 4 月前兩週提供的版本）作為代表性 LLM，針對 LLM 與人類生成的 Python 程式碼，在各項效能指標上進行比較。

2. 該研究採用包含 72 項 Python 編碼任務的基準數據集，這些任務涵蓋了來自先前研究[7]的各種軟體工程問題。一位具有軟體開發經驗的計算機專業大四學生（人類程式設計師）為這 72 項編碼任務開發了程式碼，同時使用 GPT-4（即 2024 年 4 月可用版本）生成程式碼樣本，以產生對等的 LLM 輸出。

3. 在編碼標準評估中，Pylint 和 Radon 分析顯示，雖然 LLM 生成與人工編寫的程式碼都存在缺陷，但 LLM 更可能犯下可透過嚴格遵守編碼標準來避免的錯誤。儘管程度較輕，但研究中的 LLM（以及人類）有時會忽略編碼風格和標準程序中的重要細節，這些細節對於維護可讀性和程式碼品質至關重要。

4. 與人工生成的程式碼相比，LLM 通常會產生具有更高循環複雜度的程式碼。我們的結果表
明，LLM 傾向過度設計解決方案，這可能導致程式碼更難維護，且在軟體開發後期階段更容易出現錯誤。

5. LLM 生成的程式碼在功能正確性測試中經常表現良好，證明了 LLMs 在自動化執行簡單且
定義明確的編碼任務上的實用性。相反地，在需要深厚領域專業知識或複雜問題解決能力的任務中，人類程式設計師往往比 LLMs 表現更出色。
(編註：人類編寫的程式碼通過率為 54.9%，而 LLM 生成的程式碼通過率達 87.3%)

要說這篇論文缺點是什麼的話

就是他只有一個大四學生當作人類基準

所以樣本數非常不足 另外用的模型也是稍舊

歡迎質疑paper的人花錢花精力自己去做一次benchmark

學術界本來就是這樣

總之結論大概就是: 就該文獻的場景與數據來看 人類與LLM擅長的不同 優缺點不同

不過當手裡只有錘子時，在某些人看起來，所有東西都像是釘子

--

你有閱讀障礙嗎? 我可沒說這是SWE bench啊XD 他推文寫「人類自己都沒有benchmark」我就找一個人機對比的benchmark paper來舉例囉

benchmark的方式又不只一種 重點是你今天到底是要比對人與模型的差異 還是要比對模型與模型的差異 所以我不知道你拘泥於單一觀點想說明什麼 還是你也只會揮舞槌子而已 還有人與LLM比較benchmark的論文難寫 估計就是實驗難做&經費問題 用dataset去讓各模型跑分比較更容易些 你覺得論文爛 論文作者至少還有實驗精神 反而是某些人只會出一張嘴@@

我比較好奇DrTech是在哪高就 一定很內行 小弟不才 公司就賣賣顯卡的上市公司而已 你待的公司一定很屌你職位一定很內行對吧 我覺得我上面已經說得很清楚了 為什麼這樣的論文難找 就是經費問題 大部分學生連填問券抽獎做論文 參與的人都興致缺缺了 首先你要找多少工程師？這些工程師要代表怎樣的群體？ 要付你多少錢你才願意抽空做題目只為了讓人發論文？ 題目是否具有公平性能準確涵蓋這些工程師的能力範圍又不失偏頗？ SWE-bench是gold standard沒錯 但目前就是沒有找到人類參與比較的數據 (甚至要怎麼比才有代表性都有問題) 我提這篇論文 是看過這篇論文覺得滿有趣的 至少是一個方法 也可能我爛 我找不到好的論文 當我們在討論有沒有benchmark可以比較人類與LLM解決工程問題時 我確實拿了一篇不怎樣的論文 雖然樣本數只有一 但至少是一個實驗、一個方向 不過我現在只看到一個巨嬰躺在地上打滾 這不是SWE-bench~ 這不是SWE-bench~ 哇~~~~~ 哇~~~~ ToT 然後轉頭又要別人找論文 奇怪 現在網路打臉人的方式已經不是自己找到更好、更具參考價值的論文或數據 而是一直叫人舉證 好像他是我指導教授還口委一樣 他作為質疑者唯一的工作就是在推文裡出一張嘴 這就是所謂的內行嗎

我是對y的推文「是否存在對人類的benchmark」做出回應 考慮到這是在討論LLM與人類性能的比較 所以我認為題目具體為

有沒有這樣的benchmark存在？ 答案是: 有 而該論文的題目來源是參考自: Y. Feng et al. (2023). ”Investigating Code Generation Performance of ChatGPT with Crowdsourcing Social Data,” in Proceedings of the IEEE 47th Annual Computers, Software, and Applications Conference (COMPSAC), Torino, Italy, pp. 876-885. 這是一篇被引用172次的的論文所用的dataset 72筆prompt的題目 dataset在這裡:

老實講前一篇推文吵得那一串我根本沒打算說服哪一方 我原文也講了 人與LLM擅長的不同 在我看來這跟吵腳踏車跟機車哪個好差不多 那現在問題來了 這篇論文爛在哪？總要有個具體論述吧 除了

以外 我好像找不到其他任何具體的批判 是對實驗方法有具體的批判？ 還是對一篇被被引用172次的論文的dataset有具體的批判？ SWE-bench的題目數量有兩千多筆 lite版有300道 不拿full 你拿lite 你要找好幾個工程師去做300道題目 我只能講這如果有這樣的數據那還滿屌的 我也很想看 不要講300題 72道題目請板上各位年薪三百萬的工程師 大家要怎樣的條件才會用心寫完 抽150元點卡或兩百元711禮券好不好 就.... 腦袋能不能實際一點？

我其實比較納悶 DrTech好歹是有博士學位的人 怎麼可能對這樣的測驗數據到底成本有多高一點概念都沒有 我原本就只是針對到底有沒有這樣的benchmark方法存在 提出存在的事實 結果好像被他誤解成我要參與他們無聊的筆戰說服另一方 奇怪 我原文到底是哪裡有選邊站@@ 我是期望本板少數的博士能夠PO出更優質的論文啦 這對DrTech應該不難 對吧 博士

所以我真的懷疑你有閱...唉 算了算了 繼續ㄉㄧㄤ下去沒完沒了 整串下來我強調：人類與LLM各有優缺點 不管是我節錄的論文內容 還是我做的總結 都是我原文就有的內容 就事實跟目前的數據 我看到的事實是"有些地方AI贏人類 有些地方人類贏AI" 這個事實有很難接受嗎 你也不是不可能不知道吧 就"AI贏人類"這個問題的 怎樣算贏？是要全盤輾壓算贏嗎？ 還是你們單就通過率討論？那時間要不算進去評分的項目裡？ 就.... 你不覺得這個你這個題目很抽象嗎？

我可以幫你整理一下時間順序： 你批評我搞笑反串→我說你有閱讀障礙→你說我外行→我說你巨嬰 我覺得好像是你開第一槍的耶XD 我最開始的原文可是半個字都沒提到你 在你們吵架的推文串我也只有發表一句無關緊要的幹話 還是你在公司開會的時候 下屬發表意見不合你意你也馬上ㄉㄧㄤ: 你是在反串搞笑嗎 不過這很正常啦 你在公司不可能這樣酸下屬 我在公司也不會這樣嗆同事 我欣賞你業界十幾二十年的堅實經驗、外加學歷漂亮還是上市公司的主管，在本板也樂 於分享跟發表有價值的看法。但我覺得先開嗆的人好像要有接受被嗆的心理準備吧XD 我相信你應該不是那種自己動手還要求別人不能還手的流氓吧？