[問卦] 有沒有GPT4o中文token被污染的八卦？？

Qoo2222 發表於 2024/5/14 下午10:26:00

看板Gossiping標題[問卦] 有沒有GPT4o中文token被污染的八卦？？作者

(Qoo2222)時間May 14 22:26:00 2024推噓 2 推:2 噓:0 →:7

有人列出GPT4o token

看起來非常不健康
這就是中文網路世界嗎？？

185118 _日本毛片免费视频观看116852 中国福利彩票天天128031 久久免费热在线精品154809 无码不卡高清免费v172750 大发快三大小单双177431 给主人留下些什么吧181679 qq的天天中彩票184969 _日本一级特黄大片187822 大发快三开奖结果49649 彩神争霸邀请码89409 免费视频在线观看122333 无码不卡高清免费122712 无码一区二区三区128600
大发时时彩计划133274 】【：】【“】【135161 大发时时彩开奖149168 大发时时彩怎
么160029 大发快三是国家160131 大发快三是不是160267 天天中彩票网站176039 精品一区二区三区186348 大发快三是什么187516 大发快三走势图187810 在线观看中文字幕191179 大发快三怎么看193825 中国特色社会主义194062 彩神争霸是不是70506 彩神争霸大发74929 大发时时彩是78249 大发彩票官网83405 彩神争霸官网95565 大发快三怎么99813 大发快三开奖101303 大发游戏官网115319 大发快三和值119247 北京赛车开奖136533大发快三计划136840 久久综合久久爱138985 下载安装到手机141777 重庆时时彩的143802 大发快三官网144879 大发快三豹子155245 中华人民共和国156153 彩神争霸网站160344 中国福利彩票160540 彩神争霸邀请码166783 一级a做爰片170426 大发快三如何178597 久久精品国产182584 热这里只有精品187784 重庆时时彩杀189467 亚洲男人天堂199053 北京赛车投注12284 大发时时彩31385 视频在线观看34342 一区二区三区36308 的天天中彩票46373 大发快三是50020 彩神争霸是86301 视频免费观看86435 《凤凰大参考92481 菲律宾申博95335 一级特黄大片95376 视频在线播放

※ PTT留言評論

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.162.21.112 (臺灣)

※ PTT 網址

推

lavign 05/14 22:31可信任來源？

tiktoken是openai維護的

※ 編輯: Qoo2222 (1.162.21.112 臺灣), 05/14/2024 22:39:49

→

meblessme 05/14 22:43你能不能講的讓一般人聽的懂一點，拜

→

meblessme 05/14 22:43託

→

meblessme 05/14 22:43我是看得出來所謂的數據受污染

→

meblessme 05/14 22:43但那關token什麼事？

→

meblessme 05/14 22:44因為我們免費版本今天使用並沒有跑出

→

meblessme 05/14 22:44這些奇怪的詞

這是tokenizer的vocabulary LLM會將輸入內容依照vocabulary轉成token 也就是tokenizer

推

lavign 05/14 22:51又沒公開過數據集怎麼知道被污染

vocabulary是透過BPE產生代表數據這些詞句重複頻率很高

※ 編輯: Qoo2222 (1.162.21.112 臺灣), 05/14/2024 22:55:43

→

ekgs 05/15 01:47有啥奇怪? 不就跟搜尋引擎污染類似

其他人也閱讀了

PTT 熱門相關