[Vtub] AI是不是可以做即時字幕了？
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
--
yt不是早就有即時生成字幕了
早就可以了吧 只是準確度問題
重點就是準確度R 本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
那就變雅婷逐字稿了
即時字幕有個問題 不同文法的字幕斷句
會議軟體已經有即時翻譯了
像是日文動詞放後面 不講到最後不知道這句多長 然後要切
成合適的長度放回去原本畫面裡
早就有了吧 實況有種插件就是即時字幕+機翻
所以文章比較適合翻譯 字幕不適合
GPT有上下文的觀念 這應該是他擅長的領域
到時候給你亂加料
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全
不相干的東西出來
因為他不會連網 也沒有視覺 GPT的世界只有文字 （他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理） 所以你給他網址他就 隨便掰一個答案給你
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16你都總結了怎麼即時==
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間
軸，效果奇差，再翻譯成中文一定更破
因為chatgpt沒資料 你問他他當然無法回答
更不用說Miko，有時候還偵測成韓文
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛
心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比
較少 因為可以直接1對1換詞就好
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
看爽的沒差 但要求正確性就無法 如果全信被誤導的
機會也不小 就
看目的為何
這裡幫你整理好了
還需要時間發展
英文的V說不定可以
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就
好 so...
google的廣告以外的商業模式真的很糞 像這種都是商機可以
做的結果你在那邊跟微軟耗@@
怎就有了
英文的已經可以接受了
你
目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
熟。更複雜的技術開發者會著重在理解意思甚至是回應問
題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
微軟之後要推的網路會議助理就可以語音轉文字，還
可以幫你寫會議紀錄
記得日、英好像可以即時
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
另外你貼的這功能，我有試過開日本YT影片，然後用e
dge ai要他總結這影片在講啥。他還真的去網路搜尋
搞出來
PR：…
都看過人直播即時中翻日的了
我看過有人直播是一整排不同語言的字幕，但準確率普通
。
日本直播我看過不少有即時日文字幕加英文翻譯的
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第
一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
的作者做到對答如流甚至互嘴
有字幕逐字稿的API比較強XD Bing只能用雲的
我期待即時口譯機
@johnny3
總覺得教育AI比教育小孩還有成就感了...
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
再兩三年真的是就不用學外語了
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去
而已
4
諸君 晚安安 借串問一下 google的聽取和翻譯系統 在用戶多成這樣子的情況下 還那麼多年了![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X2y6oMlb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
3
即時沒看到，不即時倒是有很方便的工具了。 MacWhisper 上篇推文有提到，強在可以丟沒字幕的mp4影片然後直接吐回.srt或.vtt翻譯好的字幕， 支援100種語言，付費解鎖比較好的翻譯模組。X
欸欸 你應該搞錯問題惹吧？ 你要的應該是雙字幕功能吧？ 那加個瀏覽器外掛就好 免費易用 YouTube 雙字幕工具，支援下載完整中英對照字幕文件![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X23OaUJb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
2
這個瓶頸我覺得不純然只在 翻譯 的部分，語音辨識也有進步空間 就以 英文發音的影片開英文字幕 來說， Youtube很早就有自動cc的機能，但這機能僅對「聽得懂一定程度英文的人」堪用。 因為語音辨識的結果雖然大致上正確，但其實出現辨識錯誤的機率並沒有到真的很低![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/NjvE6bOb.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
4
跑了 OpenAI 的語音辨識 (Whisper) 正確率大概9成。 比YT的廢字幕好多了(約6成？) 以下紅字為錯誤、黃字為修正、〇〇代表我聽不懂。 [00:01.300 --> 00:08.540] おけますでさ、なんかキャバクラみたいなの追加されたん だよ![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/xE-tmu0OlGA/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
2
正巧最近有看到自動上字幕的頻道，結論是同音字跟錯別字還有慣用詞。絕對會出現混淆問 題。 這個就是標準自動上字幕的作品，每個人名【黃巢】都被置換成【皇朝】。然後故事主角到 底是哪個德禎？德真？德貞？德什麼的啦？![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/7jR1ksY5hF8/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
55
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎本來沒想這麼早回這篇的，不過既然都有人把討論串回起來了我丟點資訊， 既然都會看網紅發表對ChatGPT的看法（沒有貶義），我覺得也可以看看這個： 台大電機副教授李宏毅老師的ChatGPT講解（先回到PTT還是學術論壇XD） ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://img.youtube.com/vi/e0aKI2GGZNg/mqdefault.jpg "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
31
[心得] 華為AI字幕支援日文了雖然這邊很多人討厭華為，但是如果你是華為用戶，應該都知道EMUI有一個功能，叫做 AI即時字幕。 聲源可以是媒體，也可以是麥克風，系統會很快的翻譯成中文。看似簡單的功能，其實 意外的實用。 過去這個服務只支援英文，今天華為開放測試，正式支援日文了！![[心得] 華為AI字幕支援日文了](https://i.imgur.com/5YVQHcwb.jpg "[心得] 華為AI字幕支援日文了")
23
[問卦] CHATGPT 已經可以考上中國大陸的大學了？CHATGPT 已經可以考上中國大陸的大學了？ ChatGPT參加北京高考，能考上哪個大學？你能比它分數更高嗎？ 李永樂老師用ChatGPT參加2022北京高考 因為ChatGPT眾所周知資料只有到2021 而且不會上網找答案 所以可以確定ChatGPT不可能做過那些題目。![[問卦] CHATGPT 已經可以考上中國大陸的大學了？](https://img.youtube.com/vi/GEXa2yrAucM/mqdefault.jpg "[問卦] CHATGPT 已經可以考上中國大陸的大學了？")
9
[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？這陣子ChatGPT很紅，連政治人物、網紅都開始玩， 本來玩玩就算了，如果你真的想用ChatGPT做應用， 需要串接GPT-3的API價錢是約千字0.02美金，這價錢應該算便宜到恐怖？ 我聽到很多企業都開始做自己的文字AI機器人了。 結果今天一早醒來，聽說ChatGPT又有新一代的API GPT-3.5，![[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？](https://avatars.plurk.com/16822923-big58569616.jpg "[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？")
6
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎不要講以後了，現在就有一堆被程式愚弄的人。 對，我就在講"chatGPT可以幫你寫程式還學屁語言"的你各位。 首先你必須要了解的是，GPT這東西就跟擲骰子一樣，只是你跟它玩的是 "文字接龍"。假設你問"112年12月台灣進口多少巴西咖啡" 它會這樣回答：![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://m.coa.gov.tw/images/fb-share-logo.png "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
4
Re: [問卦] chatGPT是不是把經典機率考題都算錯了昨天李永樂老師才拿高考題目讓gpt考 裡面有幾個亮點 李永樂：這題目我也看不懂 gpt說對就對吧 然後這題gpt答對了。 （李永樂看到是ai的潛力 而不是笑ai答錯題有夠笨） 下面還有人留言 電影 機械公敵裡 男主對機器人說 ai無法畫圖跟具有創造力4
[問卦] ChatGPT最終會不會變成紅后?現在AI正夯 就像以前Siri剛推出一樣 用過ChatGPT後 覺得Siri跟OK Google根本就是___! 但重點來了1
[問卦] google怎麼不快弄一個chat bot?yo 兩年前學AI的時候 google bert毀天滅地 各種刷榜 結果上個月chatgpt出來嚇到一堆人 AI居然發展到這種程度了 阿gpt主要靠的是上下文關係 反而bert的架構比較偏文意理解 google怎麼不快出一個基於bert的chat bot來打chatgpt1
[CGPT] Chat GPT入侵南方公園(S26E4)這集真的快笑死 Chat GPT拿來把妹真的有用嗎? 居然還找山頂洞人用巫術找誰在用Chat GPT 連字幕都寫這集有用Chat GPT寫 太神啦!
[問卦] 奧斯卡轉播怎麼不用AI同步字幕？最新奧斯卡頒獎正在直播 台視負責台灣地區轉播 請了兩個人在那邊同步口譯加補充 據我所知 現在yt都用自動軟體擷取音訊轉成字幕
爆
[Vtub] 春魚四期生Vtuber冰霧疑似指控快打實況![[Vtub] 春魚四期生Vtuber冰霧疑似指控快打實況](https://img.youtube.com/vi/KJeMC4BKvoA/mqdefault.jpg "[Vtub] 春魚四期生Vtuber冰霧疑似指控快打實況")
爆
Re: [Vtub] 春魚四期生Vtuber冰霧疑似指控快打實況![Re: [Vtub] 春魚四期生Vtuber冰霧疑似指控快打實況](https://i.mopix.cc/OgUnxH.jpg "Re: [Vtub] 春魚四期生Vtuber冰霧疑似指控快打實況")
爆
[鳴潮] 3.0動畫短片 轉校生 前瞻直播12/12![[鳴潮] 3.0動畫短片 轉校生 前瞻直播12/12](https://img.youtube.com/vi/nNyot7KuDQE/mqdefault.jpg "[鳴潮] 3.0動畫短片 轉校生 前瞻直播12/12")
爆
[閒聊] 如果是bilibili被封鎖會怎麼樣?爆
[閒聊] 男女粉比例出乎你意料的作品？![[閒聊] 男女粉比例出乎你意料的作品？](https://i.imgur.com/wSnRZsnb.jpeg "[閒聊] 男女粉比例出乎你意料的作品？")
爆
[討論] 欸！泡泡瑪特怎麼在大跌價了？![[討論] 欸！泡泡瑪特怎麼在大跌價了？](https://img.youtube.com/vi/QBPEpPblwcw/mqdefault.jpg "[討論] 欸！泡泡瑪特怎麼在大跌價了？")
爆
Re: [閒聊] 小紅書成為美國App Store下載第一![Re: [閒聊] 小紅書成為美國App Store下載第一](https://i.imgur.com/T8vEV7xb.jpeg "Re: [閒聊] 小紅書成為美國App Store下載第一")
89
[Vtub] 虹VS齁 卡比賽車對抗賽87
Re: [Vtub] 春魚Vtuber冰霧疑似指控快打實況主Yoro私訊騷擾71
[閒聊] 最跌落神壇的公司是育碧嗎？![[閒聊] 最跌落神壇的公司是育碧嗎？](https://i.imgur.com/71OHyzZb.png "[閒聊] 最跌落神壇的公司是育碧嗎？")
73
Re: [Vtub] 春魚Vtuber冰霧疑似指控快打實況主Yoro私訊騷擾73
[閒聊]定義上幾歲才應該被叫「大叔」？![[閒聊]定義上幾歲才應該被叫「大叔」？](https://i.imgur.com/0M6qX7Wb.jpeg "[閒聊]定義上幾歲才應該被叫「大叔」？")
65
[閒聊] 美國一名11歲幼童靠模仿達爾撐過危機![[閒聊] 美國一名11歲幼童靠模仿達爾撐過危機](https://i.imgur.com/5kdUABnb.jpeg "[閒聊] 美國一名11歲幼童靠模仿達爾撐過危機")
58
[閒聊] 被宣判是醜男該怎麼辦？![[閒聊] 被宣判是醜男該怎麼辦？](https://i.mopix.cc/bVDkpu.jpg "[閒聊] 被宣判是醜男該怎麼辦？")
57
[蔚藍] 百花繚亂圍毆能打贏若藻嗎![[蔚藍] 百花繚亂圍毆能打贏若藻嗎](https://i.imgur.com/dlSBA7yb.jpeg "[蔚藍] 百花繚亂圍毆能打贏若藻嗎")
40
Re: [閒聊] 小紅書成為美國App Store下載第一53
[閒聊] 現在少前2是完全塵白化了喔52
[閒聊] 巨人的OP跟ED算很強嗎？？52
[鳴潮] 怎辦？這計畫根本一點屁用也沒有！45
Re: [閒聊] 小紅書成為美國App Store下載第一49
[妮姬] 小遊戲好難![[妮姬] 小遊戲好難](https://i.mopix.cc/k7reSC.jpg "[妮姬] 小遊戲好難")
48
[Vtub] Vivi自爆性癖是被搔腳底XDDD![[Vtub] Vivi自爆性癖是被搔腳底XDDD](https://i.imgur.com/l9An5yXb.jpeg "[Vtub] Vivi自爆性癖是被搔腳底XDDD")
49
[情報] 黑白妹1重製 插圖進度正式200% (全體50%)![[情報] 黑白妹1重製 插圖進度正式200% (全體50%)](https://i.imgur.com/ZzNmHMBb.gif "[情報] 黑白妹1重製 插圖進度正式200% (全體50%)")
48
[閒聊] 統神會怎麼評論yoro騷擾事件！？47
[閒聊] 新妹魔王 這樣算是黑奴嗎？![[閒聊] 新妹魔王 這樣算是黑奴嗎？](https://pbs.twimg.com/media/FdMJRYGaEAAl0zi.jpg "[閒聊] 新妹魔王 這樣算是黑奴嗎？")
47
[閒聊] 哪一種恐怖比較讓人不舒服?![[閒聊] 哪一種恐怖比較讓人不舒服?](https://i.imgur.com/e8dN5uAb.png "[閒聊] 哪一種恐怖比較讓人不舒服?")
56
[閒聊] 鐵道玩家流失嚴重![[閒聊] 鐵道玩家流失嚴重](https://i.imgur.com/6SvST40b.jpeg "[閒聊] 鐵道玩家流失嚴重")
爆
[魔物]荒野總監發言惹議 將世界稱前作掀玩家反感![[魔物]荒野總監發言惹議 將世界稱前作掀玩家反感](https://image.gameapps.hk/images/202512/05/1764898511_762582_jpg_r_result.jpg "[魔物]荒野總監發言惹議 將世界稱前作掀玩家反感")
爆
[閒聊] 一晚9發現實中做得到嗎？![[閒聊] 一晚9發現實中做得到嗎？](https://i.imgur.com/U8Ejehhb.jpg "[閒聊] 一晚9發現實中做得到嗎？")
41
[星塔] 旅人介紹 『夏花』 CV.伊藤静![[星塔] 旅人介紹 『夏花』 CV.伊藤静](https://i.imgur.com/nK8rcORb.jpeg "[星塔] 旅人介紹 『夏花』 CV.伊藤静")