[Vtub] AI是不是可以做即時字幕了？
如題
像是這部短片 都是日文
看攏無
https://www.youtube.com/watch?v=6Sx13Our0Io
但在chatGPT的加持下
他可根據 google廢到笑的日聽字幕
大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png
這樣想想，如果結合語音模組
使用chatGPT應該可以產生出非常具有可讀性的即時字幕八？
目前來看可能價格比較高
已一部兩小時的直播來說，token數用api計費應該可以到NT1000？
有西恰嗎？
--
yt不是早就有即時生成字幕了
早就可以了吧 只是準確度問題
重點就是準確度R 本來機器字幕辨識度就有問題，加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多，至少我感覺至少可讀了
那就變雅婷逐字稿了
即時字幕有個問題 不同文法的字幕斷句
會議軟體已經有即時翻譯了
像是日文動詞放後面 不講到最後不知道這句多長 然後要切
成合適的長度放回去原本畫面裡
早就有了吧 實況有種插件就是即時字幕+機翻
所以文章比較適合翻譯 字幕不適合
GPT有上下文的觀念 這應該是他擅長的領域
到時候給你亂加料
為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全
不相干的東西出來
因為他不會連網 也沒有視覺 GPT的世界只有文字 （他處理圖像就像MUD遊戲一樣 有另外一個AI看圖，用文字描述，然後再餵給GPT處理） 所以你給他網址他就 隨便掰一個答案給你
※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16你都總結了怎麼即時==
不太行，我烤肉會先用YT的字幕功能輸出日文字幕來抓時間
軸，效果奇差，再翻譯成中文一定更破
因為chatgpt沒資料 你問他他當然無法回答
更不用說Miko，有時候還偵測成韓文
這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的
我之前放一個兒童共同注意力的影片，他講成什麼韓國愛
心食堂，還有南非反種族隔離運動者夏綠蒂賈爾納
即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識
yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比
較少 因為可以直接1對1換詞就好
我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行
看爽的沒差 但要求正確性就無法 如果全信被誤導的
機會也不小 就
看目的為何
這裡幫你整理好了
還需要時間發展
英文的V說不定可以
要即時應該有困難 可是反正影片都是上傳好的只要轉一次就
好 so...
google的廣告以外的商業模式真的很糞 像這種都是商機可以
做的結果你在那邊跟微軟耗@@
怎就有了
英文的已經可以接受了
你
目前的即時字幕已經是簡單的AI了，舊技術也差不多夠成
熟。更複雜的技術開發者會著重在理解意思甚至是回應問
題，單純拿來上輔助字幕甚至是翻譯這塊潛力不足
微軟之後要推的網路會議助理就可以語音轉文字，還
可以幫你寫會議紀錄
記得日、英好像可以即時
其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難
另外你貼的這功能，我有試過開日本YT影片，然後用e
dge ai要他總結這影片在講啥。他還真的去網路搜尋
搞出來
PR：…
都看過人直播即時中翻日的了
我看過有人直播是一整排不同語言的字幕，但準確率普通
。
日本直播我看過不少有即時日文字幕加英文翻譯的
主要先卡在生成準確度，喂給AI的樣本數夠多就能先排除第
一關，後面翻譯就沒啥失準問題，像那個AI Vtuber就能跟她
的作者做到對答如流甚至互嘴
有字幕逐字稿的API比較強XD Bing只能用雲的
我期待即時口譯機
@johnny3
總覺得教育AI比教育小孩還有成就感了...
研發影片翻譯應該是最吃力不討好的吧，太容易露餡了
再兩三年真的是就不用學外語了
英文字幕不用ai，即時生成就蠻準的了，看想不想投資源進去
而已
4
諸君 晚安安 借串問一下 google的聽取和翻譯系統 在用戶多成這樣子的情況下 還那麼多年了![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X2y6oMlb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
3
即時沒看到，不即時倒是有很方便的工具了。 MacWhisper 上篇推文有提到，強在可以丟沒字幕的mp4影片然後直接吐回.srt或.vtt翻譯好的字幕， 支援100種語言，付費解鎖比較好的翻譯模組。X
欸欸 你應該搞錯問題惹吧？ 你要的應該是雙字幕功能吧？ 那加個瀏覽器外掛就好 免費易用 YouTube 雙字幕工具，支援下載完整中英對照字幕文件![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/X23OaUJb.png "Re: [Vtub] AI是不是可以做即時字幕了？")
2
這個瓶頸我覺得不純然只在 翻譯 的部分，語音辨識也有進步空間 就以 英文發音的影片開英文字幕 來說， Youtube很早就有自動cc的機能，但這機能僅對「聽得懂一定程度英文的人」堪用。 因為語音辨識的結果雖然大致上正確，但其實出現辨識錯誤的機率並沒有到真的很低![Re: [Vtub] AI是不是可以做即時字幕了？](https://i.imgur.com/NjvE6bOb.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
4
跑了 OpenAI 的語音辨識 (Whisper) 正確率大概9成。 比YT的廢字幕好多了(約6成？) 以下紅字為錯誤、黃字為修正、〇〇代表我聽不懂。 [00:01.300 --> 00:08.540] おけますでさ、なんかキャバクラみたいなの追加されたん だよ![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/xE-tmu0OlGA/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
2
正巧最近有看到自動上字幕的頻道，結論是同音字跟錯別字還有慣用詞。絕對會出現混淆問 題。 這個就是標準自動上字幕的作品，每個人名【黃巢】都被置換成【皇朝】。然後故事主角到 底是哪個德禎？德真？德貞？德什麼的啦？![Re: [Vtub] AI是不是可以做即時字幕了？](https://img.youtube.com/vi/7jR1ksY5hF8/mqdefault.jpg "Re: [Vtub] AI是不是可以做即時字幕了？")
55
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎本來沒想這麼早回這篇的，不過既然都有人把討論串回起來了我丟點資訊， 既然都會看網紅發表對ChatGPT的看法（沒有貶義），我覺得也可以看看這個： 台大電機副教授李宏毅老師的ChatGPT講解（先回到PTT還是學術論壇XD） ChatGPT (可能)是怎麼煉成的 - GPT 社會化的過程![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://img.youtube.com/vi/e0aKI2GGZNg/mqdefault.jpg "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
31
[心得] 華為AI字幕支援日文了雖然這邊很多人討厭華為，但是如果你是華為用戶，應該都知道EMUI有一個功能，叫做 AI即時字幕。 聲源可以是媒體，也可以是麥克風，系統會很快的翻譯成中文。看似簡單的功能，其實 意外的實用。 過去這個服務只支援英文，今天華為開放測試，正式支援日文了！![[心得] 華為AI字幕支援日文了](https://i.imgur.com/5YVQHcwb.jpg "[心得] 華為AI字幕支援日文了")
23
[問卦] CHATGPT 已經可以考上中國大陸的大學了？CHATGPT 已經可以考上中國大陸的大學了？ ChatGPT參加北京高考，能考上哪個大學？你能比它分數更高嗎？ 李永樂老師用ChatGPT參加2022北京高考 因為ChatGPT眾所周知資料只有到2021 而且不會上網找答案 所以可以確定ChatGPT不可能做過那些題目。![[問卦] CHATGPT 已經可以考上中國大陸的大學了？](https://img.youtube.com/vi/GEXa2yrAucM/mqdefault.jpg "[問卦] CHATGPT 已經可以考上中國大陸的大學了？")
9
[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？這陣子ChatGPT很紅，連政治人物、網紅都開始玩， 本來玩玩就算了，如果你真的想用ChatGPT做應用， 需要串接GPT-3的API價錢是約千字0.02美金，這價錢應該算便宜到恐怖？ 我聽到很多企業都開始做自己的文字AI機器人了。 結果今天一早醒來，聽說ChatGPT又有新一代的API GPT-3.5，![[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？](https://avatars.plurk.com/16822923-big58569616.jpg "[問卦] 有沒有OpenAI用GPT加速世界AI化的掛？")
6
Re: [閒聊] ChatGPT是語言模型不是搜尋引擎不要講以後了，現在就有一堆被程式愚弄的人。 對，我就在講"chatGPT可以幫你寫程式還學屁語言"的你各位。 首先你必須要了解的是，GPT這東西就跟擲骰子一樣，只是你跟它玩的是 "文字接龍"。假設你問"112年12月台灣進口多少巴西咖啡" 它會這樣回答：![Re: [閒聊] ChatGPT是語言模型不是搜尋引擎](https://m.coa.gov.tw/images/fb-share-logo.png "Re: [閒聊] ChatGPT是語言模型不是搜尋引擎")
4
Re: [問卦] chatGPT是不是把經典機率考題都算錯了昨天李永樂老師才拿高考題目讓gpt考 裡面有幾個亮點 李永樂：這題目我也看不懂 gpt說對就對吧 然後這題gpt答對了。 （李永樂看到是ai的潛力 而不是笑ai答錯題有夠笨） 下面還有人留言 電影 機械公敵裡 男主對機器人說 ai無法畫圖跟具有創造力4
[問卦] ChatGPT最終會不會變成紅后?現在AI正夯 就像以前Siri剛推出一樣 用過ChatGPT後 覺得Siri跟OK Google根本就是___! 但重點來了1
[問卦] google怎麼不快弄一個chat bot?yo 兩年前學AI的時候 google bert毀天滅地 各種刷榜 結果上個月chatgpt出來嚇到一堆人 AI居然發展到這種程度了 阿gpt主要靠的是上下文關係 反而bert的架構比較偏文意理解 google怎麼不快出一個基於bert的chat bot來打chatgpt1
[CGPT] Chat GPT入侵南方公園(S26E4)這集真的快笑死 Chat GPT拿來把妹真的有用嗎? 居然還找山頂洞人用巫術找誰在用Chat GPT 連字幕都寫這集有用Chat GPT寫 太神啦!
[問卦] 奧斯卡轉播怎麼不用AI同步字幕？最新奧斯卡頒獎正在直播 台視負責台灣地區轉播 請了兩個人在那邊同步口譯加補充 據我所知 現在yt都用自動軟體擷取音訊轉成字幕
爆
[閒聊] 魔物獵人荒野 調整直播 倒數5分鐘![[閒聊] 魔物獵人荒野 調整直播 倒數5分鐘](https://img.youtube.com/vi/DpwFWEaknKE/mqdefault.jpg "[閒聊] 魔物獵人荒野 調整直播 倒數5分鐘")
爆
Re: [推投] JoJo的奇妙冒險 最喜歡一部「1票」 催票爆
[閒聊] 福田己津央: 「何等殘酷的殺法」![[閒聊] 福田己津央: 「何等殘酷的殺法」](https://i.imgur.com/wvVsRCib.jpeg "[閒聊] 福田己津央: 「何等殘酷的殺法」")
75
[閒聊] 不知出處的Ave Mujica幹圖![[閒聊] 不知出處的Ave Mujica幹圖](https://i.imgur.com/2GYVJbIb.jpeg "[閒聊] 不知出處的Ave Mujica幹圖")
66
[情報] DCU《超人》首支預告![[情報] DCU《超人》首支預告](https://img.youtube.com/vi/uhUht6vAsMY/mqdefault.jpg "[情報] DCU《超人》首支預告")
66
[閒聊] 你明明就用我處男畢業的…![[閒聊] 你明明就用我處男畢業的…](https://i.imgur.com/wpm0WQcb.jpeg "[閒聊] 你明明就用我處男畢業的…")
65
[PTCGP] 福至心靈的得卡挑戰三連抽![[PTCGP] 福至心靈的得卡挑戰三連抽](https://i.imgur.com/HJMxUiub.jpeg "[PTCGP] 福至心靈的得卡挑戰三連抽")
55
[閒聊] 一位女性她外遇的後果![[閒聊] 一位女性她外遇的後果](https://i.imgur.com/S0BrI7gb.jpeg "[閒聊] 一位女性她外遇的後果")
51
[問題] 有沒有女配角漸漸成為女主角的作品？49
[閒聊] 吉伊卡哇辱華![[閒聊] 吉伊卡哇辱華](https://i.imgur.com/fCKMIEnb.jpg "[閒聊] 吉伊卡哇辱華")
45
[閒聊] Falcom社長承認軌跡玩家越變越少了![[閒聊] Falcom社長承認軌跡玩家越變越少了](https://i.imgur.com/fumVeJ0b.jpeg "[閒聊] Falcom社長承認軌跡玩家越變越少了")
45
[閒聊] 兔田Pekora開卡開到最大獎MIKO簽名卡![[閒聊] 兔田Pekora開卡開到最大獎MIKO簽名卡](https://img.youtube.com/vi/0eZ2dysHb9g/mqdefault.jpg "[閒聊] 兔田Pekora開卡開到最大獎MIKO簽名卡")
43
[情報] 暴食的怪獸公主韓國steam下架![[情報] 暴食的怪獸公主韓國steam下架](https://store.cloudflare.steamstatic.com/public/shared/images/responsive/steam_share_image.jpg "[情報] 暴食的怪獸公主韓國steam下架")
42
[閒聊] 一年前常溫超導體如果成真，會怎樣？40
[閒聊] 為何手遊裡有捉i劇情就會很開心![[閒聊] 為何手遊裡有捉i劇情就會很開心](https://i.imgur.com/Ae8KC57b.jpeg "[閒聊] 為何手遊裡有捉i劇情就會很開心")
40
[鳴潮] 朕要去國外找洋聲骸了![[鳴潮] 朕要去國外找洋聲骸了](https://i.meee.com.tw/whNTQAu.png "[鳴潮] 朕要去國外找洋聲骸了")
59
[討論] 重返1999活得怎麼樣，推薦入坑?![[討論] 重返1999活得怎麼樣，推薦入坑?](https://i.imgur.com/p1bayzjb.jpg "[討論] 重返1999活得怎麼樣，推薦入坑?")
37
[閒聊] 精神狀態不穩的大奶JK![[閒聊] 精神狀態不穩的大奶JK](https://i.imgur.com/o3OiUMzb.jpeg "[閒聊] 精神狀態不穩的大奶JK")
35
[閒聊] KILL la KILL 1~3 後面還能更熱血嗎!?97
[閒聊] 日本搞笑藝人是什麼存在？![[閒聊] 日本搞笑藝人是什麼存在？](https://img.youtube.com/vi/GeX359R601A/mqdefault.jpg "[閒聊] 日本搞笑藝人是什麼存在？")
48
[閒聊] LOL冠軍跟CS冠軍哪個比較屌![[閒聊] LOL冠軍跟CS冠軍哪個比較屌](https://i.imgur.com/6Ru7al5b.jpeg "[閒聊] LOL冠軍跟CS冠軍哪個比較屌")
30
[閒聊] 鋼彈W台灣只有萬年op1是不是很可惜？![[閒聊] 鋼彈W台灣只有萬年op1是不是很可惜？](https://img.youtube.com/vi/FdyJDp_8FUs/mqdefault.jpg "[閒聊] 鋼彈W台灣只有萬年op1是不是很可惜？")
30
[FGO] GD夫還是處男的機率很低吧![[FGO] GD夫還是處男的機率很低吧](https://imgpoi.com/i/XPTV02.jpg "[FGO] GD夫還是處男的機率很低吧")
29
[閒聊] 有若葉睦這種女友會是怎樣的光景？![[閒聊] 有若葉睦這種女友會是怎樣的光景？](https://i.imgur.com/dBGw5EZb.jpeg "[閒聊] 有若葉睦這種女友會是怎樣的光景？")
29
[24秋] 地錯 五期 11 海慈好讚![[24秋] 地錯 五期 11 海慈好讚](https://i.imgur.com/sE4GF0xb.jpeg "[24秋] 地錯 五期 11 海慈好讚")
28
[情報] 亂馬1/2 第12話預告「必殺珊璞」![[情報] 亂馬1/2 第12話預告「必殺珊璞」](https://i.imgur.com/LtblzYNb.png "[情報] 亂馬1/2 第12話預告「必殺珊璞」")
28
Re: [閒聊] 福田己津央: 「何等殘酷的殺法」28
[PM] 早期的PM設定？27
[閒聊] 遊戲王Arc V有什麼必看的回數嗎？![[閒聊] 遊戲王Arc V有什麼必看的回數嗎？](https://i.imgur.com/5CmMoqAb.jpeg "[閒聊] 遊戲王Arc V有什麼必看的回數嗎？")
26
[閒聊] 知道嗎，魅魔可以變成對方渴望的模樣喔![[閒聊] 知道嗎，魅魔可以變成對方渴望的模樣喔](https://i.imgur.com/KgPXtrxb.jpeg "[閒聊] 知道嗎，魅魔可以變成對方渴望的模樣喔")