PTT推薦

[Vtub] AI是不是可以做即時字幕了?

看板C_Chat標題[Vtub] AI是不是可以做即時字幕了?作者
wei115
(社畜)
時間推噓22 推:22 噓:0 →:43

如題

像是這部短片 都是日文

看攏無

https://www.youtube.com/watch?v=6Sx13Our0Io

但在chatGPT的加持下

他可根據 google廢到笑的日聽字幕

大致總結出 這部短片的大綱
https://i.imgur.com/99Wg6Qs.png

圖 AI是不是可以做即時字幕了?

這樣想想,如果結合語音模組

使用chatGPT應該可以產生出非常具有可讀性的即時字幕八?

目前來看可能價格比較高

已一部兩小時的直播來說,token數用api計費應該可以到NT1000?

有西恰嗎?

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.134.21.189 (臺灣)
PTT 網址

IHateNMR03/24 17:18yt不是早就有即時生成字幕了

Julian9x9x903/24 17:18早就可以了吧 只是準確度問題

重點就是準確度R 本來機器字幕辨識度就有問題,加上機器翻譯 根本看不出要說什麼 可是gpt卻可以從這樣混亂的文字中 總結出可性度較高的資訊 如果直接對字幕進行翻譯 準確度應該會比現在googl翻譯高很多,至少我感覺至少可讀了

lolic03/24 17:18那就變雅婷逐字稿了

※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:21:00

johnny303/24 17:19即時字幕有個問題 不同文法的字幕斷句

vibianus03/24 17:19會議軟體已經有即時翻譯了

johnny303/24 17:19像是日文動詞放後面 不講到最後不知道這句多長 然後要切

johnny303/24 17:19成合適的長度放回去原本畫面裡

cat05joy03/24 17:20早就有了吧 實況有種插件就是即時字幕+機翻

johnny303/24 17:20所以文章比較適合翻譯 字幕不適合

GPT有上下文的觀念 這應該是他擅長的領域

greg9032603/24 17:21到時候給你亂加料

RamenOwl03/24 17:22為什麼我之前把YT影片丟到chatgpt總結 他都掰一堆完全

RamenOwl03/24 17:22不相干的東西出來

因為他不會連網 也沒有視覺 GPT的世界只有文字 (他處理圖像就像MUD遊戲一樣 有另外一個AI看圖,用文字描述,然後再餵給GPT處理) 所以你給他網址他就 隨便掰一個答案給你

※ 編輯: wei115 (220.134.21.189 臺灣), 03/24/2023 17:25:16

guogu03/24 17:23你都總結了怎麼即時==

BBQman03/24 17:23不太行,我烤肉會先用YT的字幕功能輸出日文字幕來抓時間

BBQman03/24 17:23軸,效果奇差,再翻譯成中文一定更破

johnny303/24 17:23因為chatgpt沒資料 你問他他當然無法回答

BBQman03/24 17:24更不用說Miko,有時候還偵測成韓文

johnny303/24 17:24這個軟體是用api串接 是有資料丟給gpt引擎叫引擎回答的

RamenOwl03/24 17:24我之前放一個兒童共同注意力的影片,他講成什麼韓國愛

RamenOwl03/24 17:24心食堂,還有南非反種族隔離運動者夏綠蒂賈爾納

astrayzip03/24 17:25即時字幕還有一個問題啊 講的人口齒不清就沒辦法辨識

johnny303/24 17:27yt字幕就我說的切字幕問題 如果是印歐語系互轉問題會比

johnny303/24 17:27較少 因為可以直接1對1換詞就好

guogu03/24 17:28我是有試過漫畫圖片轉文字後丟chatgpt讓它翻 非常不行

gasgoose03/24 17:28看爽的沒差 但要求正確性就無法 如果全信被誤導的

gasgoose03/24 17:28機會也不小 就

gasgoose03/24 17:28看目的為何

chung200703/24 17:29https://www.plurk.com/m/p/p77ea8

chung200703/24 17:29這裡幫你整理好了

bestteam03/24 17:30還需要時間發展

bestteam03/24 17:31英文的V說不定可以

mistel03/24 17:31要即時應該有困難 可是反正影片都是上傳好的只要轉一次就

mistel03/24 17:31好 so...

mistel03/24 17:32google的廣告以外的商業模式真的很糞 像這種都是商機可以

mistel03/24 17:32做的結果你在那邊跟微軟耗@@

a188299128903/24 17:32怎就有了

work102403/24 17:32英文的已經可以接受了

JACK9014203/24 17:34

JACK9014203/24 17:34目前的即時字幕已經是簡單的AI了,舊技術也差不多夠成

JACK9014203/24 17:34熟。更複雜的技術開發者會著重在理解意思甚至是回應問

JACK9014203/24 17:34題,單純拿來上輔助字幕甚至是翻譯這塊潛力不足

tsubasawolfy03/24 17:34微軟之後要推的網路會議助理就可以語音轉文字,還

tsubasawolfy03/24 17:34可以幫你寫會議紀錄

jixiang03/24 17:36記得日、英好像可以即時

goliath03/24 17:36其實我覺得可以往解釋意思的方向發展 口說翻譯真的有難

tsubasawolfy03/24 17:37另外你貼的這功能,我有試過開日本YT影片,然後用e

tsubasawolfy03/24 17:37dge ai要他總結這影片在講啥。他還真的去網路搜尋

tsubasawolfy03/24 17:37搞出來

find6432403/24 17:38PR:…

ikaridon03/24 17:38都看過人直播即時中翻日的了

showwhat203/24 17:43我看過有人直播是一整排不同語言的字幕,但準確率普通

showwhat203/24 17:43

guogu03/24 17:45日本直播我看過不少有即時日文字幕加英文翻譯的

ryoma103/24 17:53主要先卡在生成準確度,喂給AI的樣本數夠多就能先排除第

ryoma103/24 17:53一關,後面翻譯就沒啥失準問題,像那個AI Vtuber就能跟她

ryoma103/24 17:53的作者做到對答如流甚至互嘴

tsubasawolfy03/24 17:57https://i.imgur.com/I12t35m.png

圖 AI是不是可以做即時字幕了?

tsubasawolfy03/24 17:57有字幕逐字稿的API比較強XD Bing只能用雲的

hylio775403/24 17:59我期待即時口譯機

ted5070403/24 18:09@johnny3

goliath03/24 18:10總覺得教育AI比教育小孩還有成就感了...

sudekoma03/24 18:21研發影片翻譯應該是最吃力不討好的吧,太容易露餡了

Workshy03/24 18:35再兩三年真的是就不用學外語了

resvb03/24 19:21英文字幕不用ai,即時生成就蠻準的了,看想不想投資源進去

resvb03/24 19:21而已