[情報] Toyota正在研究基於視覺的Pseudo-Lidar
影片:
https://youtu.be/SLEK2vAgjOI
https://i.imgur.com/FyhcjVO.jpg
了他們的深度估算方法,該方法利用其深度學習從單顆鏡頭的未標記拍攝影片
中做到類似LiDAR 對於深度(距離)的測量。影片很長所以提供幾個重點:
1. https://i.imgur.com/EOJq2ih.jpg
起來YT 影片數據量就只是個小泡泡。
2. https://i.imgur.com/TTuloRZ.jpg
未來要擴展到加入自監督學習(Self-supervised Learning)。
3. https://i.imgur.com/3fUsRzM.jpg
而且Cameras 便宜且易於安裝,不需要改變目前的車輛設計。
4.
他們認為他們自己的結果適用於白天和理想的天氣條件,在雨中效果也很好。
,另外夜晚測試他們還未做過。
與其他人的比較:
https://i.imgur.com/dMlPQH0.jpg
真實視覺影像、他們的結果、與3D 點雲的比較:
https://i.imgur.com/vk1t7Yh.jpg
影片從約14:00 開始:
https://youtu.be/SLEK2vAgjOI?t=839
5. 為何可以用單目攝影機就做到偵測深度?利用frame t 與frame t-1
雙目攝影機的做法:
https://i.imgur.com/Sn6w8yV.jpg
單目攝影機的做法:
https://i.imgur.com/XsCmPdl.jpg
後面幾乎都是在解釋技術細節,有興趣的人麻煩自己看就不節錄了。他們的工
作已經在2019年5月寫成論文發表,而這段在研討會上的影片則是在10月份。他
們所做的事情幾乎可以說跟Tesla 在做的事情十分的類似,在去年4月的Tesla
Autonomy Day 上,Autopilot 部門主管就曾經展示過類似的影片:
https://i.imgur.com/fmtBWFV.jpg
另外在今年二月份時,他也在Annual Scaled Machine Learning Conference
上展示了更詳細的成果:
https://i.imgur.com/gqWQtD8.jpg
Self-supervised Learning 與泛稱為pseudo-LiDAR 的技術其實有許多人在做,
其中有學者、有新創公司、當然也有車廠在做,其中最為人知的應該就是Tesla。
但是從這份資料中可以知道Toyota 這種老車廠其實也有在研究,而且據他們的
說法得到的結果很好可行性很高,所以用一般的攝影機來取代LiDAR 並不是不
可能的事情,當然還是有人認為要做到真正的無人駕駛非LiDAR 不可,到底結
果如何這就留待時間去證明,再過幾年就會知道了。
--
宅男Elon Musk 18年年底與Tesla 員工聚會:
https://i.imgur.com/M3p884k.png
--
車用感測器從來就不是一般消費型的
LiDAR 成本也可能越來越低
為了避免像特吹一樣在路上睡覺碰碰吧
再怎麼低也不會比鏡頭低啦
第一條怪怪的,它賣了1000萬台,但是有網路能即時提供影
像回傳的又有多少
你講到他的盲點了。我覺得他是在講這麼多車有潛力做到這樣吧
MonoDepth != Pseudo-Lidar
MonoDepth主要指在camera coorindate利用depth consisten
cy來提供depth net損失信號
Pseudo-lidar主要是在有了per-pixel depth情況下將pixel
投射回camera or world coordinate 來當作semantic/dense
point-cloud處理
謝謝分享知識!
※ 編輯: Scape (36.224.202.239 臺灣), 07/09/2020 13:03:0753
Re: [分享] 特斯拉國道直直插入貨車車廂內影片We Crash Four Cars Repeatedly to Test the Latest Automatic Braking Safety Systems 2018年11月的文章 測試車款:18
[分享] 特斯拉FSD beta 來比眼力有沒有比AI好這個youtuber將FSD AI看到的畫面結合實際行車畫面 有幾個亮點, 你去觀察對向車道,或是更遠處都可以發現AI都可以清楚知道車子位置在哪 換句話說,FSD用了鏡頭就可以模擬光達的距離偵測了 這個技術已經被特斯拉提出為專利25
Re: [新聞] 特斯拉下個版本FSD接近完成最終不需雷達話說這是大概1個月前Musk的推特內容 新聞跟原PO也lag太久..... 推特短短幾行,報導還可以寫這麼多也是不容易 然後更有趣的一點 一邊說使用pure vision,一邊把不專注路況的FSD beta車主排除在外唷XD25
Re: [分享] 美國自動駕駛競爭力車廠排名!標題""美國自動駕駛競爭力車廠排名"有些不正確 報告是: Assessment of Strategy and Execution for 18 Companies Developing Automated Driving Systems 1. 18家發展"自動駕駛系統"的公司,並不侷限於車廠21
Re: [新聞] 國道開"自動跟車"...碰! 慘撞"靜止工程先講結論 感測器感測距離比人眼還遠,問題在感知上(確認前方是否有車) 1. 雷達並不是偵測不到靜止物 但為了避免誤作動,選擇只輸出移動物體量測 2. 攝影機會有少數例子無法感知的情況(斜著的貨車、翻覆的貨車等)3
Re: [分享] 特斯拉FSD beta 來比眼力有沒有比AI好笑死,你又把你自己的妄想拿來當證據了,啥“初代光達”! 20年前,連名稱都還沒統一叫Lidar時,就已經在研究使用光電感測器陣列直接生成三維影像了, 一開始研究光達的時候,就有人從雷射全像技術出發,從來沒有你想像的“一維”Lidar : : : 你講的應該是 Rolling Shutter 造成的果凍效應,6
[北美] 徵人 Full-Time Qualcomm 無人車 DL小弟在Qualcomm無人車Lidar部門,最近有一位同事離職,我們部門想要找一位有 Deep Learning background的Full-Time職缺,有Lidar相關經驗更好, 但主要還是Deep Learning based object detection or segmentation,地點在San Diego 在現在失業率高升的時刻,沒想到公司還會想找人(表示應該可以撐過這次難關吧@@) --5
Re: [分享] 台灣之光 特斯拉沒這個問題話說這篇文的作者都說他是Tesla的超級粉絲了..... Ark Invest原文電子檔1
Re: [分享] 特斯拉FSD beta 來比眼力有沒有比AI好笑死,光達輸出的資料從來就是三維的,只有一維的叫雷射測距儀。 如果是更早之前還在用LADAR為名的時代,還有更多是利用全像原理,用相位差生成三維資料的技術。 對系統來說,不過感測器是用甚麼原理,輸出的資料格式如果是三維的,那就是三維, 有差別的只是更新率而已。 而光達輸出的一直都是三維資料,即使是平面光達,也是三維資料降維。