Re: [閒聊] 欸不是，買個顯卡還要買驅動= =
另外開一篇
在Docker/Container概念開始流行之前，多重環境同時執行的概念
從"模擬"，也就是用軟體進行binary translation，這種只靠CPU進行軟體運算的
環境
到"虛擬"，在原生硬體上建立多個"楚門的世界"，並且都享有原生硬體效能
到"函式庫共用"，同指令集架構的軟體，如果函式庫相同，則直接引用
不須要再建立那麼多楚門的世界
2013年開始的GPU虛擬化只是當時要興起的硬體虛擬化浪潮其中一環
而且還吃力不討好，因為要牽動從硬體層，韌體層到軟體層全部的設計
2020年的安培架構資料中心產品A100，多重執行實體Multiple Instance GPU
某種程度上解決了對於硬體依賴性的虛擬化方案
試想一下，如果今天GPU裝在一個還沒支援PCI IOMMU的平台上
那GPU硬體虛擬化便無用武之地，例如ARM
而MIG的作法提供了簡單的驅動程式層隔離，脫離對硬體虛擬化平台的依賴
MIG方案其實設計得很細，在不依賴硬體虛擬化的前提下，instance profile
把CUDA core數量，VRAM，硬體編解碼單元的劃分方式都考慮進去了
除了等分切割，還支援混和規模切割(例如切一個大一點的VRAM instance
然後把剩下的VRAM都用最小單位切割)
而且文中提到，這些instance可以各自執行不同變數類型的workload
FP32，BF16，FP64，TF32...
那vGPU呢?
這其實不太能跟MIG拿來比較，因為vGPU其實是作為虛擬桌面解決方案
的，他的設計是從遠端桌面環境體驗去設計的，而MIG僅能執行"運算"
更新說明虛擬化等級:
Host OS->最常見的使用情境，就是安裝一個例如Windows 10/11，RHEL，SLES
Guest OS->虛擬機當中運行的OS
Hypervisor->虛擬機管理軟體，用來溝通其下層的資源提供來源與虛擬機群
不論資源來源提供是原生硬體還是CPU進行軟體模擬
Level 0虛擬化 -> 虛擬機管理員hypervisor直接控制硬體，沒有預先安裝
Host OS，hypervisor自己就是host OS，例如VMware ESXi，Citrix XenServer
Level 1虛擬化 -> 一開始的Host OS還在，但退化成虛擬機的角色作為
管理介面，改由hypervisor核心來控制硬體，開機一樣會進原本的OS GUI
例如Hyper-V，SuSE Xen kernel，此時該虛擬機被定義為Parent
Level 2虛擬化 -> Host OS當中安裝hypervisor，對硬體沒有控制權，僅作為
一個應用程式來執行，例如VMware Workstation，Oracle Virtual Box
Parallels Desktop
原po的方案我想應該是level 0，雖然proxmox我沒有接觸過
vGPU的方案是在這環境下，hypervisor(此處為proxmox)透過驅動程式
控制GPU，並且利用驅動程式提供的功能建立vGPU
這個vGPU是一種"子項目"，"子分支"，大概是這樣的概念
vGPU可以提供1/1到1/n(n視該卡型號提供的分割而定)GPU硬體的效能
並且占用PCI bus形成硬體通道，讓guest OS可以使用
上面提到的控制權是一個很重要的點
Host OS上了驅動程式，則Host OS核心可以透過驅動程式控制該硬體
其他OS核心無法控制，在虛擬化環境中則是
Hypervisor控制了GPU，因此guest OS無法直接控制GPU，頂多只能透過
軟體來"分"一些GPU效能
如果希望要guest OS群都能享受原生硬體存取，免去軟體轉譯的效能耗損
1. Passthrough
叫hypervisor不要用，不上驅動程式，並且設定為passthrough
成為等待指派的資源，接著guest OS來占用，帶著這張硬體開機
然後guest OS得到這張硬體，比照host OS方式安裝驅動，享受該卡全部
硬體效能，但也因此當要調度硬體時，必須要先關虛擬機，造成downtime
2. SR-IOV
GPU卡建立一些硬體通道，讓這些硬體通道分布在PCI bus上
guest OS可以占用這些硬體通道，雖然只能得到1/n的GPU效能
但在需要調度效能的時候，因為hypervisor控制硬體，所以不會受限
於任何guest OS獨佔，只要GPU還有剩餘可調度效能，隨時可以變換規劃
由於proxmox不是NVIDIA支援項目，所以我猜proxmox是設計成直接讀取
給其他hypervisor用的驅動程式，例如VMware ESXi
但因為可能有license鎖，所以可能要花時間去改動一些細節才能
讓proxmox利用
--
你幹嘛不上一篇編輯就好 洗文章?
不好意思，我很少回文，版面操作不是很熟悉，感謝指教
噓一樓 PTT現在文章數沒什麼用
那就推回來...至少人家還是有心
這麼多字你想洗還洗不出來
這一兩篇單字我都看得懂，但組再一起沒有一個詞看得懂
原PO真的專業戶，有空再邊google邊看到底是在說明什麼東西
好不容易有專業文
感謝，希望分享一些商用產品的測試經驗對各位有幫助
以前沒有官方支援vGPU，要搞GPU資源隔離或是切割的做法還
滿邪門的
感謝 漲知識了 我對vGPU其實也沒什麼研究 就單純覺得現代
PC應該可以完全虛擬化 想玩玩看
一樓打的出來這些字嗎? 笑死
不然你來講
我打不出來 真是抱歉 但我覺得能編輯為啥不編輯
文章又不是很舊或是相隔很多篇
我剛試著編輯文章，發現並不是只編輯內文
而是連留言都一併顯示，有點看不懂這樣是否會動到版面
proxmox我沒有接觸過，也蠻好奇它提供到什麼程度
補推
專業文求洗好嗎
這種有料的文越多越好，雖然我看不懂QQ
沒事，討論就好別在意 沒啥大不了的
雖然專業，不過有電蝦點嗎XD
編輯文章的留言底下換行 不去動到留言的行不會有事的
編輯期間新增的推文也不用擔心洗掉 但手機App要擔心
有阿，極客灣就搞過虛擬化GPU四開虛擬機器打CS。應該是?
是極客灣還是某科技，我忘了。但概念大概雷同?
極客灣沒錯
四等分顯卡 不過是hyperV
這種專業文多洗一點才好 不像某大濕整天廢文
之前看GPU虛擬化技術上多難的的文章 結果nv好像已經克服了
20系顯卡被人發現只要改id就能解鎖vGPU，只是不想下放消費
級= =
能用跟足夠用我個人是覺得兩回事。能用應該好解決
但是足夠用就是問題惹，經過層層轉譯堆疊被吃掉的不知多少
問個不專業的問題，一般消費級顯卡有辦法虛擬化嗎？有時
候不想動到電腦的東西想在VM裡面測試一些東西
這要看希望實作的虛擬化環境是什麼結構了 假設要維持，例如Windows 10/11好了，是一個host OS 則可以試試Virtual Box，它可以用軟體模擬方式在guest OS內執行DX11程式 Hyper-V那種做法其實是passthrough，微軟稱為Discrete Device Assignment 但Easy GPU PV的細節不太清楚，從極客灣他們的實測來看應該是搶佔式分享 而且Hyper-V的DDA我記得僅限Server，他們大概做了很多改動才辦到的 或是用VMware Workstation Pro，也能支援在guest OS中執行DX11程式 這種做法比較像是"虛擬機來借用一點GPU效能，但沒有GPU的控制權"
樓上可以參考一下我前面說的那個極客灣搞事影片，原理應該
相似。
顯卡虛擬化理論上需要有硬體支援 20系消費級顯卡很多只要
改id就可以解鎖虛擬化能力(vgpu_unlock) 不過還有hyperV、
GPU分區之類不用硬體支援的方法 還在研究中
還寧可這種文多洗幾篇 不然還要去看原文的耶
推
虛擬化給推
受益良多，之前在研究計算卡都很少討論...或是能力不足
找不到，只能看NV官方說明超怕找錯方向XD 所以以純AI計
算來講MIG系列應該比較適合
專業文推
推
就內容來說開一篇不過份啦 只是這標題會很難找
標題難找不是問題 不然有誰還記得以解決的標題是什麼
還是一樣每次都有人把#找出來XDDD
恩恩 跟我想得差不多
你只要孤狗ptt 以解決就能看到那篇www
找以解決有啥難的 找推=100跟請益不就得了
這邊顯卡虛擬化講得不賴阿~我做系統整合的都不熟~慚愧
推有料文
一樓是在噓啥，這麼有料的文章我還巴不得原PO多洗幾
篇
平常都只用到level2，連原理都不知道，專業文收藏
這內容推文是要打多久 一樓是在兇幾點
科普分享有什麼好噓？
推
原來不是只有我看不懂 XDDDD 太專業了
推專業
一樓很行的話 麻煩多洗幾篇文章啊
一樓有事嗎
好啦人家都道歉了別這麼凶啦XD
我感覺到第一次翻開計算機概論時看到的光
windows subsystem又是另一個坑，tensorflow windows版不能
用GPU但WSL的Linux on Windows版可以
用心分享推
嗯嗯，跟我想的差不多
tensorflow win可以用gpu啊 我四年多前就用過1060了
推優文
PUSH
proxmox好像沒辦法切割一般遊戲顯卡如3080成vGPU 說是
不支援虛擬化 要運算卡才可以
看了原PO那篇 他遇到跟我一樣的問題沒錯 哈哈哈幹 我也
好想顯卡虛擬化
push! 謝謝分享
tensorflow只有舊版可以，四年前當然可以，新版就不行了
1樓這麼氣喔
tf現在新版也都還可以啊，windows環境下還是可以調用
GPU阿...我覺得新版還比舊版(之前是1.14)方便一點點，
雖然環境搞起來還是挺繁瑣就是了==
推專業
現在虛擬化的效能很不錯，損失也不大，但問題是到client
中間還是有一堆延遲和瓶頸
推專業文!
推, 優質文
我的舊版指是2.10以前，從2.11開始windows停止支援GPU
推這篇
真假 抱歉 我以為2.8算新的了XD
tensorflow官網文件提到用pip安裝Windows支援GPU
幫推，專業文可以多來幾篇
你把一堆傘亂資訊總結專業文 給推
tf已經沒有windows原生gpu了 要wsl2才能支援
猛
長知識推。 工作上有用到proxmox，但是只用到xeon
內建GPU給VM用而已XD
1樓快點寫一篇專業文來洗
嗯，跟我想得一樣，我以為大家會這樣說
這種文再多我也不介意呀
推專業文
這是免費可以看的嗎
推
下次還是編輯就好...
只懂到passthrough，SR-IOV還是很模糊。
推專業文
這是專業文吧，看了半天還是看不懂，感覺很專業！
Proxmox是在qemu/kvm上套一層自己的介面，算level 1
MXGPU其實有打出市場，Instinct MI系列一直混的不差，
只是消費級看得到吃不到，開源支援幾乎是零
最近還有一種玩法是GPU-over-IP，直接跳過硬體層
雖然不太了解 不過推專業
一樓有貓餅 幫推專業文
這篇超專業好嗎...有本事自己打一篇別只出張嘴...
一樓也洗一篇這麼長的
推推
推專業
原來tf新版不支援了 感謝資訊
推，感謝分享
這種文還不夠格新開一篇，待會來看看一樓都寫些什麼神級論
文發在PTT。科科
TF可以在windows下用GPU啦，就算到WSL2下也是要把windows
下該裝的CUDA裝好
之前裝2.10還有，2.11我就不清楚了
推
我是碼農我看不懂，我好廢
可以敲碗就下集嗎??
19
首Po是這樣的 最近看對岸有批好便宜的tesla p4 一張大概只要NT 2000 性能大概有1070-10%等級 功耗不到75w 長期在資料中心吹冷氣 而且還支援vGPU![[閒聊] 欸不是，買個顯卡還要買驅動= =](https://i.imgur.com/HIy4YHdb.jpeg "[閒聊] 欸不是，買個顯卡還要買驅動= =")
6
是這樣的 曾經，在NVIDIA vGPU還不叫這個品牌名稱的時候，最一開始叫做GRID，2013年 一開始支援的GPU是一個專屬的產品線叫做K1/K2 那時候算是NVIDIA做GPU虛擬化的起步 1.0版本扣掉軟體模擬模式與PCI pass-through模式來看12
這邊多解釋一下好了，雖然說推文內也有人提到部分 Proxmox基本上底層的Hypervisor即是Linux KVM，這部分NVIDIA目前也已經支援了 大約是2020還2021年的時候開放的，且一樣需要授權才可以使用 而且記得沒錯還需要在在自家架一個授權管理伺服器 而在KVM的實現方式，基本上跟NVIDIA原本差不多![Re: [閒聊] 欸不是，買個顯卡還要買驅動= =](https://i.imgur.com/g14uYsEb.png "Re: [閒聊] 欸不是，買個顯卡還要買驅動= =")
4
Proxmox的PCI(e) pass through我的建議是不適合初學者，最好是有經驗 能自己解決問題的人再來用。 如果是很重要的機器，請謹慎使用，並不是說這個東西不好裝或設定， 而是就算你現在系統都裝好，使用上也都沒問題， 但難保下一次更新就整個不能用了。![Re: [閒聊] 欸不是，買個顯卡還要買驅動= =](https://forum.proxmox.com/styles/uix/images/Proxmox-logo-stacked-white-background-1200.png "Re: [閒聊] 欸不是，買個顯卡還要買驅動= =")
17
看到版上在討論vGPU 身為vGPU相關的工程師應該是有資格來討論(? 先來談談虛擬化這件事情 虛擬化就是透過hypervisor(如VMware,kvm)之類的平台 在單一主機的環境上面，虛擬出多個作業系統
65
[情報] Google Play Game 最低需求規格就是之前Google說要出來自己做的Android模擬器 目前封測募集中 最低軟硬體規格也出爐了 Windows 10 (v2004)![[情報] Google Play Game 最低需求規格](https://i.imgur.com/TjwPv0xb.jpg "[情報] Google Play Game 最低需求規格")
26
[測試] Intel第十一代Rocket Lake Core i5-11400狼窩好讀版： ●Intel Core i5-11400規格： 產品系列：第11代Intel Core i5處理器 核心代號：Rocket Lake![[測試] Intel第十一代Rocket Lake Core i5-11400](https://i.imgur.com/EzxOAMib.jpg "[測試] Intel第十一代Rocket Lake Core i5-11400")
22
[情報] 老黃的遊戲顯卡現已被發現啟用虛擬化方法GPU虛擬化就跟CPU虛擬化一樣 將硬體資源虛擬分配給多個虛擬終端 可用於3D建模或是科 學工作 最親近我們使用者的實例就是GeForce Now 其採用GRID![[情報] 老黃的遊戲顯卡現已被發現啟用虛擬化方法](https://i.imgur.com/jdbbkhab.png "[情報] 老黃的遊戲顯卡現已被發現啟用虛擬化方法")
17
[情報] AMD新驅動支援win10 2004硬體加速GPU排原文 只翻譯重點 NV 上禮拜新驅動支援硬體加速GPU排程之後AMD 也有了。但是看看youtube 測試開關這功能 的差別，開啟後fps 反而變低![[情報] AMD新驅動支援win10 2004硬體加速GPU排](https://images.anandtech.com/doci/15886/AMD_Drivers_678x452.jpg "[情報] AMD新驅動支援win10 2004硬體加速GPU排")
7
[請益] 想玩VM/PVE 硬體大方向要怎麼選擇？如題 舊電腦也快不行了，最近幾個月應該要組新電腦了 但這次我想玩一些不一樣的 想用Proxmox VE這套軟體做整機的虛擬化 把NAS、個人環境、測試環境 整合在一台電腦上面7
[情報] NVIDIA為創作者推出RTX 6000 48GB AdaNVIDIA透過添加RTX 6000 Ada Lovelace顯示卡擴展了其以工作站為中心的RTX產品線。 新聞稿：借助提供即時渲染、圖形和AI的全新NVIDIA RTX 6000 Ada Generation GPU 設計師和工程師可以推動採用仿真的尖端工作流程來打造和驗證更複雜的設計 藝術家可以將講故事提升到一個新的水平，創造更引人入勝的內容並打造身臨其境的虛擬 環境![[情報] NVIDIA為創作者推出RTX 6000 48GB Ada](https://i.imgur.com/ElhXjfgb.png "[情報] NVIDIA為創作者推出RTX 6000 48GB Ada")
6
Re: [請益] 5G O-RAN 請益如果是我，我會這樣說。 5GC ---> RAN ---> RRU O-RAN 是因為SA架構下 RAN已經徹底虛擬化，可以被拆解為DU及CU。 而DU跟CU內容功能又是軟體處理，可以虛擬化，衍生很多邊緣計算運用。 所以建立Open-RAN 規範讓大家都能參與開發，只要能找到應用商機就能獲益。X
[情報] NV推AI企業軟體套件協助各行各業發展NVIDIA 今日宣佈推出 NVIDIA® AI Enterprise，這是一套全方位的企業級人工智慧 (AI) 工具和框架軟體套件 由 NVIDIA 提供最佳化、認證及支援服務，專供今日另外宣布推出的 VMware vSphere 7 Update 2 使用。 NVIDIA 與 VMware 這項業界首見的合作所開發出的 AI-Ready Enterprise 平台
![Re: [情報] 蘇媽AI MAX的內顯直接打上RX 7600/3060](https://cdn.mos.cms.futurecdn.net/G8rYFJAuHGkcLBjSurhnAb-1200-80.jpg "Re: [情報] 蘇媽AI MAX的內顯直接打上RX 7600/3060")