[問題] 窗戶外推後的問題請教

大家好，想請教一個問題。
家裡有個房間當初裝潢時就窗戶外推了。
那當時是設定為儲藏室，沒住人，所以沒影響。
結果最近因為變動，可能得要改為住人的房間。

因為那間房間面北，之前冬天進去的時候真的是冷得要死
若現在要住人的情況下，我知道可以開暖氣改善冷的問題。
但是只要靠近窗台邊就可以感受到風灌進來的冷
想請問看看有沒有什麼辦法可以改善這種問題？

https://i.imgur.com/Hu3A3NZ (借用網路的圖)

--