楊貴妃見皇帝對她恩情如舊，便求對她們楊氏一門再加寵眷，玄宗自然是會讓她滿意的。本來就承主恩、什麽都不在乎沒事人似的虢國夫人，更是放縱到了十分，玄宗原賜與虢國夫人的宅第，與韓國、秦國兩夫人宅第一樣，虢國夫人自謂是天子的外寵，不甘與姊妹同等，玄宗說：“卿愛誰家宅第，去購就是了，朕與卿付價。”
中書韋嗣立宅第最是闊大，這日韋家飯後無事，正在庭院中閑坐著，忽然見一乘步輦，直抬進中庭停下，一個黃羅披衫的貴婦人從輦中扶出，數十個嬌侍豔婢簇擁著，旁若無人地四處看著望著。韋家諸內眷十分詫異，韋老夫人迎上去問：“不知貴夫人是誰家眷屬？光降寒舍，有何見教？”
那位貴夫人高高地揚著臉仰著脖子，以顯示她不同尋常的傲與貴，冷冷地說：“你們家的宅子，我要買下了。”韋老夫人忙搖手道：“夫人當是誤聽人言，此屋是先夫舊廬，何忍舍去。”
韋老夫人一話未畢，卻忽然有工役數百人一擁而入，韋家子侄紛紛上去攔阻，工役們三拳兩腳打開，就登屋上樓，紛紛拆屋卸門窗，石塊瓦片雪點似地落在庭心裏。韋家的細軟衣物，全被拋棄在路旁，而他們全家人也全被趕了出去，韋老夫人怕弄出人命，隻得喝斥兒孫們忍氣吞聲地受著。直到第三天，才有人來對他們說，原來是虢國夫人看中了他家的宅第，如今陛下賞韋家京師以外的一方地，重建屋舍。
那邊韋家草草地重蓋了幾間房屋，將就過日子，這裏虢國夫人卻在韋家的房基上大興土木。畫棟雕梁，倍極華美，一時間不要說那三位國夫人府，包括其他權臣如國忠和李林甫的相府，就是長生殿也不及虢國夫人的宅第精美。別的不說，單灰粉塗壁一項，就把百花的香汁和在泥粉中，塗在牆上後，滿屋子裏永永生香。那年冬天，京師忽起大風，虢國夫人宅第中的一棵合抱粗的大樹，都被連根帶土拔起，虢國夫人忙命人上屋子去查看屋脊可曾打壞，誰知屋瓦絲毫不曾損傷，因為這些屋瓦全是用精銅鑄成的。為虢國夫人造這座宅第，玄宗花去了一千萬兩銀子。