却说前昌邑王刘贺被废之后，连王号也一概削除。昌邑国改为汉山阳郡。上官太后仍许刘贺归到昌邑故宫居住，赐以食邑二千户。刘贺回到昌邑，终日幽囚宫中如同犯人，若是他人早已忧郁不堪。偏他不知愤恨安闲过日，但不比从前那种快意。到了地节三年霍光已死。宣帝亲理政事，念起刘贺也曾为帝，今虽被废住在昌邑，万一有人蓄意作乱，或者托名推戴，煽惑人心聚众起事，岂非养虎贻患。于是命张敞为山阳太守，随时防范方可放心。
张敞字子高，平阳人，昭帝时官为太仆丞。刘贺被征即位后，种种举动不遵法度。张敞上书切谏，刘贺不听，未几为霍光所废。张敞由此显名，擢为豫州刺史。
宣帝即位后召拜张敞为太中大夫，同判尚书事。张敞遇事守正不阿，因此忤了霍光之意，出为函谷关都尉。宣帝久知张敞才具过人，故用为山阳太守。
张敞于地节三年五月到任视事，查得故昌邑王刘贺现居旧宫，奴婢等在宫者共有一百八十三人，闭起正中大门，但开旁向小门，选吏一人为之主管钱物，每日买入食物一次，除食物外，其他不得出入。又用督盗一人，专掌稽察往来之人。更由王家出钱雇用士卒，巡逻宫墙，清除中禁，防备盗贼。张敞时遣属吏前往察看。
到了四年九月，张敞亲自入宫视察情形，刘贺闻信急出接见。张敞留心观看刘贺，见他年约二十六七岁，面带青黑色，小目尖鼻须眉稀少，身材却甚长大。只因酒色过度，得了痿病行动不便。身穿短衣大裤，腰佩玉环，头上插笔一枝，手中持着木简。张敞暗想从前我与他本是君臣，如今他并无爵位，算来反不如我，时异势殊，令人不胜感慨。
张敞一路行进，到了中庭与刘贺叙礼，分宾主坐下。张敞欲探刘贺之意，借着恶鸟动他，遂开言道：“昌邑枭鸟甚多。”刘贺急应道：“是，从前贺到长安，不闻有枭，及回时东行，到了济阳又闻枭声。”张敞听他说话毫无意思，遂不再言。
此时官吏见太守到来，照例将刘贺妻子奴婢财物簿册呈请张敞点验。张敞点至刘贺之女持辔，刘贺跪起说道：“持辔之母乃严延年之女也。”张敞闻言点头无语。共计刘贺妻妾十六人，子女二十二人，张敞逐一点验已毕。过了一时，张敞查知昌邑哀王刘髆有歌舞女张修等十人未生子女，且在后宫并无位号。哀王既死，照例应遣发回家。刘贺却说：“这些人有病不必诊治，自相杀伤也不必究办，太守何必遣其归家耶？”张敞心想此人始终不知仁义，与他更无话说。后来张敞还是将张修等人一律遣发。
张敞回奏宣帝，宣帝方悟刘贺不足畏忌。元康三年春，乃下诏封刘贺为海昏侯，食邑四千户。
刘贺得封侯爵，便由昌邑移居海昏。侍中金安上上书道：