过了三日郡主放心不下。于是在下人的引领下来到抛婴处查看，想不到两个女婴居然还活着。郡主于心不忍，又把她俩抱了回去。
可是放在何处收养呢?既不能放在江都王府，更不能放在中尉府。于是郡主就把二女交给了生父冯万金，放在冯家抚养，“二女归万金，长曰宜主，次曰合德。”数年后江都王刘建因“图谋不轨”事发畏罪自杀。中尉赵曼和姑苏郡主受到牵连不知所终，于是冯家与郡主断了线索。
姐妹俩在冯家平安地生活了十年左右，冯万金一病而亡。冯家本不富裕，二女又是私生女，冯万金一死便无人照料她们。为了生存，姐妹俩只得离开冯家外出乞讨，几经辗转来到长安。白天她们沿街行乞，靠人施舍;夜晚则在无人居住的破屋栖身。两人就是在这样的生存环境中，尝尽了人间的辛酸。
俗话说：“天无绝人之路”。栖身于破屋的冯家姐妹，让一位路过的老汉动了恻隐之心。老汉名叫赵临，是阳阿公主的家令，即管家。赵临年过半百，两个儿子都在乡下，身边没有亲人，看到两个小姑娘实在可怜，便把她们带回家中。问明身世，知道是两个无依无靠的孤女。赵老汉让佣人帮姐妹俩收拾一番后，发觉姑娘虽然瘦弱却难掩天生丽质，且举止从容应对得体。老汉一时高兴，便认她们为义女，姐妹两当即跪拜认父。赵临大喜当场认女，但此“赵”非彼“赵”，两人与江都中尉赵曼并无丝毫瓜葛。
义父当为义女谋前程，赵临便把二女送入公主府练习歌舞，阳阿公主见姐妹两容貌可人，便留下她们在府中做了歌舞伎。
宜主身材袅娜，舞姿蹁跹，时人看她状似燕子，因号飞燕。合德肌肤莹泽，出水不濡，与乃姊肥瘠不同，但也是个绝世娇娃，凑成两美。
飞燕既入宫专宠，合德尚在阳阿公主家中。当时后宫有一女官叫做樊嫣，乃是飞燕的中表姊妹。樊嫣献示殷勤，竟将合德美貌上达御前。成帝忙命舍人吕延福用百宝凤舆往迎合德。合德巧为梳裹，打扮得齐齐整整入朝至尊。成帝睁开龙目注视红妆，但见她鬓若层云，眉若远山，脸若朝霞，肌若晚雪，差不多疑幻疑仙。
成帝勉强按神低声呼起，合德方才起来。成帝拥入后宫，即替合德卸装，轻轻的携入绣帏，着体便酥，比她姐姐别有一种风味。成帝赐号为温柔乡，尝叹语道：“我当终老此乡，不愿意效武帝求白云乡了。”
合德入宫数日，也被拜为婕妤，两姊妹轮流侍寝连夕承欢。成帝固宠赵氏姐妹，对其它妃嫔不屑一顾，班婕妤等人皆失宠，只好自悲命薄暗地伤心。独有正位中宫的许皇后心有不甘。许皇后有姊名谒，暇时入宫见后，许后与她谈及心事，许谒也替她忧愁。暗中代延巫祝设坛祈禳。不幸为内侍所闻，报达赵家姊妹。赵飞燕得了这个消息立刻告发，并牵连到班婕妤。成帝将许谒拿究问成死罪，即日加诛，并收回许后印绶废处昭台宫。一面传讯班婕妤，班婕妤从容说道：“妾闻死生有命富贵在天。为善之人未必得福；作恶之人更有何望？且鬼神有知必不见听；如其无知诉之何益？所以不为此事。”成帝听说后颇为感动，遂命班婕妤退处后宫不必再究。班婕妤自请到长信宫供奉太后。成帝准奏。