作为霍光的重要臂助，为政以宽的杜延年与执刑以严的霍光相辅相成，有利地维护了汉室的安定。也正因为如此，杜延年身上贴满了霍氏标签。霍光去世，霍光的儿子霍禹和霍氏家族谋反被灭族，宣帝就想疏远杜延年。丞相魏相趁机上奏，说杜延年一向恃宠而骄，做了很多奸邪之事。宣帝派人调查，只发现杜延年所负责的苑马死得较多，官婢的衣食比较少。这算什么事，但欲加之罪何患无辞，杜延年还是被免官，削去二千户食邑。又过了几个月，杜延年被外放，担任北地郡太守。
杜延年从朝中九卿一下子伦为边郡官员，一度比较消沉，治理边郡的政绩一般。宣帝发玺书责备他，杜延年才振作起来，他选用得力的官吏，逮捕当地豪强，很快就收到成效。一年后，宣帝派谒者表彰杜延年，赏赐他玺书和黄金20斤。杜延年又转任西河郡太守，也做出了成绩。
五凤年间，宣帝调回杜延年，任命他为御史大夫。杜延年在父亲当年任职的府衙，始终保持敬畏之心，不敢坐在父亲坐过的位置，回避父亲用过的地方。当时天下安定，四夷臣服，海内祥和。杜延年在御史大夫任上三年，因年老有病请求退休，宣帝特意优待他，让光禄大夫持符节，赐给杜延年黄金100斤和牛、酒、药材。但杜延年已经病危，宣帝只好又赐给他安车驷马，允许他退休。几个月后，杜延年去世，谥号为敬侯，儿子杜缓继承爵位。
杜缓年少时当过郎官，本始年间，以校尉身份跟随蒲类将军赵充国抗击匈奴。回来后，在朝中担任谏议大夫，又转任上谷郡都尉、雁门郡太守。杜延年去世，宣帝召杜缓回家料理丧事，而后任命他为太常，属下的官吏都说杜缓有恩。元帝刚即位，当时粮食昂贵，百姓流离失所。永光年间，西部羌人叛乱，杜缓向朝廷上书，捐助钱、粮以助军用，前后达数百万。
杜缓有六个弟弟，五人做过大官，小弟杜熊先后在五个郡担任郡府二千石官员，三个弟弟担任州部刺史，都很有政绩。只有弟弟杜钦，没有做过官，但名气最大。
杜钦，字子夏，由于家里很有钱，从小就钻研经书。可惜他有一只眼睛失明，因此不愿做官。茂陵县人杜邺与杜钦同姓同字，又都以才学在京师享有盛名，为了区别二人，大家就称杜钦“盲杜子夏”。杜钦讨厌别人取笑自己残疾，便戴上个高宽都为两寸的小帽，于是大家又改称他为“小冠杜子夏”，称杜邺为“大冠杜子夏”。当时成帝的舅舅大将军王凤以外戚身份辅政，希望招纳贤士协助自己处理政事。王凤的父亲王禁与杜钦的哥哥杜缓关系很好，王凤也知道杜钦的才学，便奏请成帝，任命杜钦为武库令。这个职务很清闲，是杜钦喜欢的职务。
杜钦为人深沉、博学又有见解。成帝还是太子时就很好色，即位之后，皇太后诏令，在良家女子中为皇帝挑选嫔妃。杜钦就赶紧向王凤劝谏：“按照古代礼制，天子可以娶九位女子，这是最高的阳数，为的是多生育子女。选择嫔妃，选择有德的家庭，挑选淑女，并非一定要美貌或能歌善舞，这有助于皇帝养德，有助于后宫治理。嫔妃少了，不需再补，有助于皇帝健康长寿，也避免后宫争宠。后宫要制定严格的制度，皇帝才不会沉溺于女色，沉溺于女色，皇帝就会折寿。男子50岁仍然好色，妇人40岁容貌已经大不如前，以衰老的姿色侍奉仍有色欲的男子，如果不用礼仪限制，嫔妃就会有妒忌之心，后宫就会有猜忌。春秋时，晋献公就是被后宫谗言所惑，太子申生无辜受到伤害，致使晋国陷入动荡。
现在皇上正年轻，没有子嗣，正是努力学习增长知识的时候。大将军辅佐国政，应该趁着这个时候，按照古代礼制建立九妻制度，仔细选择德行高尚的仁义人家，物色品貌端庄的淑女，不一定要有声色技能，并把这个制度定为万世大法。年轻人要戒色，《诗经.小牟》有告诫，愿大将军重视。”
应该说杜钦很有先见之明，他看到了成帝好色这个致命的弱点，并加以劝谏，而成帝最终死于温柔乡，西汉王朝也因为后宫之乱最终走向衰败的历史教训，也证明了他的远见卓识。那他的建议有没有得到重视呢？且听下回分解。