霍光去世几个月后，御史大夫魏相密封上书，推举张安世出任大将军一职，推举张安世的儿子张延寿出任光禄勋，兼宫中宿卫。这和宣帝的想法不谋而合。张安世听说此事，不敢接受，请求宣帝召见。在大殿上，张安世摘下冠冕，伏在地上叩头说：“臣诚惶诚恐，自以为不能担当重任，不能接任大将军。恳请天子可怜老臣，让老臣得以终其天年。”宣帝笑了说：“您太谦虚了，您不可以，朝中还有谁可以呢？”张安世一再辞让，还是没有得到批准，几天后，宣帝任命张安世为大司马、车骑将军兼尚书。几个月后又让他改任卫将军，两宫卫尉、城门护卫、北军均由张安世统领。
霍光的儿子霍禹原本担任右将军，宣帝同时任命霍禹为大司马，免去霍禹的右将军职务，这是个虚职，其实剥夺了霍禹的兵权。一年后霍禹谋反未遂，霍氏家族被灭。张安世更加诚惶诚恐，他的孙女张敬嫁给霍氏，因谋反罪受到株连，要被处死。张安世寝食难安，面容消瘦，宣帝看到了心中不忍，问左右人，才知道事情原委，便赦免了张敬。而张安世更加惶恐，他成为朝中权力鼎盛的大臣，但他有权却不专权，充满了为官的智慧。
张安世谨慎周密，他身为朝廷重臣，每次与皇帝商议大事，有了决定后，他总是称病退出。等听到皇帝颁布诏令后，再假装大吃一惊，派人到丞相府去询问。所以即便是朝廷大臣，也无人知道他曾参与此事的决策。
张安世为官廉洁，他曾向朝廷举荐某人，那个人来向他道谢，张安世很生气，说自己举荐贤才是公事，不用私下里道谢。为此，与这个人断绝来往。张安世府中有一个郎官自认为功劳很大，却一直得不到升迁，经常抱怨。张安世对他讲：“你认为功高，上司会知道的。作为人臣，做了一点事，怎么能总放得心里，”还是拒绝提拔他，这位郎官后来调换了职务。将军幕府的一位掾史辞官到别处任职，张安世问他原因。掾史说：“将军是朝廷股肱大臣，下级却长期得不到提拔，怕被人说闲话。”张安世说：“明主在上，贤与不贤看得一清二楚。作为臣下，严于律己就可以了，何必总惦记着升迁。”张安世就这样总是想躲避虚名，远离权势。
张安世担任光禄勋时，有一次，一个郎官喝醉酒，在宫殿上小便。主事官员要依法严惩，张安世说：“你怎么知道这不是地面返潮留下的印痕？不要抓住一点小过错，就给人定罪。”还有一位郎官调戏官婢，官婢的哥哥来告状，张安世说：“这是郎官与官婢闹着玩，官婢恼羞成怒，诬陷郎官。”这就是张安世从他父亲张汤血的教训中总结出来的，做人不能一味地对上谨慎低调，对下也是要得饶人处且饶人，始终保持着一颗敬畏之心，才不会招怨惹祸。
张安世觉得自己和儿子都在朝中担任要职，位高权重，内心常感到不安，便请求让长子张延寿到外面做官。宣帝答应了他的请求，让张延寿担任北地郡太守。一年多后，宣帝看张安世年老体衰，需要有人照顾，又将张延寿调回，担任左曹、太仆，掌管皇帝的车马。
张安世贵为三公、列侯，享受食邑上万户，身上却穿着粗丝织成的廉价衣服，夫人在家中亲自纺织，家中有童仆700人，人人都安排做事，并掌握有一门手艺，所以家产不断地增多，财富甚至超过霍光。这也是张安世治家的智慧，一个大家族，人人都有事做，这样就免去了很多是非，避免了大家族内各种的勾心斗角。
宣帝元康四年春天，张安世生病，上书请求归还列侯印绶，乞骸骨退休。宣帝伤感地说：“将军年老有病，朕甚为哀痛。将军不能亲自理政，还可以帮朕出出主意。将军是先帝的老臣，善于处理复杂政务，这一点，朕不如您，还要向将军请教。将军怎么能感情用事，归还卫将军、富平侯印绶呢？这不是要疏远朕，忘却旧情吗？愿将军努力治病，心无杂念，颐养天年。”张安世于是勉强起身，继续处理政务，当年秋天在任上病逝。宣帝很伤心，赐予印绶，动用战车武士送葬，谥号为敬侯。还赐予墓冢，葬在杜陵（宣帝的陵寝）东面，将作大匠负责挖土起坟，修建墓园祠庙。
张安世谨小慎微，朴素清廉、忠诚尽责，他的美好品质得到了汉宣帝的敬重和礼遇。而他的子孙又是如何将这种良好的家风传承下去，让张家始终避免树大招风的困境，成为一代传奇家族的呢？且听下回分解。