张安世仍然得到汉宣帝的倚重，靠的是哥哥张贺的关系。此前，张贺在卫太子刘据身边任职，并得到重用，刘据陷入巫蛊案败亡，家人、宾客也都遭到诛杀。张安世为张贺向武帝求情，张贺虽逃过一死，但还是被推入蚕室，受了宫刑。后来汉武帝终于意识到是自己冤枉了刘据，便再一次启用了张贺，任命张贺为掖庭令。
汉武帝临终之前才知道，刘据还有一个孙子在世，他赦免了这个孩子，这就是后来的汉宣帝刘病已。刘病已因是皇族血脉，不久被带回皇宫中的掖庭，受到皇室的供养。张贺对刘据无辜殒命深感痛惜，又念及刘病已孤苦无依，像对待自己的孩子一样他照顾刘病已。他亲自辅导刘病已读书，花钱请东海郡人澓中翁教授刘病已《诗经》。等刘病已长大成人，张贺又为他在民间纳聘，娶了许家的姑娘（也就是以后的许皇后），所有的聘礼都由张贺负担。有着十多年的照拂之情，后来成了汉宣帝的刘病已，将张贺视为父辈一般的恩人。
刘病已在民间时，有很多奇异现象，张贺知道后，常对张安世谈起，称颂刘病已是位俊才。张安世阻止张贺，说当今皇帝在上，不宜过多谈论皇曾孙。有很多人认为张安世只是听话，记忆力好，并没有什么才华，但从这一点却能看出张安世的睿智，他只是低调而已。正因为张安世的清醒，张安世一家和刘病已都不曾被霍光重视和忌惮。刘病已得以平安长大，并顺利当上了皇帝。张氏家族也因此获得了长久的富贵显耀。所以宣帝即位后，对张安世当初阻止张贺称赞自己表示认同。
可惜张贺在宣帝即位前已经去世，宣帝追思张贺的养育之恩，准备追封张贺为恩德侯，安排两百户百姓为张贺守护墓冢，张贺遭受宫刑前，生有一个儿子，也去世得早，宣帝便让张安世把自己的小儿子张彭祖过继给张贺作为后嗣。张彭祖年幼时曾与宣帝一同读书，宣帝也准备封赏张彭祖。张安世却辞谢这些封赏，请求减少守护张贺墓冢的户数为30户。宣帝说:“我这是为掖庭令安排的，不是为了将军你。”张安世这才作罢，不再坚持。宣帝亲自为张贺的墓冢选定墓址，选在长安西斗鸡翁居住的房子南边，这里是宣帝小时候经常玩耍的地方。
第二年，宣帝再次下诏：“朕幼年时，已故掖庭令张贺辅导朕读书学习，恩惠卓异，功德茂盛。《诗经》讲：‘无言不雔，无德不报。’封张贺弟弟的儿子关內侯张彭祖为阳都侯，赐张贺谥号阳都哀侯。”当时张贺还有一位孙子张霸，年龄只有七岁。宣帝任命张霸为散骑中郎将，赐关内侯的爵位。张安世认为他们父子都被封候，享受的恩宠太重，请求减少俸禄。宣帝知道执拗不过他，便让都内府暂存张氏的一些闲钱，竟然存了一百万之多。
也因为有张贺这一层关系，在汉宣帝心中，将张安世视为受敬重的亲切长辈，可以倚杖的肱骨大臣，而不是像和霍光相处时，总会有背有芒刺的感觉。公元前68年，一介权臣霍光去世。霍光去世之后，霍氏家族成员个个骄横跋扈，霍夫人毒害恭哀皇后许平君的事情也渐渐浮出水面。汉宣帝在隐忍六年之后，下决心出手灭掉霍家势力，他选用的关键人物正是张安世。张安世身为霍氏家族的重要人物，是霍光的心腹，为什么会被汉宣帝用他来对付霍家呢？
选中张安世，是汉宣帝的一步好棋。一来提拔张安世代替霍光，霍家人不会反对；二来张安世是张贺的弟弟，是自己敬重的长辈，也是对自己忠心之人；三来张安世是三朝元老，在朝中有震慑力；四来张安世恭顺低调，不会成为下一个权臣。
那张安世有没有辜负汉宣帝的期望？他又有哪些为官的智慧呢？且听下回分解。