张安世去世之后，嗣子张延寿继承爵位，当时张延寿已经位列九卿，封国在陈留郡，另外在魏郡还有封邑，封邑的收益，每年可达上千万。张延寿认为自己身无寸功，却享受如此高的封赏，多次上书请求皇上减少自己的封邑，还通过弟弟阳德侯张彭祖向宣帝当面陈述这个意愿。宣帝认为，张延寿有谦让之德，把他的封邑改在平原县，将两处封邑合并为一处，总户数不变，租税减半。张延寿去世后，谥号为爱侯。
张延寿的嗣子张勃继承了富平侯的爵位。元帝即位后，诏令列侯举荐茂才。张勃很欣赏陈汤的才华，陈汤当时任太官献食丞，是管皇家膳食的小官，他便举荐了陈汤。眼看机会来了，陈汤却遇到了一个大坎：他父亲病故了。汉朝及其看中孝道，他必须回家奔丧守孝。可陈汤舍不得这个可以改变命运的机会，硬是留在了京城。被人检举后，陈汤不仅自己锒铛入狱，还连累推荐人张勃，张勃因此被削减了食邑两百户。不久张勃去世，元帝给他的谥号是谬侯，谬是错误的意思，是个恶谥。后来陈汤在西域立下赫赫战功，他那句“犯我强汉者，虽远必诛”，成为一种精神符号，在历史长河中回荡不息。世人才都说张勃会看人，举荐了难得的人才，但张勃早已背着恶谥盖棺定论。
张勃的嗣子张临继承了富平侯的爵位。张临谦逊、谨慎，他娶了宣帝的女儿敬武公主。作为驸马爷，张临却能以桑弘羊和霍光作为前车之鉴，时时告诫自己。临死前，张临将财产分给宗族、故旧，并要求薄葬，不起高坟。
张临的儿子张放继承了富平侯的爵位，张放也是唯一留下骂名的富平侯。张放的母亲是敬武公主，他和汉成帝是姑表兄弟的关系。但张放在成帝的生活里，可不仅仅这一层关系。汉成帝刘骜有两个男宠，一个是张放，一个是淳于长。其中张放是他最爱的人，两人用情之深，千古罕见。
张放长得眉清目秀，个性机敏，深得成帝的喜爱。张放娶许皇后弟弟平恩侯许嘉的女儿为妻，成帝亲自操办，赐给张放一处豪宅，外加华贵的车马服饰，婚礼的规格相当于“天子娶儿媳妇，皇后嫁女”，朝廷为婚庆提供食宿，两宫使者车马冠盖络绎不绝，场面宏大，赏赐有上千万。张放担任侍中兼中郎将，负责平乐宫护卫，还可以设置幕府，与将军的待遇一样。张放与成帝同起同卧，形影不离，常常与成帝微服出游，北至离长安三百里的甘泉宫，南至长杨宫、五莋宫，在长安闹市与平民百姓一起斗鸡走马，就这样一起度过了好几年的欢乐时光。
成帝的几位舅舅看到张放如此受宠，深感忧虑，便在王太后面前煽风点火，太后便严词责备张放。加上当时灾害频发，他们就把责任归咎于张放。不久，丞相薛宣、御史大夫翟方进合伙找了一些罪名弹劾张放，成帝不得已，只好将张放贬为北地郡都尉。只过了几个月，成帝又将张放召回担任侍中。王太后又出面干涉，成帝权力有限，对太后一族无能为力，只好将张放外放天水郡，担任属国都尉。成帝永始、元延年间，连续几年出现日食，张放作为“灾星”不能被召回，成帝与张放只好通过书信保持联系，把彼此的思念埋藏于字里行间。
又过了一年，敬武公主生病，张放被批准回家照看母亲，在家里呆了几个月。但公主病好后，张放又被外放到河东郡担任都尉。成帝虽然不忍与张放离别，但上有太后监督，下有大臣劝谏，每次分手，都是流泪相送，把自己对张放深深的思念转化为对张放加官进爵。后来张放担任侍中兼光禄大夫，俸禄为两千石。一年后，丞相翟方进弹劾张放。成帝只得罢免张放，赐钱五百万，让张放回到封国。几个月后，成帝驾崩，张放悲痛欲绝，竟活活哭死了。
张放的嗣子张纯继承了富平侯的爵位。张纯为人恭敬，注重修养，熟悉朝廷法令、前朝政事，有张安世的遗风。王莽篡位，张纯仍然享有爵位，他创造了从西汉到新朝，再到东汉，三个朝代不失侯位的奇迹。到了建武年间，张纯担任大司空，世祖刘秀改封张纯的富平侯为武始侯。
当初张安世的长子张千秋和霍光的儿子霍禹在朝中担任中郎将，带兵跟随度辽将军范明友攻打乌桓。战事结束归来，霍光问张千秋：此次战事有何方略？沿途的山川形势如何？张千秋就用树枝在地上画出交战区的地理形式和兵力布置图，清晰地介绍了交战过程，这就是成语“画地成图”的典故，张千秋继承了他父亲张安世的超强记忆力。霍光又问霍禹，霍禹张口结舌，不知该如何应答，只会说这是文书掌握的。霍光因此很器重张千秋，叹息道：“霍氏恐怕要衰败，张氏要兴旺了。”他的话也一语成谶，当霍光家族被灭族，王莽头颅被悬于城门时，张安世的九世孙正在洛阳太学给汉顺帝讲《尚书》。这个家族用两百年证明：真正的生存强者，不是在权力漩涡中厮杀，而是把自己练成一滴融入大海的水，看似毫无存在感，却能随时代的浪潮，流向任何想去的未来。
西汉学者冯商曾考证认为张汤家族与留侯张良同祖，但这一关联对张汤的政治生涯无实质影响。张汤并非张良的直系后代，两者可能是同宗远亲关系。张汤虽未封侯，但其子张安世开创了九世十一侯的家族辉煌。世间之事，往往越强求越容易失去；越不在意，反而越能长久。正如张安世家族的辉煌，证明了低调务实比显赫功勋更能保障家族的长久。