张骞回国时，适逢汉朝对匈奴大规模用兵之际，张骞以校尉身份跟随大将军卫青出击匈奴，他在匈奴呆了十几年，对那里的地理环境比较熟悉，知道哪里有战马所需要的水草，给军队带来了带来了很大的便利，战后被封为博望侯。两年后，张骞以卫尉身份与李广从右北平出击匈奴，他的部队因迟到耽误了会战，致使匈奴包围了李广的部队，损失惨重，按军法当斩，张骞花钱赎罪，被贬为庶人。其后几年间，汉朝与匈奴的战局发生了重大变化。霍去病在西部歼敌数万人，一直打到祁连山下。匈奴浑邪王率众投降，从此汉朝的西侧，匈奴几乎绝迹。元狩四年，汉军将匈奴驱逐至大漠以北。
张骞虽然已经失去官爵，但武帝还是经常把他叫来，向他询问西域诸国的情况。于是张骞讲起了乌孙王昆莫的故事：乌孙是个小国，与大月氏原来都住在祁连山、敦煌一带，大月氏杀了昆莫的父亲难兜靡，夺取了乌孙的土地，乌孙国民被迫逃往匈奴。当时昆莫刚出生不久，扶养人布就翎侯把昆莫放在草丛里，自己出去找食物，回来时看到有一只母狼用乳汁喂养孩子，还有乌鸦衔着肉在孩子头顶上盘旋。布就翎侯觉得很神奇，随后把昆莫带到了匈奴。老上单于可怜昆莫，留在身边抚养。
昆莫渐渐长大，老上单于将昆莫父亲的部众交还给他，让他率领军队打仗，昆莫多次立下战功。当时大月氏已经被匈奴人打败，大月氏便向西攻打塞族人，塞族人向南逃得远远的，月氏人就占领了塞族的领地。长大成人的昆莫非常健壮，他向老上单于请求为父亲报仇。昆莫率领军队西征，攻打大月氏，月氏只好向西迁徙，来到了大夏。昆莫收编了月氏留下的部众，在当地发展，逐渐变得强大。这时候，老上单于去世，昆莫不愿意返回匈奴，臣服于刚即位的军臣单于。军臣单于派军队进攻昆莫，都以失败告终，于是匈奴人更加认为昆莫有神力，便采取羁縻政策，对他敬而远之。
张骞向武帝建议说：“如今匈奴刚被汉朝打败，昆莫原来居住的领地已经变得空寂无人。蛮夷怀念故土，又喜欢汉朝的财物，如果用重金笼络乌孙，引他们东来，回到原来的居住地，再把公主嫁给昆莫，使他与汉朝结为兄弟之国，这就相当于斩断了匈奴的一只臂膀。而且联合了乌孙以后，再把西域的大夏等国招来作为藩臣就好办了。”武帝觉得很有道理，于是任命张骞为中郎将，带领300人，每人两匹马，还有数万头牛羊以及价值几千万的钱财布帛，再次出使西域。同行的还有多名持符节的副使，以便张骞在方便时可以派往附近国家。
元鼎二年（公元前115年），张骞第二次出使西域，到了乌孙国，张骞把汉朝的意图告诉了昆莫。但当时的乌孙国已经分裂，昆莫年纪大了，有些力不从心；又觉得汉朝太远，不知道汉朝的实力；另外臣服于匈奴的时间已经很长，况且又接近匈奴，害怕匈奴，不想迁走，因为这些原因，昆莫不敢对张骞允诺什么。
张骞得不到确定的答复，于是先派出副使出使大宛、康居、月氏及大夏，乌孙派出翻译为他们做向导。张骞自己带着乌孙的几十位使者，和作为答谢礼物的几十匹马返回长安，趁此机会让乌孙人了解一下汉朝的情况，让他们知道汉朝多么富裕、辽阔。
张骞回到朝廷后，被提升为大行令，位列九卿，一年多后去世了。又过了一年多，张骞派出去的副使带着西域各国的使者返回长安。从此汉朝与西域各国的关系日益密切。这些都是张骞凿通西域的结果，张骞建立了丰功伟绩。此后，汉朝出使西域的使者都号称“博望侯”，以此来取得西域诸国的信任。
张骞产生的社会影响，在他去世后不断增强，乌孙国知道了汉朝的强大，在公元前105年受到匈奴威胁时，主动向汉朝献马送礼，愿意聘娶汉朝的公主，结兄弟之好，于是有了江都公主与解忧公主相继远嫁乌孙的悲喜故事。张骞为汉朝提出的以婚姻结好乌孙的设想在他身后得以实现，中原王朝与陌生的西域在政治与婚姻关系的双重因素作用下，快速走向民族融合。
当张骞从长安出发的时候，整个世界东方与西方还相互隔绝。就在张骞到达中亚各国的1100多年后，意大利旅行家马可波罗的双脚，才踏上中国的土地；而西班牙探险家哥伦布开往东方的船队，在张骞出使西域1300多年之后，才从西班牙的巴罗斯港扬帆启程。张骞先后两次出使西域，打开了中国与中亚、西亚、南亚以至通往欧洲的陆路交通，被誉为“丝绸之路的开拓者”、“第一个睁开眼睛看世界的中国人”。