从太初三年（前102年）到太初四年（前101年），在短短两年之内，由于乌师庐儿单于和呴犁湖单于先后去世，匈奴接连更换了两任单于，政局的持续动荡，让匈奴内部十分混乱。
当时，汉朝刚刚在第二次远征大宛的战争中取胜，于是汉武帝便想趁着匈奴内乱之机，以征伐大宛获胜之兵威，出兵攻打匈奴，为此发布诏书说道，“昔日，高皇帝留下被困平城之恨，高后时匈奴单于在书信中又多悖逆之言。当年齐襄公报九世先祖之仇，《春秋》因此认为他的行为符合大义，如今我朝势大，岂能忘记先祖忧恨？”
与此同时，刚刚即位的且鞮侯单于，鉴于匈奴内部的混乱，自己地位尚不稳固，在得知汉朝远征大宛取胜，而汉武帝又下发向匈奴复仇的诏书后，担心汉朝趁机攻打自己，连忙派遣使者与汉朝修复关系，甚至在书信中卑微地向汉武帝表示，“我只是个小孩子，岂敢和汉朝天子相提并论，汉朝天子是我的长辈”，为了向汉朝示好，不仅派使臣向汉朝进贡，还一同送还了此前扣押在匈奴的汉朝使者路充国等人。
彼时，汉朝攻打大宛虽然取胜，但为了这次远征，汉朝已经损耗了太多国力，若是紧接着再与匈奴交战，恐怕国内要再度陷入动荡了。因此，虽然此前乌师庐儿单于和呴犁湖单于皆曾袭击汉朝，但汉武帝在权衡利弊之后，最终还是决定接受且鞮侯单于的示好，与匈奴暂时修好。为此，汉武帝不仅对匈奴送还汉朝使者的行为深表赞许，还决定投桃报李，送还此前汉朝扣押的匈奴使者。
天汉元年（前100年），汉武帝任命苏武为中郎将，持节护送扣留在汉朝的匈奴使者回国，并赠送单于礼物，以答谢且鞮侯单于。
苏武是杜陵人，其父苏建曾三次跟随大将军卫青出击匈奴，多有战功，正是凭借着父亲的庇荫，苏武与兄长苏嘉、弟弟苏贤皆被拜为郎官，后被升任栘中厩监（掌管鞍马鹰犬的射猎之官）。
苏武接受诏命后，与副中郎将张胜和临时委派的使臣常惠等人，临时招募士卒、斥候一百余人，踏上了北上出使匈奴之路。
经过一路跋涉，苏武一行来到匈奴王庭，向且鞮侯单于表达了汉朝的修好之意，同时赠送了一同带来的财物。然而，面对汉朝释放出的善意信号，且鞮侯单于却一改在书信中的卑微模样，对于苏武等汉使的态度极为傲慢。
当然，且鞮侯单于之所以反复无常，并非是想要与汉朝交恶，而只是为了维护自己单于的权威罢了。
毕竟，作为匈奴君主，无论他在书信中如何卑微，那都是外交手段的一种，但若是在自己的属下面前，对汉朝使者也表现的太过怯懦或卑微，无疑会极大损害单于的权威，对于刚刚即位不久的他来说，恐怕也就无法治理国家了。在他看来，汉朝既然已经决定修好，总不能因为自己的态度问题，就发兵来进攻自己吧。
不过，且鞮侯单于也担心苏武等人翻脸，因此除了态度傲慢之外，始终不敢有太过出格之举，毕竟他也不想与汉朝就此撕破脸皮。
正因如此，在苏武等人完成出使任务之后，且鞮侯单于又对汉朝使团予以了挽留，派人带着苏武等人各处游览，直到一个多月后，才决定派人送汉使踏上返程。
然而，一场叛乱的爆发，却让苏武返回汉朝成为了奢望。
此前汉匈交恶，匈奴扣押了不少汉朝使者，然而有些使者却就此投靠了匈奴，卫律便是其中一个。
卫律的父亲本是胡人，后内迁到长水居住，自幼在汉朝长大的卫律，已经基本与汉人无异。卫律早年与李延年关系密切，在李夫人受宠于后宫，李氏外戚逐渐崛起于外朝后，卫律这才在时任协律都尉李延年的举荐下，捞到了出使匈奴的机会。
太初年间，由于李夫人早卒，再加上李广利第一次攻打大宛战败，李氏外戚逐渐失宠。太初四年（前101年），由于李延年的弟弟李季“奸”乱后宫，汉武帝盛怒之下，下诏诛灭李延年和李季兄弟宗族，李氏家族唯余贰师将军李广利因二伐大宛未归而逃过一劫。
出使匈奴的卫律，在返程途中得知李氏家族被灭的消息，担心自己也会受到牵连被杀，遂率领使团折返并投降匈奴。不过，卫律虽然是真心归降匈奴，但随同他出使匈奴的虞常等使团成员，却有不少人仍然心属大汉，受到卫律欺骗返回并滞留匈奴的他们，一心想要回到汉朝。
当时恰逢匈奴内部政权更替频繁，国内局势混乱，虞常便决定趁机逃离匈奴，为此他找到了同样被迫投降匈奴的缑王，共同策划逃归汉朝。
缑王乃是浑邪王姐姐的儿子，霍去病两度征伐河西后，缑王随同浑邪王归降汉朝。太初二年（前103年）春，缑王跟随浞野侯赵破奴深入匈奴腹地，接应准备叛乱的匈奴左大都尉，事败后遭到左贤王大军围困，这才被迫投降匈奴。
缑王虽是匈奴人，但兵败被迫归降的他，也一心想要回到汉朝，因此与虞常一拍即合。两人认为，逃出匈奴并不算太难，但自己毕竟是有罪之身，若是偷偷溜回汉朝，非但无法获得重用，恐怕还会因为前罪而遭到惩治，因此两人经过一番谋划后，决定挟持单于的母亲阏氏返回汉朝，如此一来既能让匈奴追兵投鼠忌器确保顺利逃脱，同时也算将功赎罪了。
为此，虞常秘密联络卫律使团中的志同道合之人，缑王则积极组织旧部，就在两人积极筹备之际，恰逢苏武等人出使匈奴。
虞常早年在汉朝时，便与苏武的副使张胜关系一直不错，为了增加计划的成功率，他便找到了张胜，向老友诉说了自己被迫归降匈奴之事，又向其讲述了自己和缑王的计划，然后对张胜说道，“我听说陛下非常怨恨叛逃匈奴的卫律，我能设计杀死他。我的母亲和弟弟都在汉朝，我十分想念他们，不希望他们因为我的罪过而受到惩罚，而只希望他们因为我的功劳得到赏赐。”
张胜听罢，同意了虞常的计划，并赠送给他很多财物，用于计划的实施。之后，张胜又将虞常等人的计划，告知了苏武，苏武早就对且鞮侯单于傲慢的态度极为不满，只是碍于自己承担着交好匈奴的任务，这才没有发作罢了，如今听说了虞常等人的计划，他当即便表示了同意。
于是，虽然苏武和张胜的出使任务已经完成，但为了配合虞常等人的计划，苏武最终接受了且鞮侯单于的挽留，又在匈奴滞留了一个多月。
这一天，虞常等人探知且鞮侯单于次日将外出打猎，届时只有阏氏及其侍从在家，正是下手劫持她的好机会。为此，虞常、缑王在商议好具体行动计划后，派人将计划告知了事先联系好的七十多人，让大家做好准备，待单于率人远离后便立即下手。
在接到虞常即将发动袭击的消息后，苏武为了麻痹且鞮侯单于，便也趁机向其请辞，表示自己离国已久，希望次日启程返回汉朝，且鞮侯单于不知虞常的阴谋，当即同意了苏武的请求。
然而，就在袭击即将发动之际，有人却因害怕而反悔，于当夜逃走向且鞮侯单于告密，且鞮侯单于得知消息，连忙调兵镇压，与虞常等人发生激战，结果缑王等人在战斗中被杀，虞常被活捉，之后单于命令卫律审理此案。
张胜得知消息，连忙告知苏武，苏武立即召集常惠等人商议，苏武在一番分析之后认为，这次叛乱必定会牵连到使团。想到此处，苏武看着众人，说道，“事情发展到这个地步，肯定会将我牵连出来，作为使者，与其被捕受辱后死去，给国家蒙羞，不如自刎以全臣节”，说罢便要自尽，张胜、常惠连忙上前劝止，表示事情未必便没有转机，苏武这才放弃自尽，静观事态变化。
当夜，卫律以酷刑审问虞常，虞常受刑不住供出张胜，且鞮侯单于得知后大怒，召集匈奴贵族商议，左伊秩訾说道，“谋杀卫律便足以将他们处死，如果是谋害单于，又应如何加重惩处呢？不如劝说他们全部归降。”
且鞮侯单于便派卫律召来苏武审问，苏武见到卫律到来，便知道事情已经彻底败露，因此并不会理传话的卫律，而是对常惠等人说道，“如果让臣节和国家都蒙受屈辱，即使不死，还有什么脸面回到汉朝？”说罢，拔出佩刀自杀。
卫律见状大吃一惊，连忙上前抱住苏武，将刀从其手中夺下，并派人骑马去找医生。
医生到来后，苏武已经因为失血过多奄奄一息，医生于是在地上凿了一个坑，放进煴火，然后使苏武伏卧在火坑上，用手叩击他的背使淤血从伤口中流出。很久之后，昏死过去的苏武才苏醒过来，常惠等人哭着把他抬回营帐。
卫律将情况报告单于后，且鞮侯单于十分佩服苏武的气节，只是派人逮捕了张胜，而对苏武却是派人悉心照料，并早晚探问他的病情。
苏武伤势好转后，且鞮侯单于派人劝其投降，但被苏武严词拒绝，单于为了迫使其投降，又命人将苏武带来，让他亲眼观看审问虞常的过程，然而苏武却始终面不改色。
卫律在对虞常使用了各种酷刑后，这才用剑将其杀死，见苏武仍然毫无惧色，便又命人将张胜带来，对其说道，“你作为汉朝使者，竟然想谋杀单于亲近大臣，罪当处死。不过，若是愿意投降单于，或许能够免除你的罪过。”
说罢，卫律便从一旁虞常的尸体上拔出剑，在张胜面前比比划划，张胜看了看倒在一旁已经毫无气息的虞常，又看着自己面前那把带血的剑，万分惊恐之下，表示愿意投降。
卫律见状，大笑一声，命人替张胜松绑，然后看着苏武道，“副使有罪，你理应与他连坐，何不归降于单于？”
苏武冷笑一声道，“我既没有参与密谋，又不是他的亲属，为何要与他连坐？”
卫律闻言，持剑走到苏武面前，狞笑着用剑在苏武身上比比划划，以性命相威胁。面对卫律的威胁，苏武仍然面不改色，坚决不肯投降。
卫律见威胁不成，便又换了一副面孔，好言相劝道，“苏先生，我卫律此前背叛汉朝，归降匈奴，有幸承蒙单于恩德，赐给我王号，使我拥有部众数万，马畜满山，富贵如此。您今日投降，单于定然也会善待于你。若是拒不归降而被杀，白白葬身于荒野之中，又有谁知道你为汉朝而死？”
对此，苏武却是冷笑一声，丝毫不予理睬。
卫律见状，又继续劝说道，“您如果通过我投降，我愿与您结为兄弟，日后互相扶持；今天不听我的话，以后再想见到我，还有可能吗？若是再想投降，恐怕就没有机会了。”
苏武抬头看了卫律一眼，痛斥道，“你作为汉朝臣民，不顾恩义廉耻，背叛陛下和亲人，投降蛮夷，我见你这样的人干什么？况且单于信任你，让你裁决人的生死，你却不出于公心，主持公正，反而要使两国之主相互争斗，自己坐视两国混战造成的祸乱。南越杀死汉朝使者，结果被陛下出兵扫平，成为汉朝的九个郡；大宛王杀死汉朝使者，如今他的头颅已被悬于汉宫之北阙；朝鲜杀死汉朝使者，旋即遭遇灭顶之灾。如今唯独匈奴尚未发生杀死汉朝使者之事，你明知我不会投降，如果想让两国相互攻伐，那么就杀死我吧，如此匈奴的祸败必将从杀我开始。”
卫律闻言，知道自己无法胁迫苏武投降，只好将情况汇报给了单于。结果，苏武越是不投降，且鞮侯单于越是想迫使他妥协，于是下令将其囚禁在大窖中，断绝苏武的饮食供应。
苏武当初连死都不怕，岂会怕这些折磨，恰逢天降大雪，苏武便卧在地上，吞食雪团和毡毛果腹，侥幸得以活命。匈奴人见苏武断食这么多天还活着，全都以为他是神人，便也不敢再继续折磨于他，而是将他迁徙到了北海没有人烟的地方，让他放牧公羊，并称若是公羊能够产乳生仔，才允许他回来，为了防止他与外界联系，还专门将他与属吏常惠等人分开，分别安置在了不同的地方。
自此以后，苏武流落匈奴长达十九年，然而即便受尽折磨，也始终没有消磨他返回汉朝的决心。
苏武虽然被困匈奴，但此前战败被俘的赵破奴，却在同年与儿子赵安国逃回了汉朝。