公元前100年，匈奴且鞮侯单于派使者带着书信到长安来，向汉武帝表示希望两家永远和好，不再打仗。汉武帝看了匈奴的书信，非常高兴，派苏武为大使，带着厚礼去匈奴答礼，同意两家和好。
苏武来到匈奴，见了单于且鞮侯，交上了汉武帝的书信和礼物，等候回信，好回长安交差，哪知道就在这时发生了一件事：早在苏武出使匈奴之前，汉朝有一个叫卫律的人在匈奴出使，他听说自己的好朋友李延年在朝廷被杀，便留在匈奴，不回汉朝，匈奴人对卫律很信任，让他当了相国。卫律手下有一个从人叫虞常，他不愿跟卫律一道在匈奴生活，想杀死卫律后再回汉朝去。这时，正好苏武来匈奴出使，苏武手下有一个副使中郎将张胜和虞常是早年的朋友，虞常和张胜商量杀卫律的事，张胜觉得，如果杀了卫律，回到长安，肯定会立一大功，便不告诉苏武，暗暗和虞常做准备。
这一天，且鞮侯单于外出打猎，虞常和张胜组织了70多人，准备用箭射死卫律，抢走且鞮侯单于的母亲回长安去。不料走漏了风声，单于的子弟们立即发兵，将虞常逮捕起来，报告且鞮侯单于，单于让卫律亲自审问这件事。
虞常受不了卫律的严刑拷打，便将张胜参与同谋的事说了出来。张胜在虞常被捕时，便告诉了苏武，苏武急得拔剑自杀，幸亏张胜、常惠二人拉住，才未自杀成功。
等卫律问清楚案件后，他将苏武叫到庭中对质，要苏武投降匈奴，苏武对自己的从人常惠说：“事情到了这一地步，为了免得受污辱，还是死了的好！”又拔剑自杀，卫律冲上去拉住苏武的手，他才没死成，可脖子上已经割了一道很深的口子，出血太多，当场昏死过去。
卫律找来医生，医生把苏武放在土坑里，又在一旁安放微火以保持温度，又给苏武上了药，终于救活了苏武。卫律让常惠好好照看苏武，又叫医生认真地为苏武治疗，自己赶快去向且鞮侯单于报告。
苏武病好以后，卫律又去逼苏武投降，苏武坚决不答应。苏武越不答应，且鞮侯单于越觉得苏武是个人才，便把苏武放在一个大地窖中，不给吃喝，以为苏武饿急了就会投降。
正好天下大雪，苏武吃融化的雪水，嚼吞睡觉用的毛皮毡子，四五天过后，仍然活得很好。单于认为苏武是神人，只好放他出来，送到北海（今贝加尔湖）边，让他放羊。单于给苏武一群公羊，对苏武说：“什么时候这些羊生了小羊羔，你就可以回长安去了。”苏武在北海放羊，捕捉草地里的野鼠充饥，挖草根，喝凉水，就是不肯投降。
苏武出使以后，很长时间没回长安，汉武帝知道匈奴又翻了脸了，便派贰师将军李广利、假司马赵充国、李陵等人，几次出兵进攻匈奴。
李陵是飞将军李广的孙子，英勇善战，率领5000人直到东陵稽山，没遇到匈奴军队，准备回师时，突然与匈奴3万多骑兵相遇，李陵指挥5000人顽强抵抗，最后矢尽粮绝，受伤被俘，被押在匈奴兵营中。消息传到长安，汉武帝听说李陵兵败投降，非常愤怒，立即杀了李陵的母亲和妻子。
李陵悲痛万分，便真的投降了匈奴。匈奴单于欣赏李陵的勇敢，立他为右校王。李陵便和卫律一同辅助匈奴单于。
李陵和苏武本来是好朋友，李陵投降匈奴后，便来劝苏武投降。
这时，苏武在北海放羊已经十几年了，李陵带着酒菜饮食来看苏武，两人一同饮酒谈天，李陵说：“单于知道我和你交情不错，让我来劝劝你。你虽然忠于国家，但你困在这里，哪个知道呢？你的家属已经死得差不多了，何必再受这份苦呢？”
苏武知道自己母亲病死，妻子改嫁，儿女们也不知道怎么样了，可他还是不肯投降。李陵劝了多少次，他就是不答应，李陵感到有点难为情，便不再坚持劝说，留了许多吃喝的东西，自己去向单于报告。
几年后，匈奴又请求和汉朝恢复和平，汉昭帝（当时汉武帝已死）派使者说，必须送还苏武、常惠等人，才可以和谈。当汉朝使者来到匈奴时，常惠偷偷地对汉使说，苏武还活着，在北海放羊。
第二天，汉使向匈奴请求放回苏武和常惠，匈奴单于说：“苏武早就死了！”汉使说：“苏武没死！他还在北海上放羊，前不久有一只大雁给我朝皇帝捎去一封信，说苏武还活着！”匈奴人更加认为苏武是神了，只得放了苏武。
苏武在匈奴住了19年才回到长安，去的时候才40岁，回来已经快60岁了，当年100多人出城，回城时只剩下常惠等9人。苏武当年出使匈奴时拿的节杖，一直到这时，还仍拿在手中，他亲自把它交还到汉武帝的祠庙中，汉昭帝非常感动，拜任苏武为典属国，又送他许多土地和钱财。