前面讲过了刘邦与吕雉粗茶淡饭的幸福生活，刘邦除了照例忙于公务之外偶尔也帮妻子田间劳作，膝下又添了一对儿女，小家庭可谓温馨无比。但是平静的生活并没有持续很长久，有一件“美差”打破了刘邦的幸福生活，这就是《本纪》里所说的“高祖常徭咸阳”。从刘邦的经历来看，“常徭咸阳”是他一生的转折点。
秦始皇统一中国后大兴土木，修筑阿房宫、建骊山陵墓、筑长城、戍五岭等都是通过征调各地劳苦大众实现的，这些徭役都是通过郡县乡里直接从基层征调。刘邦“常徭咸阳”大概就是执行沛县服役的任务。动用七十万人建阿房宫，“东西五百步，南北五十丈，上可坐万人，下可建五丈旗。”秦始皇不仅生前穷奢极欲，死后还想如活着一般享受，开始在咸阳骊山筑建秦始皇陵。以刑徒七十余万在骊山修建皇陵，直到至秦末农民起义爆发时才被迫停止，前后历时三十年。《秦始皇本纪》载骊山陵“穿三泉，下铜而致椁，宫观百官奇器珍怪徙藏之。”从已经发掘作为始皇陵附属工程之一的兵马俑坑的规模，我们可以推测始皇陵的奢侈豪华和动用劳力之多。

浩大的秦始皇陵与阿房宫工程，常年需要几十万劳力。郡县被征调的服徭役的民夫要有官吏监管，由地方政府派人前往。郡县地方政府中的官吏一般都不愿担任这一差事，这不仅要远离家乡，备尝路途辛苦的煎熬，还要承担一些意想不到的风险，责任重大。秦法严苛，万一有什么闪失，负责押送的官吏将会被追究责任，给予严厉的惩罚，严重者甚至要株连家族。秦始皇三十六年（公元前211年），刘邦受沛县县令之命又要押送一批农民和部分囚徒去骊山修皇陵。从沛县到咸阳有数千里之远，翻山越领，日夜兼行，是件非常苦的差事。刘邦又无可奈何但却又不能推脱。他担心此去骊山，路途遥远，况且押送的这批人有些是囚犯，一路上不知道出发生什么事情。再者说，谁愿意舍妻弃子受那份苦呢，还要冒着杀头的风险。
刘邦在沛县生活了四十多年，深知农民深受秦帝国苛重的赋役，在泗水亭长位置上的刘邦心里清楚，天下的农民已经占到了大秦帝国的对立面了，迟早有一天会如山洪暴发般喷发出来的。吕雉遇事是个很刚强的女人，正如《史记o吕太后本纪》中所说“吕后为人刚毅”，她理解并支持丈夫的决定，劝刘邦不用担心家里，一路保重，平平安安早去早回。沛县府中刘邦那些好友们都纷纷前来饯行，并按照往常惯例，每人都给他三百钱“凑份子”，作为路途上的费用。前面我们已经说过这个故事了，只有萧何一个人送给他五百钱，刘邦很受感动，直到他做了皇帝之后，还惦记着这件事。
就这样，刘邦以亭长的身份押送一批农民和囚犯到骊山，踏上了最后一次为摇摇欲坠的秦帝国当差的“送徒”旅程了。《史记》中没有交代刘邦究竟带了多少人去骊山修筑皇陵。刘邦带领民夫从沛县启程一路西行，从沛县至咸阳，大约需要一个月的路程。刘邦同他带领的农夫，都是告别了亲人才踏上路程的，怀着同样离别伤感的心情向西方不停地行进着，一路上凄凄凉凉的。
刘邦出身于百姓人家，混迹市井，他深知身受徭役负重的农夫们的疾苦。一路之上，他也很关心农夫，在途中也时不时地拿出临行前同事们送给他的那些旅费来买些酒食，让大家一同享用。几百名农夫中有人同他年龄相近，但大多数是二十岁上下的青年男子，属于晚辈。刘邦的体恤农夫，使得他所带领的几百人对他无限感激和爱戴，没有人给他惹出什么麻烦。一向好酒的刘邦在路途中很少一个人独自饮酒，他知道自己带领着本县的几百名农夫和囚徒，身上责任重大。这次的劳役是去骊山修建皇陵，也是件非常困难的工程，再加上农民对沉重的劳役早已怨声载道，因此作为此次负责的领队也是件危险的差事，万一有人结队逃亡，刘邦也要跟着连坐论罪，所以始终不敢大意。但是事情往往是事与愿违，不会按照人的意愿发展。
果然不出刘邦所料，这帮囚徒刚出沛县便开始闹事了。在这些被押送的囚徒中，没有几个是杀人偷盗的刑犯，大多数都是些交不起苛捐杂税的贫苦老百姓，背井离乡，跋山涉水，送他们去骊山修墓，当然是这些人不愿干的，人心开始浮动了，动了逃离的念头。到后来，一路上逃跑的人越来越多，刘邦防不胜防，简直无法控制了。再加上天气阴雨连绵，山路泥泞难走，又崎岖复杂，耽误了好几天的行程，仅误期一项的就可以治罪。按照当时严苛的秦律法规定，如果不能按照原定人数和日期到达骊山的话，刘邦与囚徒们的命运都是一样的，要被一一斩首，严重的话甚至还要牵连到家人。因此，刘邦越想越怕，照这样下去的话，即使到达骊山，日期也延误了，人也剩不下多少了，误期就是重罪。左思右想，结果始终是交不了差的了。
一天，队伍刚刚走出丰邑以西的一片湖泽里时，让大家停下来休息，心烦意乱的刘邦也不想走了，便在路边的一个小酒店里喝酒。看着那些用绳索捆绑着的刑徒和征调来的农民，都是舍家弃子，背井离乡劳苦人民，刘邦心里很不是滋味。看情形只有死路一条，与其坐以待毙，不如干脆一错到底。喝道半酣之后，刘邦横下一条心，让人解开捆绑囚徒的绳索，释放了全部民夫，将囚徒和民夫召集到一块，对他们说：“你们此去骊山修建皇陵，不死也是当苦役，我今天豁出去了，把你们全放了，你们都逃命去吧，我也得离开了。”刘邦这番举动，让民夫们十分惊讶，他们纷纷感谢刘邦，而后四处逃命去了。久而久之，当时也有十几个壮士和囚徒被刘邦的侠义行为和义气所感动，放走了也是没有活路。他们不愿意离去，愿意同刘邦一同落草，当即表示愿意跟着刘邦一起亡命。刘邦推辞不过，只好先连夜带着他们从大泽里逃亡。
刘邦和壮士们一起在大泽深处的小路中夜行着，当时他派一个人在前面探路。这个人很快便慌慌张张地回来报告说：“前面有一条大蛇挡住了去路，我们还是走另外一条路吧。”刘邦的酒劲还没消失，借着酒劲，一边用手拍着胸脯，一边高声说到：“大丈夫走路，有什么可怕的呢！”说完，刘邦冲到队伍的最前面，路上果然有一条大白蛇横在路中间，挡住了前行的去路。刘邦一惊，随后大步迈上前，拔出随身佩戴的三尺长剑，手起剑落，对准那条大蛇拦腰将它斩成了两截。在场的人都看在眼里，无比敬畏刘邦，对他更加崇拜了。
然后，队伍继续前进着。后来又走了几里路，刘邦酒劲发作在路边睡着了。但是随后的传闻更加离奇，传说刘邦斩蛇离开后，走在队伍最后边的人在斩蛇的地方看见有一个老婆婆在痛哭。后面赶路的人便问她为何而哭，老婆婆说：“有人杀了我的儿子，我在哭他。”有人又问：“你的儿子为什么被杀死了呢？”老婆婆说：“我的儿子本来是白帝之子，化成了一条白蛇，躺在这条路上，刚才被赤帝的儿子斩杀了，所以我在这儿痛哭。”人们以为这个老太婆是在胡说八道，可是老婆婆忽然间就隐身不见了。后面的人赶上刘邦之后，就把遇见老婆婆哭的这件事如实地告诉了他，刘邦心中窃喜，更加自负起来。从此，那些跟随他的人也渐渐地更加敬畏刘邦了。
后来，人们纷纷传说，白帝之子即秦王朝，赤帝之子就是刘邦。刘邦斩杀了白帝之子，将来会做真命天子的。借助斩杀白蛇，引出一段暗示刘邦乃赤帝之子的传说。借助这个传说，刘邦成为大众深信不疑的头领，人气和威望也就越来越高。久而久之，刘邦周围就聚集了上百号人，跟随刘邦的人也越来越多。刘邦审时度势释放了刑徒，成功地收买了人心，又在大势面前显示了自己的能力，成为兄弟们心中众望所归的领袖人选。
这种斩白蛇起义的传说，应该是刘邦发迹以后，为了突显他是真命天子制造出来的神话。刘邦出身的确太低，为稳定汉王朝政权，负责包装的史官煞费苦心为刘邦“形象设计”包装了一番。白帝代表秦王朝，刘邦平灭秦朝，故有赤帝之子斩杀白帝之子的传奇。
刘邦见识多广，熟悉地理，还有徒步“数拜张耳游”，年少时的游侠生活经历使得刘邦有着极其丰富的躲避风头的经验。刘邦也不知道用了什么办法，将跟随他的这一批人平平安安地逃出了沛县，选择的最后藏身之地是人烟稀少的“芒、砀山泽岩石之间”。芒、砀山的具体位置，现在一般多认为是在今天的河南永城县的芒山和今天安徽省砀山一带附近。但是具体是哪个山头，已经不可考了。但是有意思的是，在今天安徽萧县有个山谷，古名叫做“皇藏峪”，此地离沛县并不远，与沛县的联系也较为方便，但是却属于砀郡管辖的范围，而不是泗水郡的直辖范围。或许刘邦考虑的是，等到他带领囚徒逃亡的消息传到沛县以后，泗水郡就不会轻易到砀郡范围内捉拿这批人，砀郡也不会故意刁难他们的，这样就有可能在泗水郡和砀郡中间的夹缝中生存下去。刘邦聚居了上百号人，成了占山为王、据寨而守的“山大王”。
刘邦私自把押送骊山服徭役的刑徒们全部放走，这个惊天动地的消息最终还是传到了沛县衙门之中。误期是重罪，而刘邦私自释放刑徒，这就是株连九族的滔天大罪了。留守在家的吕雉等家人受到牵连，吕雉等人被逮捕入狱。一天，主管审讯吕雉的官员见吕雉貌美，便动了私心邪念，吕雉在狱中遭受了刁难，这一幕恰巧被狱吏任敖碰见。前面已经讲了，任敖与亭长刘邦素有交情，讲义气，为朋友两肋插刀。任敖顿时怒火爆发，出手将这个官吏打成了重伤，并保护吕雉少吃苦头。后来，大概萧何、曹参等人欺上瞒下，将吕雉等人从监狱中营救出来了。
秦朝法律虽然严苛，但是具体执行起来反而有了更加广阔的空间。早先的时候，秦始皇对东南地区的臣民颇不放心，就为了“东南有天子气”的谣言而多次东巡，试图来镇住这股邪气。刘邦对此传说，深为自疑，便藏匿于芒县和砀县间的深山沼泽和岩石间。正当刘邦怀疑他是不是天子之气的所指对象时，更为奇怪的事情发生了，吕雉和其他的地方父老有事到芒砀山区寻找刘邦时，每次都能顺利地找到他。刘邦感到非常奇怪，便问吕雉：“你怎么每次来都找到我呢？”吕雉告诉他说：“你藏身的地方，天空上经常有五彩祥云笼罩，
显出龙云之气，只要顺着云气找，一找就找到了。”刘邦听了非常高兴，更相信自己有祥瑞的征兆了。便将此事向人们悄悄地宣扬，沛县子弟以及附近的许多年轻人听到这种传言后，更相信刘邦的贵人之相了，纷纷前往山中投奔刘邦。刘邦的名声越来越大，慢慢的他就组织了一批人在自己的周围，俨然形成了有反秦倾向的一股力量，刘邦也成了人们公认的沛县豪杰。刘邦头顶上空有“天子气”的这段故事，很明显是后人有心加上去的，但确实起到了加强舆论的效果。
刘邦在芒、砀山区的势力日渐加强，但与强大的秦王朝相比，刘邦俨然梁山泊的宋江，可占山为王的出路又在何方？假如没有大泽乡陈胜、吴广的反秦起义，华夏大地一时间卷起了反秦的飓风，刘邦能够顺势而起，首举反秦的大旗吗？为人佣耕的陈胜敢为天下先，振臂一呼，掀起了秦末农民大起义的洪流。各方这才纷纷响应，可谓英雄豪杰辈出，刘邦也是其中的一员。从“无赖”到亭长，从亭长再到山大王，年近四十七岁的刘邦站在了人生舞台的另外一个新的转折点上。