没过多久，隋朝大将宇文述、屈突通等人率军赶到，把杨玄感的军队团团围住。杨玄感这才慌了，赶紧找李密商量突围的办法。李密建议他往西逃，去关中投奔当地的反隋势力，可杨玄感又犯了“选择困难症”，一会儿想往东逃，一会儿想往西逃，折腾来折腾去，愣是把突围的机会给错过了。
最后，杨玄感的军队被隋朝军队打得大败，他自己也在逃亡的路上被追兵杀死，临死前还喊着：“我悔不听李密的话啊！”而李密呢，在乱军中侥幸逃脱，可也成了隋朝的“头号通缉犯”，只能隐姓埋名，四处逃亡，从“豪门贵公子”一下子变成了“亡命之徒”。
这段经历，让李密彻底明白——跟错大哥，比嫁错人还惨！不过他也没气馁，毕竟是见过大场面的人，心里暗暗发誓：下次再干，一定要自己当“大哥”，再也不跟别人混了！
李密逃亡的日子并不好过，一会儿躲在深山老林里，一会儿混在流民中，好几次都差点被隋朝的官兵抓住。直到公元616年，他听说瓦岗寨的翟让正在招兵买马，就决定去瓦岗“求职”。
瓦岗寨那会儿已经是隋末比较大的反隋势力了，翟让是寨主，手下有单雄信、徐世积（后来改名叫李积）等一批猛将。不过瓦岗寨一开始就是个“草莽团队”，主要靠劫掠官府的粮草为生，没什么远大的目标。李密刚到瓦岗的时候，没人把他当回事——毕竟他是个“逃犯”，还是个读书人，跟瓦岗的“糙汉子”们格格不入。
翟让一开始也没重视李密，就把他安排在手下当个小喽啰。可李密不是个甘心当“小透明”的人，他利用自己的人脉和智慧，很快就帮瓦岗寨拉来了不少流民和反隋势力，还出主意让翟让去攻打荥阳附近的官府粮仓，一下子就缴获了大量的粮食。翟让一看，这小子是个“实干家”啊，赶紧把他提拔成了自己的“军师”。
不过李密的野心可不止于此，他知道瓦岗寨要想发展壮大，必须摆脱“草寇”的标签，要有自己的“战略目标”。于是他就找翟让谈话：“大哥，现在天下大乱，杨广昏庸无道，咱们瓦岗寨有这么多兄弟，要是只靠劫掠为生，早晚得被隋朝消灭。不如咱们趁机扩大势力，拿下洛阳附近的兴洛仓，开仓放粮，招揽天下英雄，到时候咱们就能跟隋朝分庭抗礼了！”
翟让这人虽然没什么野心，但也知道李密说得有道理，就同意了他的计划。公元617年，李密和翟让率领瓦岗军攻打兴洛仓。兴洛仓是隋朝最大的粮仓之一，里面储存的粮食足够几十万军队吃好几年。瓦岗军没用多久就拿下了兴洛仓，李密当即下令开仓放粮，让老百姓随便拿。
这下可把老百姓高兴坏了，纷纷说：“李密将军真是咱们的救星啊！”很多老百姓都主动加入瓦岗军，瓦岗军的人数一下子从几万人增加到了几十万人，成了隋末反隋势力中的“顶流团队”。而李密也凭借这次“开仓放粮”的操作，彻底赢得了瓦岗军上下的认可，成了瓦岗寨的“精神领袖”。
不过“功高震主”这事儿，在哪儿都避免不了。翟让看着李密的威望越来越高，心里开始有点不平衡了，手下的一些人也在他耳边吹风：“大哥，瓦岗寨本来是您的，现在李密倒成了老大，这事儿哪儿说理去啊！”翟让虽然没说什么，但心里已经有了想法。
李密也看出了翟让的心思，知道再这么下去，瓦岗寨迟早会内讧。公元617年11月，李密在瓦岗寨摆了一场“鸿门宴”，邀请翟让和他的手下参加。酒过三巡，李密手下的人突然动手，杀了翟让和他的几个心腹。这事儿虽然有点“不地道”，但也确实避免了瓦岗寨的内讧，让李密彻底掌控了瓦岗军，成了瓦岗寨的“绝对C位”。
之后，李密又率领瓦岗军打了好几场大胜仗，先是打败了隋朝大将张须陀，后又攻占了洛阳附近的回洛仓、黎阳仓，把洛阳团团围住。公元618年，李密还发布了一篇《讨隋炀帝檄文》，里面列举了杨广的十大罪状，什么“弑父杀兄”“荒淫无道”“滥用民力”等等，把杨广骂得狗血淋头。这篇檄文一发布，天下震动，很多反隋势力都纷纷响应，李密的声望也达到了顶峰。
就在李密春风得意的时候，隋朝内部发生了一场大变故——公元618年3月，宇文化及在江都发动兵变，杀了隋炀帝杨广，然后率领十万大军北上，准备返回关中。宇文化及的军队正好要经过瓦岗军的地盘，李密不得不率军迎战。
这时候，洛阳城里的隋朝残余势力也趁机向李密抛出了“橄榄枝”——洛阳守将王世充等人拥立杨侗为皇帝，然后派人给李密送信，说只要李密能打败宇文化及，就封他为太尉、尚书令，让他执掌朝政。李密一听，心里动了——要是能拿下洛阳，就能名正言顺地当“朝廷重臣”，比当一个“反贼”强多了。于是他就答应了王世充的条件，率军全力迎战宇文化及。
宇文化及的军队虽然人数不少，但都是些乌合之众，根本不是瓦岗军的对