糜家在徐州的家底，那真是泼天的厚。打从糜芳爷爷辈起，就靠着开当铺、贩丝绸、做盐铁生意，攒下了金山银山。到了他和哥哥糜竺这一代，家里的银子堆得能当山，田产连成片，光是伺候人的仆役、种地的佃户就有好几千，说是徐州首富，那是半点儿水分都没有。当地百姓背地里都叫他们“糜半城”，意思是半个徐州的产业都姓糜。搁在今天，糜芳就是顶流豪门的公子哥，住着大宅院，出门前呼后拥，一辈子不用愁吃穿，安安稳稳就能当他的“土皇帝”。
可糜芳不满足。为啥？因为在三国那个年月，商人地位太低了。哪怕你家有亿万家产，在那些带兵打仗的将军、读书做官的士大夫眼里，也只是“唯利是图的商贾”，上不了台面。糜芳自小读了些书，又跟着哥哥走南闯北，心里憋着一股劲：我糜家有的是钱，凭啥就不能混个体面身份？我要找一棵大树，把糜家的财富变成实实在在的权势，让世人再也不敢小瞧我们商人出身的人。
就在他四处打量的时候，刘备出现了。那时候的刘备，说好听点是“皇叔”，说难听点就是个没地盘、没兵马、没粮草的“三无创业者”，刚被吕布打得丢了徐州，带着残兵败将逃到广陵，日子过得惨极了，军营里连饭都吃不上，士兵们饿得快人吃人了。可糜芳偏偏看上了这个穷得叮当响的刘备——他觉得刘备待人宽厚，又有皇室血脉，是个能成大事的人；更重要的是，刘备现在最缺的就是钱，而他最不缺的也是钱，这是一场完美的“双向奔赴”。
打定主意后，糜芳和哥哥糜竺立马找上了刘备。一见面，糜芳就拍着胸脯说：“玄德公，你缺兵马，我给你；缺粮草，我捐；缺银子，我家的库房你随便搬！” 这话可不是空口白话，没过几天，他就真的把家里的亿万家产悉数捐出，还从仆役里挑了两千个身强力壮的，组成一支生力军送给刘备当亲兵，甚至把自己的亲妹妹——也就是后来的糜夫人，嫁给了丧偶的刘备，成了刘备的小舅子。
这份诚意，简直是把心都掏给了刘备。要知道，那时候的糜家，随便拿出一点银子，都能买个官当，安安稳稳过一辈子，可糜芳偏要把全部身家都押在刘备身上，赌的就是一个未来。刘备看着眼前这堆金银、这支队伍，还有这位送上门的小舅子，感动得热泪盈眶，握着糜芳的手说：“子方（糜芳的字），今日之恩，我刘备记一辈子，将来若能成事，必不负你！”
从那以后，糜芳就跟着刘备，踏上了一条颠沛流离的路。这一路，苦得超出想象。刘备打不过吕布，他们一起逃；打不过曹操，他们一起跑；投奔袁绍，被人看不起；投靠刘表，寄人篱下，在新野当个小小的县令，连块自己的地盘都没有。糜芳呢？锦衣玉食过惯了的富家公子，跟着刘备风餐露宿，有时候连口热饭都吃不上，包袱里的金银一点点散出去，换来的是一次次兵败逃亡。手下的人跑了一批又一批，连刘备自己都快撑不下去了，可糜芳没走，揣着仅剩的家底，牵着马，一步不落地跟着，哪怕前路茫茫，也没松开过手。
最考验人的一次，是曹操的拉拢。那时候刘备又打了败仗，糜芳跟着他一起投靠了曹操。曹操早就听说过糜家的财力，也知道糜芳对刘备的重要性，总想把他挖过来。于是，曹操以汉献帝的名义下了道诏书，封糜竺为嬴郡太守，封糜芳为彭城相——这两个官可都不小，主管一方军政大权，以糜家的家产，再加上这两个官职，完全能在徐州称霸一方，再也不用跟着刘备受苦。
身边的人都劝糜芳：“子方，别傻了！跟着刘备有啥好？天天逃亡，朝不保夕。曹公给你这么大的官，还有享不尽的荣华富贵，赶紧答应吧！” 糜芳犹豫过，真的犹豫过。他跟着刘备跑了这么多年，吃了这么多苦，不就是为了一个名分、一个地位吗？现在曹操把官送上门，还有什么好犹豫的？可他一想到刘备当初那句“必不负你”，一想到自己倾家荡产的付出，又狠不下心来。最终，他撕碎了曹操的任命书，当着所有人的面说：“我糜芳既然跟着玄德公，就不会半途而废，哪怕他一辈子落魄，我也跟着他！” 说完，他收拾好简单的行李，再次跟着刘备踏上了逃亡的路——这一次，他连回头的余地都没给自己留。
日子一天天熬着，苦日子终于要熬出头了。建安二十四年，刘备在汉中大败夏侯渊，自立为汉中王，没过多久又在成都称帝，建立了蜀汉政权。登基后的刘备，没忘了当年糜芳的恩情，也没忘了这个陪自己颠沛流离二十多年的小舅子。他大手一挥，任命糜芳为南郡太守，镇守江陵——这可是个实打实的肥差，也是个至关重要的要地。