郭圣通害怕刘阳日后会威胁到自己儿子刘强的太子之位，于是对阴丽华和刘阳百般刁难。
刘秀知道后，多次劝说郭圣通。
民间豪族嫡庶之间为了争家产尚且百般算计，更何况是帝王之家。
虽然刘秀劝说多次，可这不是一碗饭，谁吃都行，一串钱，谁花都行，这争的是储君，是未来的大汉天子，郭圣通自然不会放过自己的眼中钉，肉中刺。
郭圣通见刁难无用，便在宫中传播各种谣言，并明里暗里的挑唆刘秀和阴丽华的关系。
后来，见刘秀不为所动，郭圣通甚至暗中做了许多坏事，都嫁祸到阴丽华的头上。
这日，刘秀将郭圣通叫到身边，对她说：“景帝皇后薄氏无子，景帝便册立庶长子刘荣为太子。景帝晚年，问刘荣之母栗夫人，自己百年后会如何对待众多皇子。栗夫人回答说，那就各过各的呗，臣妾又不是他们的奶妈。只是因为这一句话，景帝便将栗夫人打入了冷宫，刘荣也因此被废除了太子之位。圣通，你是皇后，是大汉的主母，当知母仪天下。”
郭圣通冷笑一声说：“呦，当年在河北，若不是借着我家的势，陛下未必能有今日的江山吧？现在陛下得了天下，要把我打入冷宫了？”
刘秀拿出当年景帝废栗夫人的例子，话说的何其明了，可郭圣通却依然不知收敛，说完竟摔门而去。
若是放在别的事上，刘秀也许会容忍郭圣通的小性子，可帝王的家事，便是国事，容不得刘秀一丝的心慈手软，他决不允许吕后之乱在他千秋万代之后再次上演。
建武十六年（公元40年），冬。
刘秀下旨废、立后：
皇后郭圣通，心怀怨念，对待众皇子，不能一视同仁。朕多次劝导，始终无法令其悔改，这宫闱之中，好像出现了凶残的猛禽一般。
没有《关雎》中的贤良淑德，却有吕后、霍后的遗风，这样的人难道可以托付年幼之君？
夫人阴丽华，在朕贫贱之时便嫁给朕为妻，德才兼备，世间罕有。应承天命，母仪天下。
在废除郭圣通，改立阴丽华为皇后之后，刘秀又将所有皇子的公爵改为王爵，并改封皇次子刘辅为中山王，封郭圣通为中山国太后。
刘秀废后不过是为了千秋万代计，为了补偿郭圣通，刘秀封郭圣通之弟郭况为阳安侯，封郭圣通族兄郭竟为新亭侯，封郭圣通族兄郭匡为发干侯。
由于刘秀的宽仁，阴丽华的贤德，郭圣通成为了我国历史上唯一一位被废除皇后之位，还能得以善终之人。
建武十七年（公元41年），十月。
时年四十七岁的刘秀再次返回舂陵祭祖（今湖北省襄阳市境内）。
刘秀回到故居，看到院子收拾的十分干净，心中很是高兴。
刘秀带着几位近臣进入故居，走进自己的小房间对他们说：“这就是朕起兵前住的屋子，当年朕就在这里生活了将近二十年啊。”
刘秀在自己当年的椅子上坐了坐，又在床上躺了躺，往日的种种回忆，涌上心头。
随后刘秀又去父母的屋子和大哥、二哥的屋子分别看了看，看到屋内一切整洁，对县令说：“朕的故居你保护的不错，朕心甚慰。祠堂有好些年没修了吧，窦周公，回京后你拨些银钱，让县令把祠堂修缮修缮。”
刘秀又带着重臣来到耕地中，指着自己家原来的耕地问县令：“这一大片便是朕当年家里的田产，现在归了谁了？”
县令说：“这些地还是陛下您的，不过租给了无田的宗室刘汜几人耕种，每年的租子也都上交了国库。”
刘秀点点头，对身边的几人说：“朕起兵之前，就喜欢种地，朕种地的本事在这舂陵都是能排得上号的。你们说，这一个好好的农民，怎么老天偏偏不让他种地，反而让他当了皇帝呢？”
邓禹说：“臣早就听说陛下擅长种地，可如今已是农闲，没有机会，不如来年开春，咱们也比一比，看谁种地种的快？”
刘秀哈哈大笑说：“仲华，别看朕有二十年没种过地了，可那一招一式都还记得清清楚楚。再说，朕虽然没有种地，但是这二十年来功夫却未曾放下，你这文弱书生，怕是赢不了朕啊。”
这是关亭来报：“陛下，宴席已准备妥当，按照您的要求，将舂陵宗室六十岁以上的老者都请来了，您看要不要移驾县衙？”
刘秀说：“走，去和这些长辈们见见，有些年头没见了，不知还能不能认得出来啊。”
由于刘秀宴请的都是家乡六十岁以上老者，这些人都是看着刘秀长大的，所以也并未有什么过多的拘束。
宴会至半，一族婶说道：“伯升小时候性格张扬，一身侠气，从小就是孩子王，自带领袖气质。而文叔小时候就喜欢种地，也不善言语，三脚踹不出来个屁，为人谦逊，待人宽厚，遇到矛盾从不与人争执，和伯升判若两人。却没想到，文叔竟然能做成如此大事