不过好日子不长，刘秀在还未成为皇帝时就已经和阴丽华成亲，后来刘秀将阴丽华接回宫中并封为贵人，和郭圣通平起平坐。后来刘秀欲将阴丽华封为皇后，但阴丽华多次推辞，郭圣通这才坐上皇后的位置。阴丽华的到来改变了郭圣通的生活，因郭圣通和刘秀矛盾重重，刘秀下旨废郭圣通后位，迁居北宫。不久后，被封为中山王太后，在建武十九年(公元44年)，刘彊太子之位被废，改封郭圣通为沛太后。建武二十六年(公元52年)，郭圣通病逝，葬于邙山。

刘秀有共生十一子五女：长子刘强，初立为太子，后被废，改封东海王;次子刘辅，封沛王;三子刘英，封平王;四子刘庄，初封东海王，后立为皇太子，并继承皇位，即汉明帝;五子刘康，封济南王;六子刘苍，封东平王;七子刘延，封阜陵王;八子刘荆，封广陵王;九子刘衡，封临淮王;十子刘焉，封中山王;十一子刘京，封琅琊王。

女儿分别是：舞阳公主刘义王、涅阳公主刘中礼、馆陶公主刘红夫、淯阳公主刘礼刘、郦邑公刘绶。