内部的叛乱却已经多场。豪族在牵扯制衡之中消耗精力，对大晋的发展和治理都没有好处。
大晋南渡以来，兵马未见增长，国力未见增强。北伐者因为掣肘而失败，各种政策在互相抵制之中不能推行。这些都是问题。
李徽说的都对，但是，这是无解的答案。以谢安的智慧，也想不出解决之道。李徽说了又怎样？说对了又怎样？
“大晋的寒门小族和百姓，是最可怜的一群人。他们没有任何的机会，永远都在最底层，永无翻身之日。这更是不合理的取士制度。记得当初，我同四叔说过这一点。他们虽然沉默着，但一旦爆发，便会是排山倒海的力量。这更是大晋巨大的隐忧所在。所以，我说的那些话，其实不是要否定什么，而是为了世家大族着想。我大晋其实坐在一座喷发的火山口上，一旦喷发起来，一切都会毁于一旦。到那时，什么特权，什么社稷，都会完蛋。压抑别人，让人绝望不是好办法，得给人以希望。四叔，你说是不是？”李徽继续道。
谢安呵呵笑了起来。问道：“你告诉我该怎么办？劝说豪门世家放弃特权？去告诉他们，要对寒门小族好一点，让他们入仕当官，让世家子弟让出位置来？让他们不要争权夺利，都好好的为大晋的将来着想？呵呵。李徽啊，你未免太幼稚了。老夫毫无办法，除非你有办法。”
李徽苦笑摇头道：“我也知道，说了只是白说。但我只是想说出来而已。四叔如果能够狠下心来行事，以目前谢氏声望和实力，或许真能蹚出一条路来。但四叔都不肯下决心，那便没有任何讨论的必要了。”