。因为这样的招兵条件显然太过苛刻了，这不仅对士卒提出了要求，对于朝廷的财政也是极大的压力。要按照李矩设想，提供出能让这样一支军队足用的装备，需要耗费多少财赀？招募来的流民们又不同于地方郡卒，他们没有耕地，家庭离散又不好管理，极其容易作乱，若是流民来了又不满足李矩的要求，驻留在当地，也是一个不稳定的治安难题。
但最终刘羡还是同意了这项计划，既然要收复中原，就必然面临北方的联合，若没有一支锐不可当的强军，很难取得一锤定音的胜利。若是一口气难以负担这么多人的组建，那就分批建军。
于是在第一年，李矩招募了大约两万人，但他并不气馁，仍然专心致志地把五师的架子给搭了出来。各师的第一批中层军官大都是从南汉各部中精锐抽调而来的，让他们作为老师来锻炼这些新募的士兵。如羽林军文硕、仇池军杨初、江州军桓宣、宁州军毛孟、豫州军田徽等人，这些百战之余的勇士，都被抽调至李矩麾下。
而与此同时，李矩又征辟任用了一批北来流民领袖，如平阳李洪、弘农王璃、河内阎罴、颍川李头、陈郡董瞻、河南刘瑞等数十人。这些人都是力能扛鼎的勇士，同时也是能识文断字的寒士，李矩对他们非常看重，一面提拔他们统军，一面又经常号召各部将领集中在一起讲武习史，传授自己在战事上的心得。
架子搭起来后，每隔一段时间，李矩就要在江夏安陆一带正式演练战阵。内容以诸葛八阵为主，命五师分为两军，一方攻，一方守，看看如何协同作战能够取得奇效，让将士们在训练中总结学习。
如此下来一年，虽然五师的人数仅仅只有两万，但无论是军容还是军风，都蔚为可观。一开始，大家因为这支军队由流民中招募而来，称之为流民军。但有一日江州都督王敦率军前来参与演武，发现江州军的军容不如这支流民军远甚，就嗟叹良久说：“天子无忧矣，有此军北上平贼，战则必胜，安有我用武之地？”
流民军的军官们听了非常得意，便开始自称为无忧军，可有人觉得这个称谓不够威风，又改称为安汉军。大家听了都很满意，说这个名字很好很有气魄，而李矩听到这个称谓，便想到了当年兄长自设的安乐旗，于是便上表天子，请求把安乐旗赐给流民军，刘羡欣然同意，于是安汉军这个称谓，也就从此确定了下来。
等到了启明六年时，安汉军从二万人扩张到了四万人，数量已经翻了一倍，即使还没有达到起初规划时的数量，但到了演练之时，已经称得上是规模