西汉初年，虽然社会已经趋于稳定，但刘邦仍然没有放松对六国贵族的警惕。当时有谋臣名娄敬者建议沿袭秦朝的做法，进行移民。刘邦欣然采纳，徙齐楚大族昭氏、屈氏、景氏、怀氏、田氏于关中。不过此次迁豪的做法已经和当年秦始皇强制性的措施有所不同，刘邦下达了“与利田宅”的指示，明显带有安抚性质。

随着时间的推移，六国贵族开枝散叶，渐渐发生了分化和嬗变，这就引出了土地兼并之家和富商大贾的集中涌现。

土地兼并之家，即庶人之富者。他们与普通的自耕农一样，都是国家的编户齐民，不仅在政治上没有任何特权，而且还要承担国家的赋税和徭役，虽田连阡陌，家资巨万，亦与平民无异。但在现实生活中，情况自然是和美化过的史书记载所不同。这些人凭借富贵财力，与民争利，很快就奴婢、牛羊众多，广置田宅。一些人甚至荣乐过于封君，势力凌驾于守令。犯法不坐，刺客死士，为之投命。

此时的广武郡治下豪族，就应当归在此列。

另外，秦汉之际的部分军功或事功受益者也渐次成为豪族大姓的来源。早在楚汉战争期间，刘邦为战胜项羽就曾利用赐爵的办法来激励将士。西汉建立后，为了恢复战后的社会秩序，刘邦颁布了具有重要意义的“高帝五年诏”，规定凡是原来没有爵位、有罪但获得赦免和爵位不及大夫的军吏士卒，一律赐爵为大夫；军功爵在大夫以上的，皆进爵一级，给食邑。于是，大批受封士卒归乡后纷纷买地，造就了一大批新的土地占有者。

至于富商大贾，更是历史悠久。春秋首霸齐桓公就任命私商出身的管仲、鲍叔牙辅政，发展经济，最终成就霸业。但是秦国统一后，开始强力打击私营工商业者，汉高祖更是采取了商人不能穿丝绸衣服、不能坐车的政策，试图从政治上贬损商人的社会形象和地位。

但这一禁令并没有维持多久，到了汉文帝时就松弛下来。文帝“开关梁，驰山泽之禁”，“纵民得铸钱、冶铁、煮盐”等法令的颁布，反而将私营工商业推进到了一个繁荣发的黄金时代。

豪族大姓的最后一个来源，是游侠。

游侠是西汉早期以来十分活跃的一种社会群体，《史记》和《汉书》专门为其设立了“游侠列传”，这在所有正史当中也仅此两例。在《史记·游侠列传》中，司马迁把游侠划分为“布衣之侠”、“匹夫之侠”、“暴豪之侠”、“乡曲之侠”、“闾巷之侠”和“卿相之侠”等几类。其中，除了“卿相之侠”特指战国时期以养士著称的“四公子”外，其他的都是指平民出身的游侠。

可以说，在西汉前期，游侠就是民间秩序的支配性力量，诞生了朱家、田仲、王公、剧孟、郭解等著名侠客。其中鲁人朱家在汉朝刚建立时社会声望极高，天下莫不以与之相识为荣，就连楚地游侠田仲也甘愿以父礼待之。又如洛阳人剧孟，以任侠显于诸侯，其母去世，自远方送葬者有千辆车之多。

不过，要说游侠中社会影响力最大的，某过于郭解。当时汉武帝下令迁徙富者于茂陵居住，郭解也在名册当中。大将军卫青亲自替他向汉武帝求情，说：“郭解家贫，不中徙。”意思就是说郭解家很穷，不应该被迁徙去茂陵。结果汉武帝讽刺道：“解布衣，权至使将军，此其家不贫。”（这个郭解不过是一介草民，竟然可以支使大将军为他求情，由此可见他并不穷啊！）郭解虽然最终还是没有摆脱被迁的命运，但是这种级于人望、耸动视听的情形还是引起了朝野震动······

班固在《汉书·游侠传》当中就直言不讳地评价道：“布衣游侠剧孟、郭解之徒，权行州域，力折公侯。”

玉米以为，《汉书》的这句话当中“折”字用的最妙，不但是游侠力量的鲜活写照，还透露出豪族大姓的暴力本性！管你是王公还是贵族，惹毛了就给你掰断！

总而言之，由六国贵族后裔、兼并之家、富商大贾、军功贵族和游侠组成的豪族大姓，在诞生之初就秀起了肌肉，这就让统治者既倚仗又忌惮，不但极力地将其排斥在政权之外，还进行了打击和抑制。

但结果是显而易见的，最终皇权不得不低头与豪族相妥协，也就导致了东汉至魏晋以来豪族大姓桀骜不驯的本性。