这时，东胡强大而月氏兴盛。匈奴的单于叫头曼，头曼打不过秦，就向北迁徙。过了十多年，蒙恬死去，诸侯背叛了秦国，中原混乱，那些被秦谪守边疆的人也都离此而回。于是匈奴得到宽缓之机，又渐渐渡过黄河，在黄河以南与中原旧有的关塞接界。
单于有位太子叫冒顿，后来单于所爱的瘀氏生了个小儿子。单于就想废除冒顿而立小儿子为太子，于是便派冒顿到月氏去当人质。冒顿即已来到月氏当了人质，而头曼却急攻月氏，月氏欲杀冒顿，冒顿偷了月氏的良马，骑着它逃回匈奴。头曼认为他勇猛，就命令他统领一万骑兵。冒顿就制造了一种响箭，训练他的部下骑马射箭的本领，下令说：“凡是我的响箭所射的目标，如果谁不跟着我全力去射击它，就斩首。”首先射猎鸟兽，有人不射响箭所射的目标，冒顿就把他杀了。不久，冒顿以响箭射击自己的良马，左右之人有不敢射击的，冒顿立即杀了他们。过了些日子，冒顿又用响箭射击自己的心爱的妻子，左右之人有感到恐惧的，不敢射击，冒顿又把他们杀了。过些日子，冒顿出去打猎，用响箭射击单于的良马，左右之人都跟着射。于是冒顿知道他左右的人都是可以用的人。他跟随单于头曼去打猎，用响箭射击头曼的头，他左右的人也都跟随响箭射死了单于头曼，于是把他的后母及弟弟和不服从的大臣全部杀死。冒顿自己立自己为单于。
冒顿当了单于后，这时东胡强大兴盛，听说冒顿杀父自立，就派使者对冒顿说，想得到头曼时的千里马。冒顿问群臣，群臣都说：“千里马是匈奴的宝马，不要给。”冒顿说：“怎可同人家是邻国却吝惜一匹马呢？”于是就把千里马给了东胡。过了一段时间，东胡以为冒顿怕他，就派使者对冒顿说，想要单于的一个阏氏。冒顿又询问左右之臣，左右大臣皆发怒说：“东胡没有道理，竟然想要阏氏，请出兵攻打他。”冒顿说：“怎可同人家为领国却吝惜一个女人呢？”于是就把自己喜爱的阏氏送给了东胡。东胡王愈来愈骄傲，向西进犯侵扰。东胡与匈奴之间有一块空地，没人居住，这地方有一千多里，双方都在这空地的两边修起哨所。东胡派使者对冒顿说：“匈奴同我们交界的哨所以外的空地，你们匈奴不能去，我们想占有它。”冒顿征求群臣意见，群臣中有人说：“这是被丢弃的空地，给他们也可以，不给他们也可以。”于是冒顿大怒，说：“土地，是国家的根本，怎可给他们！”那些说给东胡空地的人都被杀了。冒顿上马，命令国内如有后退者就杀头，于是向东袭击东胡。东胡最初轻视匈奴，因此没做防备。等到冒顿领兵到来，一开战就大败东胡，消灭了东胡王，而且俘虏了东胡百姓和掠夺了牲畜财产。匈奴冒顿归来后，又打跑了西边的月氏，吞并了南边的楼烦和白羊河南王。并完全收复了秦派蒙恬从匈奴人那里夺去的土地，与汉朝以原来的河南塞为界，直到朝和肤施两地，于是侵犯燕国和代地。这时汉军正与项羽的大兵相互抗争，中原地区被战争搞得疲惫不堪，所以冒顿才能独自强大，拥有能拉弓射箭的军队三十余万。
从淳维到头曼有一千多年，匈奴势力时大时小，经常离散分化，因为时间久远，所以他们的世系不能依次排列出来。但是到了冒顿当单于时，匈奴势力最强大，使北方夷人完全服从自己的统治，而与南方的中国成为敌国，此后，他们的世系，国家的官位名号才能被记录下来。
匈奴设置了左、右贤王，左、右谷蠡王，左、右大将，左、右大都尉，左、右大当户，左、右骨都侯等官位。匈奴人把“贤”称为“屠耆”，所以常常让太子做左屠耆王。从左、右贤王以下直到当户，官职大的拥有万名骑兵，小的也有数千骑兵，共有二十四位长官，确定名号称“万骑”。诸位大臣的官职是世袭的。呼衍氏、兰氏，后来又有须卜氏，这三姓是他们的贵族。诸位左方的王和将居住在东方，直到上谷郡以东，东边与秽貉和朝鲜接界。右方的王和将居住在西方，直到上郡以西，和月氏、氏、羌接壤。而单于的王庭所在地一直延伸到代、云中两郡。他们各有自己的分地，追寻水草而迁徙住地。左、右贤王和左、右谷蠡王是最大的，左、右骨都侯辅佐单于治国。二十四长官也各自设置千长、百长、什长、裨小王、相、封都尉、当户、且渠等属官。
每年正月，各位官长在单于王庭有小的聚会，举行祭祀。五月，在茏城有大的聚会，祭祀祖先、天地神、鬼神。秋天，马肥壮之时，在蹛林有大的集会，考核和计算人口和牲畜的数目。匈奴的法律规定，有意杀人并将刀剑拔出刀鞘一尺的就判死刑，犯盗窃罪的没收他的家产；犯罪轻者判压碎骨节的刑罚，重者处死。坐牢最久者不过十天，一国的犯人不过几人而已。单于在早晨走出营地，去拜初升的太