刘邦刚建立西汉的时候，军队的编制还非常混乱。中原战争基本结束后，经过几年的治理和整顿，汉王朝的军队无论在数量、编制和兵种上都开始正规化。
首先，我们来看看西汉军队的数量。汉初，军队数量庞大，编制混乱，管理分散，大量部队掌握在异姓王手中。当时军队的总数量已经超过百万。为了加强中央集权，贯彻“休养生息”的国策，汉初几位皇帝采取了削夺异姓王兵权，淘汰军中老弱病残者，压缩了整体规模，经过一系列整顿，汉朝的军队总额保持在了60万人的规模，这对于一个不足千万人口的国家来说，也是非常惊人的。
其次，再来看看西汉的军队编制。汉初编制体制为中央军、地方军和边防军三个部分。中央军是军队的主体，其主要任务是维护皇族及政权的安全。西汉统治者遵循“居重驭轻”的原则，皇帝直接控制的部队足以确保京师安全，并有能力遏制地方武装力量。
中央军包括宫廷禁军和南军、北军。宫廷禁军是皇帝的贴身卫队，数量一般保持在几万人。南军是指保卫未央宫的部队，因汉初未央宫在京城南面，所以这支部队被称为南军，南军卫士主要负责宫城的安全。史载：“南军卫士宿于‘周庐’，分为八屯，‘警夜巡昼’”。除了保卫皇宫外，还担负着朝廷重大活动的警戒任务。
北军是指京师的卫戍部队及畿辅屯。因这支部队在汉初驻扎于长乐宫之北，俗称北军。“汉宫城内为南军，宫卫屯兵属焉，卫尉主之；京城门外为北军，京辅兵属焉，中尉主之。”北军的任务在汉初主要是保卫京师安全，负责京城的治安和外围安全。在国家遭遇重大变故时，也会担负出征作战任务。
地方军是指郡、国军队。西汉初分封诸侯王，在地方王国之中，允许保留一定数量的军队。在封国之外的郡县养活的军队，主要是指由中央直辖的15个郡。郡县兵属于正规部队，即接受所在郡县管理，也受中央调遣。在郡县负责地方安全，中央调动则执行机动作战任务，如镇压起义，参加防御外敌入侵的战争或对外作战等。郡县兵的数量和编制不统一，大郡兵员上万，小郡数千。
郡县兵除外出作战外，平时在当地服役和训练，并担负维持地方治安和按期到京师或边防担负守卫任务，也担负应急任务，如救灾等。
边防军则是守卫边防的军队。西汉疆域广大，周边存在很多政权，而且都带有一定的攻击性，特别是北方的匈奴，更是以抢劫作为重要的经济来源。为了维护边防安全，西汉政权在边疆保持了相当数量的武装力量。为了防御匈奴的侵略，在边防地带陆续建立了边塞、长城，守卫这些地方需要固定的军队。
西汉王朝根据边疆安全的需要，建立了约10万人的边防部队，边防部队内部，又根据其性质不同，分为戍卒、屯田卒、候望卒、军需卒等。
最后，再来看看西汉时期的兵种。西汉建立之初，主要是步兵和少量的车兵。随着国家的强大和经济的发展，逐步建立和壮大了骑兵和水兵（楼船兵）。
骑兵是西汉政权努力发展的兵种，汉初因为战马奇缺，骑兵数量很少，也不具规模和作战能力。但汉政权把饲养战马、建设骑兵作为国家战略，这让骑兵发展迅速，所以为后来卫青深入大漠与匈奴作战奠定了坚实的基础。