建国前，中国人民解放军曾两次拟议实行军衔制度，一次是抗战初期的第二次国共合作时期，一次是抗战胜利后国共两党重庆谈判之后。两次拟订的军衔等级都与当时国民党军队的军衔制度相同，但由于受当时环境的制约，两次拟订的军衔制度都未能实行。
建国后，为加强军队的正规化、现代化建设，实行军衔制的问题很快被重新提上议事日程。1950年9月总干部部管理部成立时，就设置了“军衔奖励处”。1952年冬便着手研究军衔制的问题。1952年11月26日，总干部部在向主席并军委的报告中，对实行军衔制度准备工作等问题拟制了初步计划。1955年中国人民解放军正式实行军衔制度。
1955年1月23日，中央军委“关于评定军衔工作的指示”。1955年2月8日，第一届全国人大常委会第六次会议通过《中国人民解放军军官服役条例》，规定了解放军采用国际通用的军衔体制。这次军衔等级设置是在中国传统军衔等级体系的基础上，参照了苏联、朝鲜等国的军衔制而设定的。
军官军衔设4等14级，即中华人民共和国大元帅、中华人民共和国元帅（大元帅实际未授予）；大将、上将、中将、少将；大校、上校、中校、少校；大尉、上尉、中尉、少尉。
1965年5月22日，第三届全国人大常委会第九次会议通过了《关于取消中国人民解放军军衔制的决定》，1965年6月1日开始实施。
1980年3月12日，中央军委主席邓小平提出，要搞军衔制。1984年5月31日第六届全国人民代表大会第二次会议通过的《中华人民共和国兵役法》规定：“中国人民解放军实行军衔制度”。1985年6月，中央军委召开扩大会议，果断地提出割断1965年以前的军衔体制，“实行新的军衔制”。1988年4月13日，《中国人民解放军军官军衔条例（草案）》提交七届全国人大常委会一次会议审议，1988年7月1日，七届全国人大常委会第二次会议通过了《中国人民解放军军官军衔条例》，予以公布施行。士兵军衔制度同时立法。
新公布的军衔制度不设元帅、大将和大尉，而以一级上将为最高军衔。军官军衔设3等11级，将官：一级上将、上将、中将、少将；校官：大校、上校、中校、少校；尉官：上尉、中尉、少尉。海军、空军军官在军衔前分别冠以“海军”、“空军”。专业技术军官，在军衔前冠以“专业技术”。
士兵军衔按等级分为：士官：军士长、专业军士；军士：上士、中士、下士；兵：上等兵、列兵。
1994年5月12日，第八届全国人大常委会第七次会议通过了关于修改《中国人民解放军军官军衔条例》的决定。修改后的军衔条例设3等10级，将官：上将、中将、少将；校官：大校、上校、中校、少校；尉官：上尉、中尉、少尉。
陆军军衔——将官校官尉官文职干部学员士兵
海军军衔——将官校官尉官文职干部学员士兵
空军军衔——将官校官尉官文职干部学员士兵
1995年9月10日，八届全国人大常委会通过《中华人民共和国预备役军官法》规定，预备役军官军衔设三等八级：少将；大校、上校、中校、少校；上尉、中尉、少尉。
1998年12月公布的《中华人民共和国兵役法》规定，义务兵服役时间为2年，并且不再超期服役。根据兵役法，自1999年后，士兵军衔等级和专业军士、军士长的称谓自行取消。
