春秋战国时期，今遵义县地为夜郎东北小君长国鳖国地。秦始皇统一全国后，推行郡县制，以鳖国地置鄨县，今县地属鄨县，隶巴郡。汉武帝建元六年（公元前135），唐蒙出使夜郎，置犍为郡，县地随鄨县归犍为郡，郡治初在鄨，在今遵义县西境。元光五年（公元前130年），治所迁南广（今云南省盐津县附近）。元鼎六年（公元前111年），置牂柯郡，鄨县划归牂柯郡。三国时，鄨县仍属牂柯郡。晋永嘉五年（311），牂柯郡分为牂柯、夜郎、平夷三郡，今县地随鄨县划属平夷郡。东晋咸安元年（371），改平夷郡为平蛮郡，今县地归属依旧。隋开皇初年，以乌江北岸地置牂柯县，今县地归属其中。
唐武德三年（620），改牂柯县为建安县，领属今县地。唐贞观九年（635），以隋代牂柯郡的延江（今乌江）北岸地置郞州，辖恭水、高山、贡山、柯盈、邪施、释燕6县。贞观十一年（637），今县地为恭水县。十三年（639），以原郞州地置播州，复置恭水等六县隶之。播州属唐朝直接管理的经制州，隶黔中采访使，朝廷派流官治理。所辖6县，境域相当于今遵义县、红花岗区、汇川区及绥阳县、桐梓县地。这是史书上第一次出现播州之名。播州境域后来大为扩展，一直存至明万历二十八年（1600），历时961年，此后就消失了。
唐贞观十四年（640），更名恭水为罗蒙，高山为舍月，贡山为湖江，柯盈为带水，邪施为罗为，释燕为胡刀。十六年（642），改罗蒙县为遵义县，遵义县名由此始。遵义之名，一说出自《尚书·洪范》“无偏无陂，遵王之义”，言当遵循先王之正义，以治民也。一说源于东汉公孙述称王于四川，牂柯郡大姓功曹谢暹反对，遣使远道投奔中央汉光武帝，被封为义郞，有遵循“义郞”作为，拥护中央王朝之意。坊间多从前者说。天宝元年（742），改播州为播川郡。乾元元年（758），复置播州，领今遵义、带水、芙蓉3县。今遵义县包含有唐带水县和当时遵义县部分地域。唐大历五年（770），罗荣入播。唐乾符三年，杨端入播，杨氏世据播州至明万历二十八年（1600）。
后唐长兴元年（930），遵义县地属后蜀。后晋高祖时，遵义县地属楚。后周显德六年（959），遵义县地属后周。大观二年（1108），置遵义军，时遵义县属之。宣和三年（1121），废遵义县，隶南平军。端平三年（1236），今县地设播川县，隶南平军。嘉熙三年（1239），设播州，以播川县为州治。
宋大观二年（1108），首领杨光荣、杨文贵各献其地附宋，分别置播州和遵义军，遵义县属遵义军，同隶夔州路。宣和三年（1121）废播州为城，隶南平军；废遵义为砦，隶珍州。嘉熙三年（1239）复设播州安抚司，以播川县为州治。咸淳末，播州领播川、乐源、绥阳3县，隶夔州路，今县地时为播川县。
元世祖忽必烈下诏招抚播州。至元十四年（1277），杨邦宪以播州、珍州、南平军地降，仍置播州安抚司，以杨邦宪为绍庆、珍州、南平等处宣抚司充播州安抚使。杨邦宪卒，子汉英袭职，赐名杨赛因不花。二十八年（1291）升为播州宣抚司，隶属于四川行省。次年，以赴京取道湖广为便，改隶湖广行省。宣抚司统辖黄平府、南平綦江、珍州思宁、旧州草塘等十九个长官司和诸峒寨。时属今遵义县境有播州下辖之播州军民都镇抚司及乌江、水烟、石粉罗家永安等处的全部或部分。
明洪武五年（1372）初，改播州军民都镇抚司为播州长官司，今县地为播州长官司地。万历二十八年（1600）平杨应龙，播州改土归流，分播州地为二，设平越军民府属贵州，辖余庆、瓮安、湄潭3县和黄平州；设遵义军民府属四川，辖遵义、桐梓、绥阳、仁怀4县和真安州。今遵义县境从此奠定。
清雍正六年（1728），遵义县随遵义府改隶贵州省。宣统三年（1911），遵义军政分府成立。民国元年（1912），遵义府县同城，留府去县。民国2年（1913），遵义府改为遵义县，属黔中道。民国4年（1915），将所有遵属大溪里第七、八、十三甲地，即后来仁怀所建的火石、学孔、林阁、平营、高坪、银水、龙源、新田、荣华、团结、大坝11个乡划归仁怀县辖，以牛渡滩（今观音寺河）为遵义县、仁怀县的天然边界。民国9年（1920），废黔中道，遵义县直隶于省。1941年，实行新县制，将县辖岩孔及偏岩河以南地划归新建立的金沙县。1949年11月21日，遵义解放。11月25日，建遵义县人民政府。同日，原属遵义城区的文化、洗马、丰乐、丁字、朝阳、白农6个镇建为遵义市。1950年9月，瓮安县珠藏镇、铜锣乡、高水乡划归遵义县辖，置二十一区，1951年7月交还瓮安县。
1951年2月，遵义市改置为遵义城关区，由遵义专员公署直辖。1952年7月，撤销遵义城关区，恢复遵义市。遵义县划十六区、二十区和九区深溪乡的镇隆、长岭两村隶遵义市。遵义市高桥、颜村、凉水、河溪4个乡划归遵义县辖。1954年4月28日，遵义县人民政府机关由遵义市迁驻南白镇。1956年8月，遵义县高坪区的海龙乡、新场乡，南白区的建平乡，老蒲区的礼仪乡划归遵义市辖。同年11月，遵义县茅坡区的欧家湾、麻家坝、洪家湾等地划归绥阳县辖。1958年11月12日，撤销遵义县建置并入遵义市。1961年8月16日，恢复遵义县建置。1963年3月，遵义市忠庄、海龙、北关3个公社和南关公社的镇隆、南山、长岭、金华、长岗大队，高桥公社的十字、八卦、巷口、第五、第六、第七、第八大队，长征公社的平庄、新民、民主、礼仪、河溪、官厅、板山、凉水大队划归遵义县辖，建为桃溪区。1965年11月，桃溪区所辖地域划回遵义市。1969年12月，息烽县乌江公社划归遵义县辖，与三合区刀靶公社组建为乌江区。
1992年，全县辖17个区，1个区级镇，辖123个乡，16个乡级镇，2个乡级办事处（南白镇城区和郊区），729个村民委员会，27个居民委员会，8545个村民小组。是年9月，遵义县“建镇并乡撤区”，全县建36个镇，2个民族乡。国土面积5088平方公里，总人口约127万人。
1998年4月，遵义县新蒲镇、深溪镇、金鼎山镇划归红花岗区管辖。2004年6月，遵义县团泽镇、高坪镇、泗渡镇、板桥镇划归汇川区管辖。
2009年5月，遵义县新舟镇由新蒲新区托管。2013年7月，虾子镇、三渡镇、永乐镇由新蒲新区托管。2015年，全县31个镇（乡）国土面积4093.77平方公里，人口124.6万人。2016年1月，龙坑镇由新成立的南部新区托管。托管不是行政区划调整，只是由相关机构代为管理。
2016年3月20日，国务院对贵州省人民政府《关于调整遵义市部分行政区划的请示》（黔府呈〔2015〕31号）作出批复。根据批复，贵州省将撤销遵义县，设立遵义市播州区。山盆镇、芝麻镇、沙湾镇、毛石镇、松林镇划归汇川区辖管。新舟镇、虾子镇、三渡镇、永乐镇、喇叭镇划归红花岗区管辖。播州区辖南白镇等21个镇（乡），国土面积2490.94平方公里。2016年5月，上述镇划出。2016年6月6日，播州区挂牌仪式在南白影剧院举行，标志着播州区正式成立。
