隋初置牂柯县，唐改建安县，后置恭水县、罗蒙县。宣和三年(1121年)废遵义军，置遵义县。县名治用军名。遵义，意为遵王之义。
1998年，将遵义县新卜镇、深溪镇、金鼎镇划入遵义市红花岗区。
2000年，遵义县辖33个镇、2个乡。根据第五次人口普查数据：总人口1243193人，其中各乡镇人口（人）： 南白镇 94248 龙坑镇 40562 三岔镇 33452 苟江镇 21674 三合镇 61066 乌江镇 17117 团泽镇 50386 虾子镇 59924 三渡镇 18501 新舟镇 66268 永乐镇 40129 龙坪镇 40882 喇叭镇 24458 团溪镇 50720 铁厂镇 15500 西坪镇 34782 尚嵇镇 35766 茅栗镇 26547 新民镇 18787 鸭溪镇 56209 石板镇 34097 乐山镇 22013 枫香镇 34274 泮水镇 35360 马蹄镇 31914 高坪镇 58232 沙湾镇 24765 板桥镇 22870 泗渡镇 31822 松林镇 23150 毛石镇 19529 山盆镇 53413 芝麻镇 16577 平正乡 18506 洪关乡 9693。
2003年，全县行政区域总面积4703平方千米，辖33个镇、2个民族乡，309个村委会、17个居委会。年末总人口138.21万人，其中少数民族1.5万人，非农业人口13.08万人。 2003年12月26日，国务院批准，将高坪、板桥、泗渡、团泽4个镇划归汇川区管辖。
2004年，高坪镇、团泽镇、泗渡镇、板桥镇划入汇川区，遵义县为29个镇2个民族乡。同年，遵义县撤销了全县各镇乡派出机构办事处，将600余个村居合并为287个村（居、社区）。
遵义县辖29个镇2个民族乡，287个村（居、社区），6552个村（居）民组。全县居住28.81万户113.45万人，其中农业人口102.13万人，非农业人口11.32万人；城镇人口25.53万人；少数民族人口14081人。人口密度为277人/平方公里。近年来，随着科学技术的进步，经济的发展以城镇化建设的不断推进，遵义县大量农村剩余劳动力不断涌入城镇，加快了城镇的发展。
