遂川历史悠久，早在新石器时代县域内已有人类栖息。

夏商时遂川属古扬州地域南境。春秋战国时期，先后属吴、越、楚。秦属九江郡。汉属豫章郡庐陵县。东汉建安四年()孙策定庐陵，同年，建县于遂水之口(今万安县五丰乡云洲)，名曰遂兴县。此为遂川建县之始。

　　三国时，属吴国领地，吴嘉禾四年()改县名为新兴。晋太康元年()，徙县治于上流光化乡景云观(今雩田镇中洲，民间称“旧县”)，复名遂兴，隶属庐陵郡。南北朝，沿袭晋制。

　　隋开皇十年()废遂兴等六县，设置安丰县，遂兴为其一部分，次年改安丰为泰和县。唐袭隋制。五代十国，南唐保大元年()，析泰和龙泉乡什善镇置龙泉场，南唐李璟十八年()升场为县，名龙泉县，以旧场治为县治，在水南十七都慈云寺(今泉江镇小溪村境内)。

　　宋开宝八年()，南唐国亡，龙泉县地归宋管辖。宣和三年()改名为泉江县。南宋绍兴元年()复名龙泉县，隶属江南西路吉州军。元代，元贞元年()，龙泉县隶属江西行中书省吉安路。明代，龙泉县隶属江西承宣布政使司湖西道吉安府。清初，沿袭明制，雍正九年()，吉安府改隶吉南赣道，龙泉县仍属吉安府管辖。中华民国元年()冬，各府撤销，县直属省。3年()，为避与浙江、贵州两省之龙泉县同名，改名遂川，此县名延续至今。民国21年()江西省划为13个行政区，遂川县属第10行政区，24年()，全省缩为8个行政区，遂川隶属第3行政区。

年8月2日遂川解放，先后属江西省赣西南区、吉安分区、吉安专区、井冈山专区、井冈山地区、吉安地区。年6月，吉安地区撤地设市，改称吉安市，遂川属吉安市至今。