Đây là trung tâm chính trị, kinh tế, văn hóa của tỉnh; đồng thời, là một trong những đô thị quan trọng của Vùng kinh tế trọng điểm Bắc bộ và vùng Thủ đô Hà Nội.
Tên gọi Hải Dương với ý nghĩa là miền duyên hải, vùng đất giáp biển đón ánh mặt trời (Hải Dương xưa bao gồm một miền đất rộng lớn kéo dài từ Hưng Yên đến vùng biển Hải Phòng).
Năm 1804, (năm Gia Long thứ 3), nhà Nguyễn đã phân chia lại địa giới hành chính của cả nước, do vậy lỵ sở Hải Dương đã được rời từ Mao Điền (Cẩm Giàng) về vùng ngã ba sông Thái Bình và sông Sặt, thuộc địa phận ba xã Hàn Giang, Hàn Thượng và Bình Lao với tên Thành Đông, với mục tiêu vừa là trấn thành, vừa án ngữ phía đông Kinh thành Thăng Long. Thành Đông lúc này là một trong 4 thành trong Thăng Long tứ trấn. Đây được xem như thời điểm khởi lập của thành phố Hải Dương ngày nay.
Năm 1969, thị xã Hải Dương được mở rộng trên cơ sở nhập thêm các xã Ngọc Châu (huyện Nam Sách); Cẩm Thượng, Thanh Bình, Tứ Minh, Việt Hòa (huyện Cẩm Giàng); Hải Tân (huyện Gia Lộc).
Năm 1997, thành phố Hải Dương được thành lập trên cơ sở nguyên trạng thị xã Hải Dương; bao gồm 11 phường và 2 xã; đồng thời thành phố là đô thị loại III.
Năm 2008, theo Nghị định 30/2008/NĐ-CP thành phố Hải Dương được điều chỉnh mở rộng thêm các xã Nam Đồng, Ái Quốc, An Châu, Thượng Đạt (huyện Nam Sách); Thạch Khôi, Tân Hưng (huyện Gia Lộc) và một phần xã Ngọc Sơn (huyện Tứ Kỳ).
Năm 2009, theo Nghị quyết số 47/NQ-CP thành phố thành lập thêm phường Tân Bình (chia tách từ phường Thanh Bình) và Nhị Châu (chia tách từ phường Ngọc Châu); đồng thời, thành phố được công nhận là đô thị loại II, bao gồm 17 phường và 4 xã.
Năm 2019, theo Nghị quyết số 788/NQ-UBTVQH14 ngày 16/10/2019 của Ủy ban Thường vụ Quốc hội thành phố đã điều chỉnh mở rộng thêm 5 xã của các huyện Thanh Hà, Gia Lộc và Tứ Kỳ; sáp nhập xã An Châu với Thượng Đạt thành xã An Thượng; thành lập 02 phường trên cơ sở nguyên trạng 02 xã. Đây là các bước sắp xếp, điều chỉnh đơn vị hành chính cần thiết để thành phố Hải Dương chính thức là đô thị loại I; bao gồm 19 phường, 6 xã.
Đồng thời, trong năm 2019, cấp ủy chính quyền các địa phương cũng tiến hành sắp xếp lại các thôn, khu dân cư trong toàn tỉnh; kết quả thành phố giảm 23 thôn, khu dân cư (sắp xếp làm giảm 43 thôn, khu dân cư; mở rộng thêm 5 xã làm tăng 20 thôn). Hiện nay, thành phố có 209 thôn, khu dân cư; trong đó, phường Bình Hàn có 16 khu dân cư, là đơn vị hành chính cấp xã có nhiều thôn, khu dân cư nhất.