安吉建县于东汉灵帝中平二年（公元185年），至今已有1800多年历史，汉灵帝赐名“安吉”，源自《诗经·无衣篇》中诗句“岂曰无衣？七兮。不如子之衣，安且吉兮。”
安吉历史悠久，古迹众多。境内安城镇的古城遗址，为秦汉时鄣郡的郡治所在地，古城墙保存至今。古城城墙用泥土夯筑，现四面还有城墙，城墙保留尚好。城略呈方形，东西长600余米，南北宽近550米，占地约0.33平方公里。秦汉时期，这里是长江中下游地区政治、经济、文化中心之一，这一带现已发掘出商、周、秦、汉、西晋、宋、元、明、清各个朝代一定数量的具有历史、科学、艺术价值的珍贵文物。
安吉书画传统由来已久。秦汉古城(鄣郡)遗址中发掘的纹筒瓦、板瓦及筒纹、方格纹罐片等是安吉书画文化的雏形。唐书法大家颜真卿在任湖州刺史时，安吉是其 活动较为频繁的地区，对安吉书法艺术的流传具有极其重要的深远意义。明嘉庆年间，递铺画蟹大家郎葆辰誉满京城，人称“郎蟹”。
现代，安吉也出了不少书画名人，如诸闻韵、诸乐三兄弟，在沪、杭等地享有盛誉；晓墅杨植之、鄣吴金皆石、梅溪张振维，都有很深造诣；塘浦康山沈遂真工书法，人称“浙北第一笔”。