本馆始建于1958年10月，1959年5月1日正式对外开放，初名"淮阴市图书馆"。1964年11月—1983年3月，更名为"清江市图书馆"（1968年—1974年期间，一度与"清江市博物馆"、"清江市文化馆"合并为"清江市毛泽东思想宣传馆"）。1983年3月，清江市馆升格为"淮阴市图书馆（地市级）"。2001年2月，因市名变更，改称"淮安市图书馆"并延用至今。

建馆以来，本馆始终履行社会化教育职能，在做好传统的阵地服务基础上，积极开展形式多样的延伸服务。通过举办讲座、展览、培训等方式，为社会公众提供多样化、个性化服务，吸引越来越多的群众走进图书馆；通过设立总分馆、构建基层网点、开展流动服务，最大限度地满足全市人民的阅读需要，使图书馆的服务广度与深度都得到延伸。

经过半个多世纪的发展，淮安市图书馆收藏了大量图书、报刊、视听资料、电子读物等文献资源，目前累计藏书80余万册（含古籍1万余册），馆舍面积近30000平方米，在2013年国家文化部等级馆评估中被评为国家一级公共图书馆。

2017年5月18日，淮安市图书馆新馆落成并开放服务。

新馆位于生态新城的里运河畔，是主体造型以"文化巨轮"为立意的淮安市图书馆、文化馆、美术馆、规划展览馆四馆建筑的船艏部分，极具鲜明的时代风格和运河文化意蕴。在设计上凸显以人为本、服务为先的理念，自然形成加工、典藏、借阅等功能区，开间宽阔，敞亮通透。新馆建筑面积30000平方米，居全省地市级公共图书馆前列，设计藏书量200万册，阅览座位1500个，日均可接待读者5000人次。内设全国文化信息资源共享工程淮安市支中心、政府信息公开查询点、政府公报赠阅点、淮安地方典籍馆、视障读者图书室、专家研究室以及报告厅、展览厅、影厅、休闲书吧等，是一个融学习、阅读、信息交流、文化休闲等功能于一体的信息化、网络化、智能化图书馆，通过配置24小时自助图书馆，基本满足读者全天候的借阅需求；通过总分馆制以及全市范围的通借通还，实现更加便捷的借阅方式。