В 19 веке на месте сквера Андрея Пумпура находились торговые ряды. 26 мая 1862 года деревянные торговые лавки загорелись. От огня пострадало, в том числе, здание городской гимназии. После пожара решили торговые ряды не восстанавливать, а устроить на их месте парк. Так появился первый в нашем городе парк, известный в народе как “тарелочка”.

В парке посадили как местные, так и экзотические деревья — амурскую сирень, рододендрон Ледебура и другие. В парке поставили скамейки, проложили дорожки, поставили торговый павильон с верандой, киоски возле входов в парк, установили ажурную железную ограду. Летом в парке дежурил сторож.
Сначала парк назывался в честь святого русской православной церкви князя Александра Невского, потому что на его территории находился собор Александра Невского (был построен в 1864 году). Вход в собор был со стороны улицы Саулес, а на углу улиц Виенибас и Саулес стоял двухэтажный дом для священнослужителей. В 1961 году по приказу властей собор закрыли, а в 1969 году взорвали. Сегодня на этом месте — православная часовня Святого Александра Невского (освящена в 2004 году).
Собор Александра Невского в Даугавпилсе незадолго до сноса. Вторая половина 1960-ых. Фото: Ретро Даугавпилс — Латвия Собор Александра Невского и домик священнослужителей в Даугавпилсе, 1930-ые. Фото: Ретро Даугавпилс — Латвия Демонтаж собора Александра Невского в Даугавпилсе. Ноябрь 1969 года. Фото: Ретро Даугавпилс — Латвия
В 80-ые годы 19 века, в связи с постройкой парка Дубровина, “тарелочка” была переименована в Старый бульвар. 14 июля 1924 года парк был переименован в Церковный бульвар, а с декабря 1934 в “Сад единства” (Vienības darzs).
В советское время парк переименовали в честь 1-ого мая, а после установки бюста Александра Пушкина, 4 июня 1949 года, парк переименовали в честь поэта. Нынешнее название парк получил 20 мая 1966 года, когда бюст Пушкина заменили на бюст латышского поэта Андрея Пумпура. Бюст Пушкина был перенесен в сквер между улицами Пушкина и Таутас, но после постройки 10-ой школы в 1982 году бюст поэта пропал без вести.

Народное название “тарелочка” парк получил благодаря фонтану, что был установлен в 1901 году. Представлял он собой каскад из трёх тарелок, по которым вода стекает от меньшей в большую. Фонтан был одним из первых объектов нашего города, куда провели водопровод. В 1964 году, после благоустройства сквера, фонтан заменили, и на его месте установили знакомый горожанам фонтан в виде девушки с цветком по проекту архитектора Алвине Вейлбах. Фонтан выключается на зиму в октябре, а включается в апреле.
Даугавпилс, старый фонтан в парке Андрея Пумпура. 1920 — 1930-ые. Фото: Ретро Даугавпилс — Латвия Курсанты на фоне парка Андрея Пумпура в Даугавпилсе. 1957 год. Фото: Ретро Даугавпилс — Латвия
Помимо церкви и фонтана до второй мировой войны в парке располагалась автозаправка Shell. Сейчас на ее месте расположен киоск Narvesen. Также в парке раньше были солнечные часы, построенные на деньги учащихся гимназии. Сейчас часы переехали к зданию старого корпуса Даугавпилсского университета. В парке находится камень с мемориальной доской памяти жертв коммунистического террора, автор памятника — скульптор Елена Волкова.