Ангулем стоит на месте древней Inculisma в Аквитании. С 379 эта колония была местопребыванием епископа, а впоследствии переименована в Ecolisma или Encolisma. Хлодвиг в 507 отнял её у вестготов и заложил в ней кафедральный собор. Уже в то время это был довольно значительный город, а в следующие столетия Ангулем играл важную роль в военной истории. В IX веке город разграбили норманны.
Местность, в которой лежит Ангулем, называлась прежде Ангумуа и в старину, c IX века, была графством. Мужское колено графов Ангумуа пресеклось в 1218 г. со смертью Эмара Тайльфера; графство через наследницу по женской линии, Изабеллу (вторую жену Иоанна Безземельного), перешло к дому Лузиньян.
Ангулемский собор
В 1302, когда Гуго XIII Лузиньян скончался без наследников в мужском колене, Филипп Красивый присоединил это графство к своим владениям, и с тех пор оно составляло удел с графским титулом для членов королевского дома (исключая период 1360—1373, когда город принадлежал англичанам). C 1394 Ангулем — удел герцогов Орлеанских, младшей ветви династии. Так, младший сын Людовика Орлеанского, Жан, был графом Ангулемским, а внук его вступил на престол под именем Франциска I. Последний в 1515 переименовал это графство в герцогство и отдал его в удел матери, Луизе Савойской. К этому времени «герцогство», прочно удерживаемое королём, оставалось таковым лишь номинально.
Титул герцога Ангулемского носил третий сын Франциска I, Карл (умер в 1545), которому в качестве зятя Карла V выпало на долю заключить мир между Францией и Испанией. Карл IX до своего восшествия на престол также носил титул герцога Ангулемского. Последним герцогом Ангулемским стал Луи-Антуан (1775—1844), в 1830 правивший под именем Людовика XIX несколько минут.
Hôtel de Bardines (79 rue de Beaulieu) возможно построен Валлен-Деламотом в 1782 г.
В Ангулеме родился поэт Меллен де Сен-Желе, родился и умер известный архитектор Ж.-Б. Валлен-Деламот — член-корреспондент Парижской Академии архитектуры, который в период с 1759 по 1775 годы работал в России, был профессором Академии художеств. В Ангулеме сделана самая старая из сохранившихся цветных фотографий которая датируется 1872 годом. Она была сделана французским фотографом Луи Дюком дю Ороном.
Карта города 1914 года
С XIV века в городе процветали бумажные мануфактуры, а впоследствии и типографии — благодаря круглогодичному наличию чистой воды практически постоянной температуры, поступающей из подземных рек. По данным ЭСБЕ, к концу XIX века в Ангулеме было «21 больших бумажных фабрик, заводы винокуренные, воскобелильные, кожевенные и оружейные. Торговля, средоточием которой служит предместье Гумо, ведется преимущественно бумагой, хлебом, вином, водкой, коноплею, льном, трюфелями, каштанами, мылом, солью, пробками, досками для бочек, железными и медными товарами. Неподалеку от города расположен Теруатский пороховой завод с 17 мастерскими, а в прекрасной Туврской долине, в 6 км от Ангулема, основанный в 1750 г. большой пушечно-литейный завод, который может поставлять ежегодно до 680 орудий.»
В 1903, во время автогонки Париж-Мадрид, под Ангулемом погиб Марсель Рено — один из основателей Renault. В XX веке город был знаменит автогонками; кольцевая трасса по ангулемским бульварам, что разбиты на месте бывших крепостных валов — одна из трёх сохранившихся и действующих во Франции (после Монако и По).
В 1940, после капитуляции Франции, Ангулем оказался к западу от границы между вишистской и оккупированной территориями. В 1944, во время Нормандской операции, железнодорожная станция Ангулем (линия Бордо-Пуатье) подверглась массированным бомбардировкам.