Палермитанская равнина и окружающие её горы были заселены человеком ещё в палеолите. Об этом напоминают археологические находки (кости и охотничьё оружие) в пещере Аддаура на восточном склоне горы Пеллегрино, господствующей над городом. На стенах пещеры обнаружен большой комплекс рисунков первобытных людей: изображения людей и животных. На некоторых рисунках показаны люди, словно кружащиеся в каком-то ритуальном танце. Но городское поселение возникло лишь в VIII веке до н.э.; в 734 году здесь появились финикийские мореходы из города Тира; они основали город, названный ими Зиз, что в переводе с финикийского означает «цветок». Центр финикийского города располагался в районе главной улицы современного города корсо Витторио-Эммануэле. Очень скоро Зиз разделился на Старый и Новый город, каждый из которых был обнесён крепостной стеной. Предполагается, что в III веке до н.э. в Зизе жило более 30 000 человек.

В 254 году до н.э. в ходе Первой пунической войны римский флот запер гавань Зиза, и горожанам пришлось сдаться. После неудачных попыток отвоевать город, Зиз окончательно сдался римлянам уже чисто из-за материальных выгод: Панорм (так он стал называться – от греческого названия города, которое можно перевести на современный язык как «всепогодный порт») получил статус свободного от налогов города и право чеканить собственную монету.

В 831 году город взяли мусульмане. Их правление благоприятствовало развитию города. Он был известен во всём мусульманском мире. Только мечетей Баларм (арабское название города) насчитывал свыше трёхсот. Именно в годы мусульманской власти Баларм стал крупнейшим политическим и торговым центром Сицилии.

В старом городе, который стал называться Халька, вознеслась в небо огромная мечеть, способная вместить до 7000 верующих. В городе появились новые лавки и склады, куда свозили товары со всего Средиземноморья. Выросли новые, периферийные кварталы. Значительно расширился порт. Но политическая власть мусульман со временем ослабла. В эмирате началась борьба за власть. Ею воспользовались сначала византийцы, а потом и норманны. Последние пришли с севера, а потому атаковали Тирренское побережье Сицилии. В первую очередь – Баларм.

В 1702 году центр Эмирата пал, после четырёхлетней осады. Норманны сделали Палермо столицей острова. В период их правления Палермо украсился достойными столицы сооружениями вроде Норманнского дворца и кафедрального собора (1184-1185 гг).

Позднее, в 1250 г. к власти пришли французы, чьё правление вызвало всеобщее негодование на Сицилии, и 31 марта 1282 г. вспыхнуло народное восстание «Сицилийская вечерня». Восстание привело к смене правительства. Потом власть делили то испанцы, то снова французы вплоть до 1734 г., когда испанцы избрали Палермо местом своей коронации в качестве монарха нового государства – Королевства Обеих Сицилий, занимавшего и часть Южной Италии. Столицей этого королевства стал Неаполь.

Вплоть до разгрома Наполеона Палермо оставался столицей всей Южной Италии. В 1820 г. революционное движение захватило Палермо, но оно было подавлено Бурбонами. А в январе 1848 г. революционное пламя вновь пробежало по улицам Палермо. Но на этот раз – удачно. Джузеппе Ла Маза 12 января возвестил о создании парламента; во главе временного правительства встал Рудджеро Сеттимо. Но через шесть месяцев Бурбоны вернулись и оставались владельцами Сицилии, и Палермо в том числе, до 1860 г. Высадка Гарибальди сменила их власть. Гарибальдийцы были триумфально встречены населением 27 марта 1860 г. В том же году, после проведённого плебисцита, Сицилию объявили частью воссоединённой Италии.

После этого события Палермо пережил тяжёлые времена в конце Второй мировой войны, когда город сначала бомбардировала союзная авиация, а после занятия Сицилии американцами – немецкие люфтваффе. С 1946 г. в Палермо пребывает региональный парламент, провозгласивший Сицилию автономной областью в составе Италии.

Во второй половине 20 века сицилийская мафия превратилась из феномена сельского полулегального самоуправления в современную криминальную городскую структуру. Итальянское государство вынуждено делить экономические и административные рычаги контроля над Сицилией с мафиозными кланами. Кроме того, мафия показала способность встраиваться во властные структуры. Например, Вито Чианчимино, мэр Палермо в 1970-ые, бессовестно наживался на сотрудничестве с мафиозными структурами.

В 1980 – 1990-ые годы мафией было совершено в Палермо ряд убийств, ставших «громкими». Были убиты президент Сицилии Пьерсанти Маттарела, генерал карабинеров Карло Альберто далла Кьеза, священник Дон Джулиани, проводивший воспитательную работу среди молодёжи окраин, чиновники Джованни Фальконе и Паоло Борселино, которые вели антимафиозные расследования. В наши дни сицилийская мафия ослабла по сравнению с криминальными организованными группировками Неаполя и Калабрии.

Другой проблемой Палермо во второй половине 20 века стала беспорядочная городская застройка. Во многом, эта проблема появилась после того, как город начал восстанавливаться после бомбардировок 1943 года. Непродуманное строительство в центре города привело к затруднениям в организации дорожного движения. Кроме того, в некоторых районах Палермо царит бедность. Тем не менее, столица Сицилии и по сей день остаётся одним из крупнейших центров торговли и деловой жизни Италии.