Sejarah Palembang yang pernah menjadi ibu kota kerajaan bahari Buddha terbesar di Asia Tenggara pada saat itu, Kerajaan Sriwijaya, yang mendominasi Nusantara dan Semenanjung Malaya pada abad ke-9 juga membuat kota ini dikenal dengan julukan "Bumi Sriwijaya". Berdasarkan prasasti Kedukan Bukit yang ditemukan di Bukit Siguntang sebelah barat Kota Palembang, yang menyatakan pembentukan sebuah wanua yang ditafsirkan sebagai kota pada tanggal 16 Juni 682 Masehi, menjadikan kota Palembang sebagai kota tertua di Indonesia. Di dunia Barat, kota Palembang juga dijuluki Venice of the East("Venesia dari Timur")
Kota ini dianggap sebagai salah satu pusat dari kerajaan Sriwijaya, Serangan Rajendra Chola dari Kerajaan Chola pada tahun 1025, menyebabkan kota ini hanya menjadi pelabuhan sederhana yang tidak berarti lagi bagi para pedagang asing.
Selanjutnya berdasarkan kronik Tiongkok nama Pa-lin-fong yang terdapat pada buku Chu-fan-chi yang ditulis pada tahun 1178 oleh Chou-Ju-Kua dirujuk kepada Palembang.
Berdasarkan kisah Kidung Pamacangah dan Babad Arya Tabanan disebutkan seorang tokoh dari Kediri yang bernama Arya Damar sebagai bupati Palembang turut serta menaklukan Bali bersama dengan Gajah Mada Mahapatih Majapahit pada tahun 1343.
Kemudian sekitar tahun 1513, Tomé Pires seorang petualang dari Portugis menyebutkan Palembang, telah dipimpin oleh seorang patih yang ditunjuk dari Jawa yang kemudian dirujuk kepada kesultanan Demak serta turut serta menyerang Malaka yang waktu itu telah dikuasai oleh Portugis.
Palembang muncul sebagai kesultanan pada tahun 1659 dengan Sri Susuhunan Abdurrahman sebagai raja pertamanya. Namun pada tahun 1823 kesultanan Palembang dihapus oleh pemerintah Hindia-Belanda. Setelah itu Palembang dibagi menjadi dua keresidenan besar dan pemukiman di Palembang dibagi menjadi daerah Ilir dan Ulu.
Pada tanggal 27 September 2005, Kota Palembang telah dicanangkan oleh Presiden RI Susilo Bambang Yudhoyono sebagai "Kota Wisata Air" seperti Bangkok di Thailand dan Phnom Penh di Kamboja. Tahun 2008 Kota Palembang menyambut kunjungan wisata dengan nama "Visit Musi 2008".
Palembang baru saja menjadi salah satu kota pelaksana pesta olahraga olahraga dua tahunan se-Asia Tenggara yaitu SEA Games XXVII Tahun 2011.