Từ lâu, người Việt Nam chịu ảnh hưởng của ngôn từ Hán học – Trung Hoa nên thắng cảnh Ngũ Hành Sơn có rất nhiều tên gọi như: Ngũ Uẩn Sơn (núi năm chòm), Phổ Đà Sơn, Bạch Hoa Ngũ Chỉ (năm ngón tay) vì đứng trên nhìn xuống nó giống như một bàn tay khổng lồ có 05 ngón cắm xuống đất.
Đến đầu thế kỷ thứ 19, năm 1825, vua Minh Mạng vi hành đến đây và nhà vua đã dựa vào cấu tạo, vị trí tự nhiên của núi và thuyết âm dương ngũ hành đã đặt tên lần lượt cho các ngọn núi là: KIM – MỘC – THỦY – HỎA – THỔ và tên gọi chung cho quần thể là NGŨ HÀNH SƠN.
Sau này, người Pháp gọi là núi CẨM THẠCH, còn người dân địa phương thì gọi theo lối dân dã nhưng không kém phần thơ mộng là hòn NON NƯỚC, theo đó người ta gọi ngọn Thủy Sơn ở hướng Đông Bắc là núi Chùa hoặc núi Tam Thai, ngọn Mộc Sơn ở hướng Đông là núi Mồng Gà, ngọn Thổ Sơn ở hướng Tây Bắc là núi Đá Chồng, ngọn Kim Sơn ở hướng Tây là núi Đùng và ngọn Hỏa Sơn ở hướng Tây Nam là núi Ông Chài.
Tên gọi chính thống của quần thể danh thắng này đến nay vẫn giữ nguyên là Ngũ Hành Sơn./.