Ông tên thật là Bùi Ngọc Bảo, sinh năm 1925 (có tài liệu ghi năm 1926) tại làng Thanh Liệt, Thanh Trì, Hà Nội. Ông chịu ảnh hưởng từ mẹ là người hát ả đào lừng danh đất Bắc, nên sớm bộc lộ năng khiếu ca hát và tuy không qua trường lớp đào tạo nào về âm nhạc, nhưng đã xuất hiện trên sân khấu từ khi còn rất trẻ. Mới 6 tuổi, ông đã hát được ca trù và chèo. Năm 10 tuổi, ông ra Hà Nội theo học ở trường Madelon, phố Hàng Đẫy.
Vì quá mê tài tử Tino Rossi nên ông thường bỏ học đi bộ tới phòng trà Thiên Phúc ở Hàng Gai để nghe tiếng hát của Tino. Chính giọng của Tino Rossi là động lực để ông bước vào con đường ca hát.
Giọng hát của ông đã gây ấn tượng với người nghe từ những ca khúc trữ tình, lãng mạn của các tác giả Văn Cao, Phạm Duy, Đặng Thế Phong, Đoàn Chuẩn-Từ Linh, Doãn Mẫn, Tô Vũ, Thẩm Oánh,...
Thời kỳ kháng chiến chống Pháp, ông đã gia nhập đoàn kịch Sao Vàng do nhạc sĩ Đỗ Nhuận làm chủ nhiệm.
Ngọc Bảo nói rằng ông có ba người tình. Người thứ nhất là nhạc Pháp, nhạc tiền chiến. Người tình thứ hai là hàng triệu thính giả. Người thứ ba là vợ ông. Họa sĩ Hoàng Lập Ngôn có lần nói rằng những tuýp người tài tử như Ngọc Bảo nhiều chục năm mới có một.
Tài tử Ngọc Bảo mắc bệnh ung thư phổi và mất vào ngày 4 tháng 5 năm 2006.