Ethan Kath gặp Alice Glass tại Toronto khi cô ấy 15 tuổi. Anh nhận ra giọng hát cô ấy đặc biệt chưa được khám phá, khi tình cờ cô hát trong ban nhạc punk band Fetus Fatale. Đến năm 2003, anh có dự định mời Alice cùng tham gái góp giọng vào album của mình. Họ cùng thu âm và phát hành các bài hát online và lấy nghệ danh là Crystal Castles.
Sau nhiều lần nghe tác phẩm của nhóm, nhóm nhận được nhiều sự quan tâm của các hãng đĩa. Năm 2004, nhóm chính thức thành lập, và hướng theo thể loại nhạc điện tử. Nhóm đã cho khá nhiều album EP chất lượng vào những năm giữa năm 2006-2007.
Đầu tiên phải kể đến Ep đầu tiên của nhóm mang tên 'Alice Practice' dưới dạng vinyl, được bán ra chỉ có 300 bản. Sau đó bài hát đó cũng nằm trong album đầu tay cùng tên của nhóm 'Crystal Castles'. Sau đó nhóm cho ra 2 album tiếp theo Crystal Castles II và Crystal Castles III.
Nhóm nhận được sự ủng hộ nhiều của khán giả yêu thể loại nhạc điện tử, khi lọt vào nhiều bảng xếp hạng, đánh dấu bươc tiến cho nhóm trong tương lai.