O museu localiza-se na antiga Torre de S. Sebastião, edificada entre 1897 e 1900, na enseada de Santa Marta por iniciativa de Jorge O'Neill, um aristocrata e financeiro de ascendência irlandesa. Obra notável da arquitetura de veraneio cascalense, este imóvel está integrado no atual Parque Marechal Carmona, onde se situa também a Ermida de S. Sebastião, datada de finais do século XVI, que lhe deu o nome.

O primeiro museu de Cascais foi inaugurado em 1931, apresentando coleções de pintura, mobiliário, cerâmica e outras artes decorativas, marcadas pelo gosto eclético dos antigos proprietários e testemunho de diferentes períodos artísticos, bem como a biblioteca, onde se destaca a Crónica de D. Afonso Henriques, de Duarte Galvão, um códice do século XVI com uma das mais antigas vistas de Lisboa (c. 1515-20), e ainda um pequeno núcleo de ícones russos. Ao longo do tempo, o acervo original foi sendo enriquecido com novas aquisições e a incorporação de outras doações e legados. A apresentação museológica articula-se com os espaços arquitetónicos, evocando as ambiências de uma casa aristocrática de inícios do século XX, com salas de vivência social e outras de cariz mais privado.
O conjunto do palácio, da capela, dos painéis azulejares e do parque envolvente foi classificado como Imóvel de Interesse Público em 1993 e o museu integra a Rede Portuguesa de Museus desde 2011. Certificado de Excelência Tripadvisor