No século XVI, D. Manuel I mandou construir o convento de madeira para a Ordem de São Jerónimo, substituindo-o ligeiramente mais tarde por um de cantaria para 18 monges. No século XVIII, um raio destruiu parte da torre, capela e sacristia. Isto ocorreu pouco antes do fatídico terramoto de 1755, que deixou o convento em plena ruína. O Terramoto de 1755Lisboa e os arredores e o mosteiro ou Convento da Pena caiu em ruínas. Apenas a Capela, na zona do altar-mor, com o magnífico retábulo em mármore e alabastro atribuído a Nicolau de Chanterenne, permaneceu intacta. devastou
As ruínas, no topo escarpado da Serra de Sintra, maravilharam o jovem príncipe D. Fernando. Em 1838, decidiu adquirir o velho convento, a cerca envolvente, o Castelo dos Mouros e quintas e matas circundantes. Logo se tornaria um «alto-lugar» do romantismo europeu. O monumento actual foi mandado edificar por D. Fernando de Saxe Coburgo-Gota, casado com a Rainha Maria II em 1836. Homem culto, e com uma educação muito cuidada, o futuro Rei Fernando II depressa se apaixonou por Sintra. Ao visitar a montanha pela primeira vez, avistou as ruínas do antigo Convento dos Frades Hieronimitas, erguido no reinado de D. João II, e que tinha sido substancialmente transformado pelo rei Manuel I de Portugal. Este, no cumprimento de uma promessa, ordenou a sua reconstrução de raiz, em homenagem a Nossa Senhora da Pena, doando-o de volta à Ordem dos Monges de São Jerónimo.
O Palácio, em si, é um edifício ecléctico onde a profusão de estilos e o movimento dos volumes são uma invulgar e excepcional lição de arquitectura.
