O Palácio da Comenda foi mandado construir pelo Conde Abel Henri Georges Armand, sob projeto do prestigiado arquiteto Raul Lino.
O arquitecto desenhou três versões do projeto da casa da Comenda, sendo que a obra que foi efetivamente construída é a mais próxima da última dessas propostas.
A obra foi realizada entre 1903 e 1908 pelo construtor civil Augusto Victorino da Rosa.
Os azulejos aplicados na casa foram executados pelo ceramista e pintor José António Jorge Pinto.
O arquitecto teve em consideração um estilo tradicionalista da construção em articulação com o conforto moderno, bem como a integração da casa na paisagem circundante.
Em agosto de 1903, a conceituada revista de arquitetura A Construcção Moderna apresentou a “Casa do Ex.mo Sr. Conde de Armand”. Nesse ano a casa já estava em construção, mas ainda numa fase inicial, uma vez que se afirma que ainda existe a velha casa.
O palácio é um excelente e raro exemplo da arquitetura ao serviço da vilegiatura climática e marítima, conceito que se devolveu no final do século XIX e no princípio do século XX.
A ligação de Raul Lino à casa perpetuou-se por duas gerações uma vez que, após a morte de Abel Henri, 2º Conde Armand (em 1919), o arquiteto trocou correspondência com Roger Ernst, 3º Conde Armand, entre 1936 e 1938, com o objetivo de fazer o projeto da biblioteca.