A Igreja Paroquial de Chafé, dedicada a São Sebastião, existiu no sopé do Monte do Castelo mas, devido à invasão das areias que soterrou o lugar de Ester, local original da igreja, fez com esta tivesse que ser reconstruída no local atual, mais no interior.

A edificação da igreja estava localizada no lugar de Ester, no sopé setentrional do Monte de Castelo do Neiva, num local que hoje é chamado de Portelas. Actualmente, ainda há vestígios desta igreja. No século XII, iniciou-se o fenómeno de invasão de areias que afectou as áreas mais litorais da paróquia de S. João de Ester. Deste fenómeno ficaram marcas na toponímia, dos quais o mais evidente é o nome do lugar da Areia. Lordelo e Ester foram soterrados pelas areias, as casas destruídas, entre elas a primeira igreja. E as pessoas tiveram de se deslocar mais para o interior, para o lugar de Xafede, onde se vão reorganizar.

No telhado do lado sul da Igreja junto a uma cruz vê-se um relógio em pedra, vertical declinante duplo com o gnómon em ferro.