Eu sou ateu, mas frequento uma igreja vez por outra, será falsidade da minha parte?

Depende por que razão você o faz. Se é por uma convenção social, a fim de não ofender a família, não tem problema. Mas se for por uma questão de se garantir de não ir para o inferno, caso Deus exista, é preciso que se pense a respeito e se chegue a uma conclusão e se aja de acordo com ela, ficando teísta ou tornando-se verdadeiramente ateu, caso em que não se justifica ir a nenhum templo religioso, a não ser para admirar a arquitetura.