Qual seria um argumento bom para dizer que não existe vida fora da Terra sem usar a religião? Encontrei alguns ateus assim, mas não dão argumentos além do "nada foi encontrado, logo não existe"?!‎

Não existe um argumento para dizer que não existe vida fora da Terra, pois ela pode existir. O que existe são argumentos que dizem que ela deve ser rara. Há um livro a respeito: "Terra Rara", de Ward e Brownlee (Campus). Veja isto: http://pt.wikipedia.org/wiki/Hip%C3%B3tese_da_Terra_rara .
Quanto a visitas de extraterrestre, a questão é de que todas elas são muito mal comprovadas para se ter segurança de sua veracidade.