Se existem milhões de estrelas pelo cosmos, então pq o espaço não é iluminado, e sim escuro?

Porque elas estão se afastando de nós e, assim, de uma certa distância para frente, a luz delas não nos consegue atingir. Veja isso:
https://en.wikipedia.org/wiki/Olbers%27_paradox
https://pt.wikipedia.org/wiki/Paradoxo_de_Olbers