A federal de Viçosa possui graduação em física(bacharelado)? Estou pensando seriamente em cursar física daqui a alguns anos, preferiria uma cidade pequena assim como Ouro Preto ou Viçosa, e é relativamente perto de onde eu moro

Sim, em Viçosa tem Bacharelado em Física. Inclusive, por coincidência, fui eu quem elaborou o currículo do curso para ser implementado, em 1980. Até então havia a licenciatura curta em ciência com complementação para licenciatura plena em física.
Os currículos foram reestruturados em 2000:
http://www.fisica.ufv.br