Ernesto, já estudei a Matemática do ensino médio (usando uma coleção bem antiga em 8 ou 9 volumes) e atualmente estou lendo o PSSC. Em 2017 vou prestar vestibular para Física, devo aproveitar e avançar na matemática (Calculo, Álgebra Linear) ou dedicar meu tempo para estudar para o vestibular ?

Depende. Se você já sabe tudo que vai cair no vestibular, pode estudar outros assuntos. Mas se ainda não sabe, é melhor estudar para o vestibular.