Aprender cálculo é mais difícil do que a matemática do ensino médio? (considerando que já se domina a do médio)

Não. O nível de dificuldade, a partir do domínio do conhecimento prévio, é o mesmo do que aprender trigonometria, funções exponenciais e logarítmicas, polinômios, números complexos e geometria analítica. Inclusive é semelhante.