mas no caso do núcleo de helio, é menor porque parte da massa dos prótons e nêutrons se transformou em energia ou a energia positiva das massas dos prótons e nêutrons é compensada pela energia negativa existente de interações, que acaba diminuindo o "total"?

Não tem "mas" nenhum. É isso mesmo, ao se reunir dois prótons e dois nêutrons em um núcleo de hélio, a massa do núcleo, que inclui as energias das interações entre eles, tanto elétrica quanto nuclear, é menor do que a soma das massas dos constituintes isolados. Isto é, o todo é menor do que a soma das partes. Há casos em que pode ser maior, se as interações forem repulsivas (no caso do hélio existe a interação elétrica repulsiva, que tem energia positiva e a interação nuclear atrativa, que tem energia potencial negativa, mas a nuclear sobrepuja, de modo que o total de energia potencial dos nucleons é negativo, que é o que faz a massa diminuir).