Qual a origem da probabilidade, incerteza? Sempre tive um certo pé atrás com isso, parece que é somente uma ferramente matemática para suprir, por aproximação, a nossa ignorância sobre algo. Se eu sei que uma moeda tem 50% de dar cara e coroa é porque eu parti de vários pressupostos e isso é a {...}‎

{...} conclusão óbvia deriva disso. Mas se eu sei que caras têm um peso maior que as coroas, então, dependendo do lançamento, uma irá cair com mais frequência. Parece-me sempre (para tudo) relativo, é 50%, dada as informações que tenho, mas pode facilmente não sê-lo e só experimentos provariam.
Probabilidade e estatística não são acochambrações matemáticas. Pelo contrário, são métodos rigorosos de se obter informações a partir de dados esparsos e imprecisos. E seus resultados são informados com a especificação do grau de confiança que sempre é visto ser correto, isto é, fazendo-se experimentos amostrais se obtém os resultados previstos estatisticamente dentro da fração prevista que seja correta. No caso que você disse, da moeda, a expectativa de que metade dos casos dê cada uma das possibilidades é teórica. As moedas reais não exibem tal partição. Cada moeda tem a sua fração de expectativa de dar cada possibilidade. Isso pode ser verificado experimentalmente lançando-se a moeda um número muito grande de vezes (vários milhares). É muito importante entender de probabilidade e estatística para se ter uma interpretação correta da realidade. Inclusive para saber que baixa probabilidade não é impossibilidade e nem alta probabilidade não é certeza. Recomendo os livros: O andar do bêbado e "Innumeracy".