En teoría da información, medida da cantidade de información producida por un alfabeto de N símbolos.
Categoría Gramatical:
substantivo feminino (perola)
Sinónimos:
entropía de Shannon
Información complementaria:
A entropía será máxima cando nun alfabeto de N símbolos estes sexan equiprobables, é dicir, a probabilidade de ocorrencia sexa 1/N. Neste caso a entropía será H(N)=log2(N). Isto pódese ver como unha medida de dispersión da información. Canto máis dispersa, máis difícil será comprimir a fonte. A entropía é o límite teórico da compresión, isto é, que o mellor compresor achegará os símbolos do alfabeto a unha lonxitude próxima á entropía, pero nunca menor que ela.
