Hola.

Bueno, la solución temporal que he hecho es en el directorio del usuario habitual..
Existe el archivo:

.profile

Añadí al final de este archivo la solución que vimos y comentamos arriba.

...
export LANGUAGE=es_ES.UTF-8


De paso también estuve viendo está información.

http://www.linux-es.org/faq/Html/FAQ_Linux_V2.0.2-130.html

Así que si quiero hacerlo para todo el sistema podemos hacerlo en:

/etc/profile

No habla en concreto del archivo .profile del usuario, habla más en general de .bash_profile

En el directorio de este usuario, con atributos oculto encuentro:
Citar:

.bash_history
.bash_logout
.bashrc
.profile


Si queréis comentar algo más sobre el tema espero unos días, para poner "solucionado".

Saludos