Como complemento do post Como colocar um favicon no teu site este mostra um pequeno pedaço de código que evita o alterar da cabeçalho, inserindo automaticamente a linha que carrega o seu favicon.
Esta função deve ser colocada no functions.php do seu tema, esta pressupõe que o seu Favicon está na raiz do seu site.
add_action("wp_head", "add_favicon");
function add_favicon() {
echo "";
}
Resultado: