Más de un favicon?

No entiendo muy bien lo que quieres decir, pero jugaremos con la bola de
cristal.
Si te refieres al icono de los enlaces de los favoritos del internet
explorer se guarda en la carpeta de archivos temporales de internet, se
almacenan todos los que tengan las diferentes páginas (cada uno con nombre
diferente si es que están en la misma carpeta). Cuando borras los archivos
se borran también los iconos. Si a ti no se te guardan correctamente puede
que el archivo de la caché esté incorrecto. Yo lo que hago es guardalos en
una carpeta aparte y asignar cada icono a cada enlace, así que ya no vuelven
a perder.

El problema es que no se me almacenan con nombre diferente. Solamente me
aparece uno (favicon) y me machaca el anterior.

Saludos
Regards
Alex

Pues será que está corrupto el index.dat de los archivos temporales de
internet. Lo mejor es borrar manualmente todo el contenido de dicha carpeta
desde otro usuario ya que no deja borrar el index.dat del usuario activo. Lo
puedes hacer desde el intérprete de comandos o con totalcommander ya que
para windows esa carpeta es especial y no muestra su contenido real en el
internet explorer.
Busca también a ver cuantos favicon tienes desde el interprete de
comandos.