¿como ver miniaturas de archivos avi?

Recientemente he tenido que reinstalar windows por cambio de equipo.
El caso es que los archivos de video (.avi, mpg), antes veia una miniatura
correspondiente al primer fotograma del video.
Ahora en los mpg sigue igual, pero los avi no se ve la miniatura, solo un
icono del windows media player.
El caso es que me resultaba útil para de un vistazo saber que archivo de
video se trataba sin tener que visualizarlo con el reproductor.
¿como puedo volver a ponerlo como lo tenía? es decir, ver la miniatura en
vez del icono del media player.
Gracias por las respuestas.