ENCONTRAR UN CONTROL

Hola.

tengo una serie de controles LABEL en un WinForm que se diferencian solo
por un numero.

Es decir,

L1, L2, L3

Yo necesito en un evento del boton, en dependencia de un numero, encontrar
el contro correspondiente.
Es decir, si el numero es el 17, cambiarle el color de fondo al Label L17

yo pense que seria algo asi como

Label tempLabel=(Label)this.Controls.IndexOf("L"+numero); pero no se puede
pues el parametro que pide IndexOf es un control en si.

Alguien que me pueda decir como hacer?
Otra cosa, como puedo hacer que un loop haya una pausa de 1 segundo cada
vez que "loopee"??

Saludos