Quitar caracter no numerico

Buena tarde grupo.

Cual es la forma mas optima de quitar de una cadena todos los caracteres no
numéricos, en los BOL encontré un ejemplo que se puede adaptar pero implica
utilizar un While para recorrer cada cadena. En millones de datos puede
presentar tiempos de respuesta muy altos.

Identificacion Resultado deseado
No.1234. 1234
No existe, 456 456
789: anulado 789
(acd)3355 3355
457Nit 457
456-1 4561
456-1A 4561
487 = Repetido 487

Agradezco de antemano la ayuda que me puedan brindar

Lo que encontre en los BOL

ASCII
Ejemplos
SET TEXTSIZE 0
SET NOCOUNT ON
DECLARE @position int, @string char(15)
SET @position = 1
SET @string = 'Du monde entier'
WHILE @position <= DATALENGTH(@string)
BEGIN
SELECT ASCII(SUBSTRING(@string, @position, 1)),
CHAR(ASCII(SUBSTRING(@string, @position, 1)))
SET @position = @position + 1
END
SET NOCOUNT OFF
GO