Añadir texto a un RicjhTextBox sin desplazarlo

Buenas, os comento algo que no he sido capaz de lograr todavía y que seguro
que alguien sabe hacer.
Tengo un RichTextBox en el cual voy mostrando eventos que van ocurriendo (es
decir, su contenido se va incrementando automáticamente sin una periodicidad
determinada). La cuestión es que si alguien quiere leer lo que ha ocurrido
anteriormente se desplaza para arriba y puede verlo, pero si en ese momento
se produce algún evento que muestre texto en el control se posiciona al
final del todo, haciendo que tengas que volver al punto en el que estabas
anteriormente, lo cual es un engorro. Esto es debido a que para insertar el
texto hago un selstart del final del texto e inserto ahí la nueva cadena.
He pensado en después de grabar devolver el selstart a la posición en la que
estuviera mirando, pero no encuentro la manera de saber cómo localizar dicha
posición y además esto haría que el control "parpadeara" en el intercambio
del punto donde estaban mirando al final y vuelta al origen.
Seguro que alguien ha tenido este problema alguna vez y se le ha ocurrido
alguna manera sencilla de resolverlo.

Un saludo