no puedo reemplazar un assembly

Hola!
tengo una aplicacion que carga assemblies, los modifica y luego pisa los
assemblies originales con los nuevos generados.

El problema lo tengo cuando quiero pisar estos assemblies ya que se me da
un
System.UnauthorizedAccessException.

'la carga la hago asi:
Dim [assembly] As System.Reflection.Assembly > Reflection.Assembly.LoadFrom(objFileInfo.FullName)

esta linea de codigo es la que me produce el bloqueo del assembly, que
luego
en otro paso debo reemplazar; inclusive si voy desde una ventana de
windows
a querer reemplazarlo manualmente, me dice que el archivo esta en uso.

que estoy haciendo algo mal? ¿Como fuerzo la liberacion de ese assembly
si
es esto posible?