VSFTPD. Conectar ciertos usuarios solo desde localhost

Buenas a todos. Vereis, tengo montado un servidor ftp con vsftpd que esta andando a las mil maravillas. Pero ahora, por diversas circunstancias, me interesa que ciertos usuarios, concretamente uno o dos nada mas, aquellos que yo indique, solamente puedan conectar al servidor ftp, si lo hacen desde localhost, o al menos, si lo hacen desde dentro de mi red local, pero no me interesa que esos usuarios conecten desde fuera, desde internet. El resto de usuarios sin embargo, si me interesa que puedan conectar desde cualquier donde sea (como está ahora mismo). Entonces mi pregunta es, ¿Se puede hacer eso? ¿Como? Nada mas, espero que puedan echarme una mano. Un saludo! -- José David