intentos de acceso no permitidos a ssh

Hola a todos Tengo un servidor con el ssh operativo y abierto y estoy hasta el gorro de ver como en los logs aparecen los tipicos escaneos de usuarios May 29 07:01:18 servidor sshd[19118]: Failed password for illegal user carol from ::ffff:81.16.98.49 port 40491 ssh2 May 29 07:01:19 servidor sshd[19119]: Failed password for illegal user cesar from ::ffff:81.16.98.49 port 40552 ssh2 May 29 07:01:20 servidor sshd[19120]: Failed password for illegal user clark from ...... Recuerdo haber leido algo en esta lista sobre como evitar esto, pero no encuentro las soluciones que se dieron. Alguien sabe como eliminar esto? Gracias Un saludo Emiliano Sutil