sshd - nur ein Zugang mit nur eine Key

Hallo Liste, ich versuche gerade sshd beizubringen, dass er nur von einem Client die Verbindung akzeptieren soll und auch nicht jedem einen Key anbieten soll, der sich auf den Rechner verirrt. Im Moment könnte von jedem Rechner aus eine ssh-Verbindung aufgebaut werden. Wie kann ich das Unterbinden? Die ListenAdress Option geh ja nur so lange, wie von festen IP Adressen aus gearbeitet wird. Bei einer Verbindung mittel z.B. A-DSL, ist das durch due IP Vergabe hinfällig. Gibt da einen kleinen schnellen Tipp ? Gruß Alex