SSH Zugriff nur für bestimmte User gestatten

Hallo zusammen, ich habe auf einem Server (Suse 9.0) einige Benutzer eingerichtet, da diese via FTP auf ihre Home-Verzeichnisse zugreifen. Der Zugriff ist allerdings auf die Home-Verzeichnisse beschränkt. Zusätzlich möchte ich den ssh-Daemon starten. Jedoch habe ich dann das Problem, dass die User sich via SSH auf dem Server einloggen könnten und so trotzdem auf andere Verzeichnisse als ihr jeweiliges Home-Verzeichnis kommen würden. In der sshd-config Datei habe ich jetzt auf Anhieb nichts gefunden, wo ich die Benutzergruppe einschränken könnte. Natürlich könnte ich den Zugriff nur via Key gestatten, aber ich würde es gerne ohne realisieren. Für Anregungen / Hilfe jetzt schonmal danke. Gruß, Pascal