На самом деле все довольно просто, в файле /etc/hosts.allow перечисляем IP с которых доступ открыт:
sshd: XXX.YYY.XXX.YYY, XXX.YYY.XXX.ZZZ
А в /etc/hosts.deny прописываем:
sshd: ALL