Заходим в настройки:
В Основные листаем, до что Firefox должен делать с другими файлами? и выбиваем Спрашивать, открывать или сохранять файлы:
Далее скачиваем любой torrent файл и выбираем "открыть", далее указываем какой программой его открывать.