Запускаем от имени steam
sudo -u steam -c screen -dm /home/steam/Steam/steamapps/common/Terraria/TerrariaServer.bin.x86_64 -config config.txt
Кавычек не нужно, с ними начинаются ошибки, что команда не найдена.