Resposta:

Paulo Cesar:

Nem sempre a gente consegue material que explique essas expressões populares.
Por sorte, sabemos essa que você pergunta. É uma história bem interessante:

Na época do Brasil Colônia, periodicamente vinha uma embarcação coletar os impostos devidos a Portugal. Esses eram 20% dos lucros aqui obtidos (!).
Tal navio era aproveitado para trazer pessoas que tivessem sido banidas da pátria-mãe e os aventureiros que queriam tentar a sorte por aqui. Ou seja, gente que não se destacava por um elevado nível sócio-cultural, para dizer pouco.
Esse navio era chamado “a nau dos quintos”, já que essa era a fração que ia buscar. Ser condenado a ir nessa nau era muito ruim.
Tão ruim que, para completar, se acrescentou “dos infernos” e aí está nossa estranha expressão em pleno uso.