Resposta:

Essa palavra vem do Latim VAGATIVUS, “o que anda sem destino”, de VAGARE, “andar sem propósito, sem destino”.

O emprego pejorativo tem origem óbvia: uma pessoa que gastava seu tempo andando ao léu não podia se dedicar a atividades necessárias a alguém que pertencesse a um grupo e cooperasse para as suas finalidades.

Outras conotações pejorativas daí se desenvolveram.