Hallvard Vebjørnssønn var ingen hvilken som helst. Legenden skal ha det til at da han reddet en gravid trellkvinne fra en gjeng hissige menn som beskyldte henne for innbrudd, ble han skutt og drept med pil. Hallvards lik ble så knytt til en møllestein og senket i Drammensfjorden.