Navnet kommer fra norrønt Dramn eller Drofn — bølger. Vikinger bodde her. Helleristningene i Skogerveien og på Åskollen viser at mennesker har vært i dalen i tusenvis av år. Men det som bygde byen, var tømmeret.
Allerede på 1200-tallet gikk trelast ut herfra. På 1500-tallet kom vannsagene. Drammensvassdraget ble en av landets viktigste fløtingsårer, og havnen ble i perioder Norges fremste trelasthavn — større enn Christiania. Ladestedene Bragernes og Strømsø fikk kjøpstadsrettigheter hver for seg i 1715. Den 19. juni 1811 ble de slått sammen til kjøpstaden Drammen.
Bybrannen i 1866 la store deler av Bragernes i aske. 388 hus brant. Rundt 5000 mennesker ble husløse. Det som kom etterpå, preger byen ennå: brede gater, avstand mellom husene, og et torg så stort at det fortsatt er Norges største. Treforedling og papir tok over for trelasthandelen. Union og de andre fabrikkene langs elva gjorde Drammen til en arbeider- og industriby.
Så snudde historien. Elva ble renset. Promenaden ble bygd. Papirfabrikken ble kulturkvartal. På 2000-tallet vant Drammen pris på pris for byutvikling. Det gamle kallenavnet sitter fortsatt i noen hodene utenfor byen. Inne i byen merkes det knapt.