I 1895, nærmere bestemt 13. april det året ble forløperen til Arbeidsmannsforbundet etablert under navnet Det norske vei- og jernbanearbeiderforbund. Senere i 1900 så tok man navnet Norsk Arbeidsmansforbund.
Forbundet er et av de eldste i Norge bare slått av forløperen til Norsk Grafisk Forbund (Nå del av Fellesforbundet) som starte opp i 1885. Forbundet har imidlertid vært fødselshjelper til mange andre LO forbund som startet opp under NAF organisering og senere etter hvert som samfunnet ble mer spesialisert, gikk ut og dannet andre forbund.
I 2020 feiret forbundet 125 år og her er merket som ble benyttet til denne feiringen!