Abolicionizem, vprašanje rase in razreda