A. Philip Randolph a huszadik század egyik legbefolyásosabb politikai stratégája volt. Hite a szervezett munkaerő azon képességében, hogy ellensúlyozza a munkaerő-diszkriminációt, valamint az erőszakmentes tiltakozások tervezésében való jártassága elősegítette az afroamerikaiak foglalkoztatási fejlődését.
1925-ben Randolph megalapította a Sleeping Car Porters (BSCP) testvériségét., Randolph biztosította tagságát az Amerikai Munkaügyi Szövetség a BSCP, így ez az első fekete szakszervezet az Egyesült Államokban. Randolph a szervezett munkával végzett erőfeszítéseire építve együttműködött Bayard Rustinnal, hogy erőszakmentes stratégiákat dolgozzon ki a védelmi iparágak és a fegyveres erők hátrányos megkülönböztetésének tiltakozására. 1941-ben felvonulást terveztek Washingtonban, hogy tiltakozzanak a védelmi ipar diszkriminációja ellen. A javasolt március nyomást gyakorolt Franklin D. Roosevelt elnökre, hogy adjon ki egy végrehajtási rendeletet, amely eltörli a védelmi iparban a diszkriminációt., 1947-ben Randolph újabb felvonulást tervezett Washingtonban, hogy tiltakozzon a katonai szegregáció ellen. A tervezett felvonulás ismét politikai nyomást gyakorolt a kormányra, és 1948-ban Harry Truman elnök kiadott egy végrehajtó parancsot, amely véget vetett a katonai szegregációnak.
Az 1950-es években Randolph más polgárjogi vezetőket tanított meg arra, hogyan alkalmazzanak erőszakmentes tiltakozásokat a faji megkülönböztetés ellen. Randolph az 1963-as washingtoni menetelés fő szervezője volt, és azon vezetők között volt, akik a menetelés után találkoztak John F. Kennedy elnökkel., 1964-ben Randolph megkapta az Elnöki Szabadság Érdemrendet erőfeszítéseiért, és megalapította a washingtoni A. Philip Randolph Intézetet, amely a szegénység tanulmányozását célozta.
a rossz egészségi állapot miatt Randolph 1968-ban lemondott a BSCP elnöki posztjáról, és visszavonult a közéletből. A. Philip Randolph 1979.május 16-án, 90 éves korában, New York-i otthonában halt meg ágyban.