1944年参加主张非暴力斗争的南非非洲人国民大会(简称非国大)。1948年,由布尔人当政的南非国民党取得了大选的胜利,由于这个党派支持种族隔离政策,曼德拉开始积极地投身政治,他在1952年的非国大反抗运动和1955年的人民议会中起到了领导作用,这些运动的基础就是自由宪章。与此同时,曼德拉和他的律师所同事奥利弗坦波开设了曼德拉坦波律师事务所,为请不起辩护律师的黑人提供免费或者低价的法律咨询服务,并先后任非国大执委、德兰士瓦省主席、全国副主席。1952年年底,他成功地组织并领导了“蔑视不公正法令运动”,赢得了全体黑人的尊敬。为此,南非当局曾两次发出不准他参加公众集会的禁令。1958年9月2日,亨德里克·弗伦施·维沃尔德出任南非首相,其于执政期间出台了“班图斯坦法”,此举将1000余万非洲黑人仅仅限制在12.5%的南非国土中,并且同时在国内实行强化通行证制度,此举激化了南非黑人与白人的冲突,最终导致了沙佩韦尔惨案的发生。1960年3月21日,南非军警在沙佩维尔向正在进行示威游行的五千名抗议示威者射击,惨案共导致了69人死亡,180人受伤,曼德拉也因此被捕入狱,但是最后通过在法庭辩论上为自己的辩护,而无罪释放。1961年,他领导罢工运动,抗议和抵制白人种族主义者成立的“南非共和国”;此后转入地下武装斗争。曼德拉创建了非国大军事组织:“民族之矛”(Umkhonto we Sizwe)并任总司令。他曾秘密赴国外访问,并出席在亚的斯亚贝巴召开的反非自由运动大会,呼吁对南非实行经济制裁。