Splittelsen mellem sunni- og shia-muslimer indtraf allerede, da profeten Muhammed døde i år 632. Indtil da havde alle set Muhammed som muslimernes leder, men da profeten døde, skulle hans tilhængere nu finde en ny leder.
Arvefølgen var dog ikke helt klokkeklar. Størstedelen af muslimerne (sunnierne) mente, at den mest kompetente blandt profettens tilhængere burde være hans efterfølger.
Den anden gruppe (shiitterne) hældte mere til blodets bånd og mente, at Muhammed allerede havde udpeget sin fætter og svigersøn, Ali, som arvtager.
Sunnierne endte med at vinde magtkampen og gjorde Abu Bakr, Muhammeds ven og rådgiver, til islams første kalif, og han blev dermed både politisk og religiøs leder af muslimerne. Det tabende mindretal, shiiterne, nægtede dog at give op og holdt dog fast i, at Ali og hans slægt var islams retmæssige arvtagere.
Splittelsen mellem de to grupper blev endegyldigt, da Alis søn, Hussein, blev dræbt i år 685 ved byen Karbala i nutidens Irak. Ifølge flere kilder blev han dræbt af kaliffens tropper, men nogle sunnitter mente derimod, at Hussein var blevet forrådt af sine egne.