Com a morte de Muhammad, a comunidade muçulmana se viu diante do problema da sucessão.  Quem seria seu líder?  Havia quatro pessoas obviamente marcantes para a liderança: Abu Bakr al-Siddiq, que não apenas tinha acompanhado Muhammad à Medina dez anos antes, mas também sido apontado para tomar o lugar do Profeta como líder das orações públicas durante a última doença de Muhammad; Umar ibn al-Khattab, um companheiro confiável e capaz do Profeta; Uthman ibn ‘Affan, um respeitado convertido do início do Islã, e Ali ibn Abi Talib, primo e genro de Muhammad.  Sua virtude e habilidade para governar as questões da nação islâmica eram uniformemente excelentes.  Em um encontro ocorrido para decidir a nova liderança, Umar pegou a mão de Abu Bakr e deu sua aliança a ele, o sinal tradicional de reconhecimento de um novo líder.  Até o anoitecer todos concordaram e Abu Bakr foi reconhecido como o califa de Muhammad.  Califa é uma palavra que significa “sucessor”, mas também sugere qual seria seu papel histórico: governar de acordo com o Alcorão e a prática do Profeta.

O califado de Abu Bakr foi curto, mas importante.  Um líder exemplar viveu de maneira simples, cumprindo assiduamente suas obrigações religiosas, e era acessível e solidário com seu povo.  Mas também se manteve firme quando algumas tribos, que tinham aceitado o Islã apenas nominalmente, renunciaram a ele após a morte do Profeta.  No que foi uma realização de maior significância, Abu Bakr os disciplinou rapidamente.   Posteriormente consolidou o apoio das tribos dentro da Península Arábica e subsequentemente canalizou suas energias contra os poderosos impérios do Oriente: os sassânidas na Pérsia e os bizantinos na Síria, Palestina e Egito.  Em resumo, demonstrou a viabilidade do estado muçulmano.

O segundo califa, Umar – nomeado por Abu Bakr – continuou a demonstrar essa viabilidade.  Adotando o título de Amir al-Muminin, ou Comandante dos Crentes, Umar estendeu o governo temporal do Islã até a Síria, Egito, Iraque e Pérsia no que, do ponto de vista puramente militar, foram vitórias surpreendentes.  Dentro de quatro anos após a morte do Profeta o estado muçulmano tinha se estendido sobre toda a Síria e, em uma famosa batalha durante uma tempestade de areia próxima ao rio Yarmuk, enfraqueceu o poder dos bizantinos – cujo governante, Heráclito, havia recusado pouco tempo antes o chamado para aceitar o Islã.

Ainda mais surpreendente, o estado muçulmano administrou os territórios conquistados com uma tolerância quase desconhecida naquela época.  Em Damasco, por exemplo, o líder muçulmano, Khalid ibn al-Walid, assinou um tratado que diz o seguinte:

Isso é o que Khalid ibn al-Walid concede aos habitantes de Damasco se adentrar a cidade: promete dar-lhes a segurança de suas vidas, propriedades e igrejas.  Sua cidade não será demolida, nem qualquer muçulmano se aquartelará em suas casas.  Damos a eles o pacto de Deus e a proteção de Seu Profeta, dos califas e dos crentes.  Enquanto pagarem o tributo, nada exceto o bem recairá sobre eles.

Essa tolerância era típica do Islã.  Um ano depois de Yarmuk, Umar, no campo militar de al-Jabiyah nas Colinas de Golã, recebeu a palavra de que os bizantinos estavam prontos a entregar Jerusalém.  Consequentemente, ele cavalgou até lá para aceitar a rendição em pessoa.  De acordo com um relato, ele entrou na cidade sozinho e vestido em um manto simples, surpreendendo a massa acostumada às vestimentas suntuosas e cerimoniais da corte dos bizantinos e persas.  Surpreendeu-os ainda mais quando acalmou seus temores ao negociar um tratado generoso no qual lhes disse: “Em nome de Deus... vocês têm total segurança para suas igrejas, que não devem ser ocupadas ou destruídas pelos muçulmanos.”

Essa política se provou bem sucedida em todos os lugares.  Na Síria, por exemplo, muitos cristãos que tinham se envolvido em ásperas disputas teológicas com as autoridades bizantinas - e perseguidos por elas - deram as boas vindas à chegada do Islã como um fim à tirania.  E no Egito, que Amr ibn al-As tomou dos bizantinos após uma ousada marcha através da Península do Sinai, os cristãos coptas não somente deram as boas vindas aos árabes, mas os ajudaram de forma entusiástica.

Esse padrão foi repetido em todo o Império Bizantino.  O conflito entre gregos ortodoxos, monofisitas sírios, coptas e cristãos nestorianos contribuíram para o fracasso dos bizantinos – sempre considerados como intrusos – em desenvolverem apoio popular, enquanto que a tolerância que os muçulmanos demonstraram em relação aos cristãos e judeus removeu a causa primária para opô-los.

Umar também adotou essa atitude em questões administrativas.  Embora tenha nomeado governadores muçulmanos para as novas províncias, as administrações bizantinas e persas existentes foram mantidas sempre que possível.  Por cinquenta anos, de fato, o grego permaneceu o idioma de chancelaria da Síria, Egito e Palestina, enquanto que o Pahlavi, o idioma de chancelaria dos sassânidas, continuou a ser usado na Mesopotâmia e Pérsia.

Umar, que serviu como califa por dez anos, terminou seu governo com uma vitória significativa sobre o Império Persa.  A luta com o reino sassânida começou em 686 em al-Qadisiyah, próximo de Ctesifonte no Iraque, onde a cavalaria muçulmana tinha lidado de forma bem sucedida com os elefantes usados pelos persas como um tipo de tanques primitivos.  Agora com a Batalha de Nihavand, chamada de a “Conquista das Conquistas”, Umar selou o destino da Pérsia; dali em diante se tornou uma das províncias mais importantes no Império Islâmico.