Saidina Umar memeluk Islam pada tahun keenam kenabian rasulullah s.a.w. Pada waktu itu beliau berumur 27 tahun. Telah diriwayatkan hati Umar bergoncang untuk menerima Islam setelah mendengar adiknya yang bernama Fatimah membaca Al-Quran surat Thaha ayat satu hingga ayat enam. Tindakan beliau memeluk Islam benar-benar menggemparkan masyarakat Quraisy. Ini disebabkan Umar adalah orang yang paling membenci dan menentang Islam namun perancangan Allah mengatasi segala-galanya.
Selain itu, dalam sebuah hadis lain yang diriwayatkan oleh At-Thabrani bahawa Rasulullah SAW juga pernah berdoa : "Ya Allah kuatkan Islam dengan Umar Al-Khattab". Sebuah hadis dari Ibnu Abbas yang diriwayatkan oleh Ibnu Majah bahawa Rasulullah SAW berkata : "Apabila Umar memeluk Islam, Jibril pun datang dan berkata : "Ya Muhammad, sesungguhnya seluruh makhluk langit bergembira dengan Islamnya Umar".
Setelah memeluk Islam, Rasulullah s.a.w menggelarnya sebagai al-Faruq kerana dapat membezakan di antara perkara yang hak dan batil. Dengan Islamnya Saidina Umar Al-Khattab, mereka sebelum ini solat dalam ketakutan telah berani untuk solat secara terang-terangan di Baitullah. Kaum Musyrikin Mekah tidak lagi berani untuk mengganggu mereka beribadah kerana Umar berada di situ.