Fátt er vitað um Abu Musab al-Zarqawi. Hann fæddist í Jórdaníu árið 1966. Samkvæmt óljósum heimildum frá jórdönsku leyniþjónustunni sat hann í fangelsi árið 1980 [14 ára gamall !]. Hann var í hópi hinna svokölluðu mujahedeen sem börðust gegn sovéska hernum í Afganistan á níunda áratugnum.  Talið er að hann hafi komið seint til Afganistan og þar er talið að hann hafi komist í kynni við hryðjuverkaleiðtogann Osama bin Laden. Þrátt fyrir baráttu gegn sameiginlegum óvini í Afganistan er sagt að litlir kærleikar hafi verið með þeim.

Reynsla Zarqawi á níunda áratugnum hafði mótandi áhrif á hann.  Eftir að hann sneri frá Afganistan er talið að hann hafi dvalið í Evrópu. Þar reyndi hann að koma á laggirnar hreyfingu til þess að berjast gegn konungsveldinu í heimalandi sínu. Árið 1992 var hann handtekinn í Jórdaníu og dæmdur í sjö ára fangelsi fyrir m.a. að reyna að velta koningu landsins úr sessi.

Tvennum sögum er af al-Zarqawi í fangelsi.  Sumir segja að hann hafi verið mikill leiðtogi meðal fanga sem báru óttablanda virðingu fyrir honum. Aðrir sem sátu inni með honum, sögðu hann skorta bæði vit og dirfsku til að geta borið ábyrgð á skipulagningu þeirra illvirkja sem honum var síðar kennt um.

Stuttu eftir að honum var sleppt úr haldi flúði hann land. Næstu árin var hann í Pakistan og Afganistan. Heimildir herma að þar hafi hann stjórnað æfingabúðum hryðjuverkamanna við bæinn Herat, nálægt írönsku landamærunum. Hann er sagður hafa lagt sérstaka áherslu á kennslu í meðferð og notkun eiturefna.

Þegar Zarqawi dvaldi í Afganistan endurnýjaði hann kynnin við Osama bin Laden og Al Qaeda-samtökin.

Bandaríska leyniþjónustan telur að það hafi verið bin Laden sem hafi fengið hann til að koma sér fyrir í Írak, en þangað komst hann áður en Bandaríkjamenn réðust inn í landið árið 2003. Er talið afar ólíklegt að hann hafi komist óhultur yfir írösku landamærin án þess að stjórnvöld hafi vitað af því.  Bandaríkjamenn bentu þrálátlega á þessa staðreynd .þegar þeir reyndu að sannfæra almenning og umheiminn um tengsl milli Saddam Husseins og Al-Qaeda. Aðrir telja að Zarqawi og bin Laden hafi ekki hafið samstarf fyrr en eftir innrásina í Írak.

Í Írak leiddi Zarqawi uppreisn þeirra sem vilja koma á íslönsku ríki í landinu og í öðrum löndum í heimshlutanum. Þá er vitað að hann stóð fyrir gíslatökum í Írak og talið er að hann hafi í einhverjum tilfellum sjálfur tekið gísla sína af lífi.  Hann hefur verið talinn í hópi hættulegustu hryðjuverkamanna heims frá því að innrásin var gerð og eftirlýstur um allan heim.