Поль Дырак нарадзіўся й рос у Бішапстане, раёне [[Брыстоль|Брыстоля]]. Яго бацька, Чарльз Дырак, быў эмігрантам з Сант-Маўріса, Швэйцарыя. Яго маці была з Корновола, нарадзілася ў сямьісям'і марака. У Поля быў старэйшы брат Фэлікс ({{мова-fr|Félix}}), які скончыў жыцьцё самагубствам у 1925 годзе, а таксама была сястра Біятрыс ({{мова-fr|Béatrice}}). Яго маладыя гады ў сям'і былі ня вельмі шчасьлівыя, ягоны бацька адрозьніваўся строгасьцю й аўтарытарнай натураю. Першую адукацыю атрымаў у Бішапскае пачатковай школе ({{мова-en|Bishop Road Primary School}}), потым працягнуў вучобу ў ({{мова-en|Merchant Venturers' Technical College}}) дзе ягоны бацька працаваў настаўнікам францускае мовы. Гэтая школа была пры [[Брыстольскі Унівэрсытэт|Брыстольскім Унівэрсытэце]], у якім вельмі паважнае значэньне прыдавалі навуковым дысцыплінам.