Joyce egész életében két dologtól rettegett halálosan: a kutyáktól és a mennydörgéstől.
Az első fóbia végül is érthető. Gyerekkorában, miközben kavicsokat dobált a tengerparton, nem figyelt körül, és véletlen egy kutyát talál el. Joyce-t állon harapta a kóbor eb. Ami az égzengéstől való félelmét illeti, azt James Joyce kisgyerekkori nevelőnőjének köszönheti, aki buzgó katolikusként arra okította, hogy a vihar Isten haragjának a megnyilvánulása.
A dada ragaszkodott ahhoz, hogy a kicsi James minden egyes villámláskor keresztet vessen és elmondjon egy imát.
Joyce még felnőttkorában is összerezdült, ha mennydörgést hallott. Ha valaki rákérdezett, miért, mindössze ennyit felelt: „Na, maga sem a katolikus Írországban nevelkedett.”
