حَدَّثَنَا الْقَعْنَبِيُّ، عَنْ مَالِكٍ، عَنْ أَبِي الزِّنَادِ، عَنِ الأَعْرَجِ، عَنْ أَبِي هُرَيْرَةَ، أَنَّ رَسُولَ اللَّهِ صلى الله عليه وسلم قَالَ ‏"‏ الْمَلاَئِكَةُ تُصَلِّي عَلَى أَحَدِكُمْ مَا دَامَ فِي مُصَلاَّهُ الَّذِي صَلَّى فِيهِ مَا لَمْ يُحْدِثْ أَوْ يَقُمِ اللَّهُمَّ اغْفِرْ لَهُ اللَّهُمَّ ارْحَمْهُ ‏"‏ ‏.‏
Translation
Abu Hurairah reported the Messenger of Allah (May peace be upon him) as saying; one is considered to be at prayer so long as one is detained by prayer

Nothing prevents one from going home to one’s family except prayer.