Ο κάτοικοςς του Βορείου Λονδίνου κυκλοφόρησε το ομώνυμο ντεμπούτο του το 1970 και ακολούθησε το Time of the Last Persecution το 1971. Όμως, καθώς κανένα άλμπουμ δεν γνώρισε εμπορική επιτυχία, ο Fay αναγκάστηκε να ακολουθήσει άλλες σταδιοδρομίες, όπως φύλακας, φρούτων, εργάτης σε εργοστάσιο και ιχθυοπώλης. Μόλις τη δεκαετία του 1990 άρχισε η μουσική του να κερδίζει κάτι σαν λατρεία, με τον Nick Cave, τον Jeff Tweedy του Wilco και τον Will Sheff του Okkervil River να συγκαταλέγονται στους μεγαλύτερους θαυμαστές του. Τελικά, μετά από περισσότερα από 40 χρόνια, ο Fay επέστρεψε το 2012 με ένα νέο άλμπουμ που ονομάζεται Life is People through Dead Oceans. Έβγαλε δύο ακόμη άλμπουμ μέσω της εταιρείας: Who Is the Sender του 2015;
