Ο Ντάφι γεννήθηκε στο Μπέρμιγχαμ και μεγάλωσε στο Ρέντναλ στα νότια της πόλης, φοιτώντας στο Καθολικό Σχολείο του Αγίου Θωμά Ακουίνα στο King's Norton και μεγαλώνοντας ακούγοντας punk rock, καθώς και 2 Tone, The Beatles και Led Zeppelin.[4] ]
Ο Ντάφι έγινε ένα από τα αρχικά μέλη του ανεξάρτητου ροκ συγκροτήματος Felt ως παίκτης πλήκτρων το 1985.
Ο Duffy έπαιζε πλήκτρα στα δύο πρώτα άλμπουμ των Primal Scream και εντάχθηκε μόνιμα στο συγκρότημα μετά τη διάλυση των Felt στα τέλη του 1989.
Ο Ντάφι έπαιξε επίσης με τους Charlatans μετά τον θάνατο του ιδρυτικού μέλους Rob Collins, εμφανιζόμενος με το συγκρότημα στο Knebworth υποστηρίζοντας τους Oasis το 1996 και συνεισφέροντας με μέρη πληκτρολογίου στο πέμπτο άλμπουμ του συγκροτήματος Tellin' Stories.Το 2004 ήταν μέλος του "rock supergroup" The Chavs με τον Tim Burgess των Charlatans και τον Carl Barat των Libertines. Συνέβαλε επίσης σε ηχογραφήσεις των Heidi Berry, Beth Orton, Paul Weller and the Chemical Brothers και κυκλοφόρησε ένα σόλο άλμπουμ Assorted Promenades το 2014.
