Όταν ήταν δέκα ετών, ο Walker σημαδεύτηκε βαθιά από τον ήχο της κιθάρας στο τραγούδι "Sabre Dance" των Love Sculpture. «Συνήθιζα να τρελαίνομαι όταν έβγαινε στο ραδιόφωνο». Ήταν κατά τη διάρκεια αυτής της εποχής που απέκτησε το παρατσούκλι του λόγω της βορειοανατολικής προφοράς του "Geordie". Αποφάσισε να μάθει να παίζει κιθάρα: «Συνήθιζα να τρέχω στο σπίτι από το σχολείο γύρω στις τέσσερις, κλειδωνόμουν στην κρεβατοκάμαρα, ανέβαζα τον ενισχυτή και τον χτυπούσα μέχρι να μπει αυτός [ο μπαμπάς του].
Ήταν μια καθημερινή ιεροτελεστία Η πρώτη κιθάρα που τον βοήθησε να βρει τον δρόμο του αγοράστηκε στο Northampton τα Χριστούγεννα του 1973. Όταν η μητέρα του είδε μία Gibson Les Paul στο κατάστημα, του πρότεινε να τη δοκιμάσει σε ανάμνηση μιας συναυλίας που παρακολούθησε με τον Jimi Hendrix. Αφού ο Walker έπαιξε περίπου δύο συγχορδίες, η ετυμηγορία της μητέρας του ήταν: "Θα την πάρουμε." Εργάστηκε εκείνη την εποχή, "δύο πραγματικές δουλειές" που του επέτρεψαν να εξοικονομήσει χρήματα. Στη συνέχεια αγόρασε μια άλλη κιθάρα, μια Gibson SG Junior.
Ο Walker αργότερα μετακόμισε στο Λονδίνο για να σπουδάσει αρχιτεκτονική και έγινε ιδρυτικό μέλος των Killing Joke το 1979 όταν απάντησε σε μια διαφήμιση που δημοσίευσε ο τραγουδιστής Jaz Coleman. Ο Walker και ο Coleman ήταν μόνο σταθερά μέλη της ομάδας μέχρι το θάνατο του Walker.
Ο Walker ήταν επίσης μέλος των supergroups industrial μουσικής Murder, Inc. και The Damage Manual. Ήταν 64 ετών.
