Όλοι έχουμε τα αγαπημένα μας τραγούδια, μερικά όμως έχουν ξεχωριστή θέση στην σκέψη μας
Η πρώτη επαφή του Γιάννη Χαρούλη με τη μουσική ήταν σε ηλικία 6 ετών όταν ο πατέρας του, γλύπτης στο επάγγελμα, του έδειξε πως να παίζει μαντολίνο. Λίγο αργότερα απέκτησε το πρώτο του λαούτο και ξεκίνησε τη μελέτη της Κρητικής παραδοσιακής μουσικής. Από την ηλικία των 15 ετών ξεκίνησε να εργάζεται ως οργανοπαίκτης σε τοπικά πανηγύρια.
Στην Αθήνα εμφανίστηκε για πρώτη φορά το 2002, ως προσκεκλημένος του Χρήστου Θηβαίου σε μια συναυλία αφιέρωμα στον Νίκο Ξυλούρη, στο Θέατρο του Λυκαβηττού, όπου ερμήνευσε τα τραγούδια "Οι πόνοι της Παναγιάς" και "Κόσμε χρυσέ" . Η συναυλία ηχογραφήθηκε και κυκλοφόρησε με τον τίτλο «Σαν έρθουν μάνα οι φίλοι μου» (2003).
Το 2003 κυκλοφόρησε ο πρώτος προσωπικός δίσκος του Γιάννη Χαρούλη με τίτλο «Γύρω μου και εντός» με συνθέτη τον Μιχάλη Νικολούδη και παραγωγό τον Μιχάλη Κουμπιό. Ο δεύτερος προσωπικός του δίσκος με τίτλο «Χειμωνανθός», κυκλοφόρησε τον Νοέμβριο του 2006 σε παραγωγή του Μάνου Ξυδού.
Το 2010 ηχογράφησε δύο τραγούδια σε μουσική του Μίνωα Μάτσα τα οποία συμπεριλήφθησαν στο soundtrack της τηλεοπτικής σειράς «Το Νησί». Τον Μάιο του 2012 κυκλοφόρησε το τρίτο του άλμπουμ «Μαγγανείες», σε τραγούδια του Θανάση Παπακωνσταντίνου, στο οποίο απονεμήθηκε το βραβείο του χρυσού δίσκου.
Το 2013 έδωσε 2 sold out συναυλίες στο Θέατρο του Λυκαβηττού, οι οποίες ηχογραφήθηκαν και κυκλοφόρησαν σε διπλό άλμπουμ με τον τίτλο «Χίλια καλώς εσμίξαμε - Live» τον Φεβρουάριο του 2015. Ο ζωντανός δίσκος ανέβηκε στο νούμερο 1 των Ελληνικών μουσικών chart (IFPI).
Τον Νοέμβριο του 2016 κυκλοφόρησε τον δίσκο «Ο Δωδεκάλογος του Γύφτου». Το άλμπουμ περιείχε 12 μελοποιημένα αποσπάσματα από το ομότιτλο έργο του Κωστή Παλαμά, σε σύνθεση του Λουκά Θάνου.Μέσα στον ίδιο χρόνο συμμετείχε ως ένας απο τους βασικούς ερμηνευτές στο «Φύλαξα τ’ όνειρο» του Μίκη Θεοδωράκη, μαζί με τους Αλκίνοο Ιωαννίδη, Σωκράτη Μάλαμα και Μαρία Φαραντούρη.
Τον Μάιο του 2022 ο Γιάννης Χαρούλης κυκλοφόρησε τον πέμπτο προσωπικό του δίσκο κολιμπρί με τραγούδια δικά του, του Θανάση Παπακωνσταντίνου, της Ελένης Φωτάκη, του Παύλου Παυλίδη, του Στέλιου Σιγανού και ένα παραδοσιακό της Κρήτης σε διασκευή
Έχει τραγουδήσει ως ειδικός καλεσμένος σε πολλούς δίσκους άλλων καλλιτεχνών, κάποιοι από τους οποίους είναι οι «Ο γητευτής και το δρακοδόντι» των Χαΐνηδων, «Έχουν περάσει χρόνοι δέκα...» του Μίλτου Πασχαλίδη, «Δάκρυ στο γυαλί» της Εστουδιαντίνα, «Δωδεκάορτο» του Χρήστου Τσιαμούλη, «Τ’ αστέρια θα ‘ναι πάντα μακριά» του Μάνου Ξυδού, «Στου χρόνου τις καταπακτές» του Νότη Μαυρουδή και το «Ίσως» του Νίκου Πορτοκάλογλου.
Παράλληλα έχει συμμετάσχει στις συλλογές «Της Κρήτης τα πολύτιμα» και στη βραβευμένη με Αρίων «Δώδεκα και μία ματιές στα Δωδεκάνησα».
;Έχει εμφανιστεί ζωντανά σε μουσικές σκηνές και συναυλίες στην Αθήνα, την Θεσσαλονίκη, την ελληνική επαρχία και την Κύπρο. Τον Μάρτιο του 2015 αναχώρησε για την πρώτη του Ευρωπαϊκή περιοδεία στο Βέλγιο, τη Γερμανία, την Ελβετία και την Ολλανδία. Τον Φεβρουάριο του 2018 εμφανίστηκε στο 31ο Delphi Bank Lonsdale Street Festival καθώς και στο 36o Sydney Greek Festival στην Αυστραλία