Γεννήθηκε στο χωριό Μολυβδοσκέπαστος Ιωαννίνων στις 4 Ιουνίου 1929 και ήταν γιος του υποστράτηγου Γρηγορίου Παπούλια.

Αποφοίτησε από τη Νομική Σχολή Αθηνών. Πραγματοποίησε μεταπτυχιακές σπουδές στο Πανεπιστήμιο του Μιλάνου (Δημόσιο Διεθνές Δίκαιο και Διεθνείς Σχέσεις) και στη συνέχεια έλαβε το διδακτορικό του δίπλωμα από το Πανεπιστήμιο της Κολωνίας (Ιδιωτικό Διεθνές Δίκαιο).

Το 1974 εντάχθηκε στο ΠΑΣΟΚ και εκλεγόταν συνεχώς βουλευτής Ιωαννίνων για 26 χρόνια (1977-2004).

Στην πρώτη κυβέρνηση Ανδρέα Παπανδρέου διορίστηκε Υφυπουργός Εξωτερικών, θέση στην οποία παρέμεινε μέχρι το 1984, για να αναβαθμιστεί στη συνέχεια σε Αναπληρωτή Υπουργό Εξωτερικών. Την περίοδο 1985-1989 διετέλεσε Υπουργός Εξωτερικών, ενώ στην οικουμενική Κυβέρνηση Ζολώτα 1989-1990 διετέλεσε Αναπληρωτής Υπουργός Εθνικής Άμυνας. Στη θέση του Υπουργού Εξωτερικών επανήλθε το 1993, για να παραμείνει μέχρι το 1996 και την παραίτηση της Κυβέρνησης Παπανδρέου, ενόψει της εκλογής του Κώστα Σημίτη στο αξίωμα του Πρωθυπουργού.

Στις 12 Δεκεμβρίου 2004 προτάθηκε από τον Πρωθυπουργό Κώστα Καραμανλή για το αξίωμα του Προέδρου της Δημοκρατίας. Υπέρ της πρότασης εκφράστηκε και το ΠΑΣΟΚ. Στην πρώτη ψηφοφορία που έγινε στη Βουλή στις 8 Φεβρουαρίου του 2005 ο Κάρολος Παπούλιας εξελέγη Πρόεδρος της Δημοκρατίας από τον πρώτο γύρο με 279 ψήφους. Στις 3 Φεβρουαρίου 2010 ο Κάρολος Παπούλιας επανεξελέγη στο ύπατο αξίωμα της χώρας με 266 ψήφους στο σύνολο των 298 ψηφισάντων. Υπερψηφίστηκε από σύσσωμες τις Κοινοβουλευτικές Ομάδες του ΠΑΣΟΚ, της ΝΔ και του ΛΑΟΣ. Με το αποτέλεσμα αυτό έγινε ο τρίτος Πρόεδρος που επανεκλέγεται για δεύτερη θητεία. Ήταν νυμφευμένος με τη Μαρία Πάνου με την οποία απέκτησαν τρεις κόρες.

Λάτρης του βόλεϊ

Ο Καρόλος Παπούλιας υπήρξε λάτρης του βόλεϊ και του στίβου, ενώ μέχρι και προ λίγων ετών έκανε προπονήσεις βόλεϊ. Λέγεται μάλιστα πως αρκετοί από την φρουρά του ήταν πρώην βολεϊμπολίστες με τους οποίους έδινε αγώνες στα γήπεδα των εγκαταστάσεων του Εθνικού Αθηνών απέναντι από το Ζάππειο.

Στην πρώτη Εθνική Ανδρών

Ήταν μέλος της Εθνικής Ομάδας Βόλεϊ Ανδρών με την οποία αγωνίστηκε στον πρώτο διεθνή μεταπολεμικό αγώνα. Στις 14 Μαΐου 1957 περισσότεροι από χίλιοι φίλαθλοι στριμώχτηκαν στις κερκίδες του Πανελλήνιου Γυμναστικού Συλλόγου στην Κυψέλη. Σε εκείνον τον αγώνα κόντρα κόντρα στην ισχυρή ομάδα της Ρουμανίας είχαν αγωνισθεί οι Δεκαβάλας, Τομπούλογλου, Σπυρίδωνος, Αποστολίδης, Αναγνωστόπουλος, Εφραιμίδης, Κουμουνδούρος, Κόκκινος, Τριανταφύλλου, Κομπορόζος και Ανδρικόπουλος. Η ελληνική ομάδα είχε ηττηθεί 3-0 (15-13, 15-09, 15-13), ενώ είχαν παιχτεί και δύο σετ επίδειξης στα οποία και πάλι επικράτησε η Ρουμανία με 15-06, 15-09 και είχε αγωνιστεί ο Παπούλιας.

Ο Μπελιγράτης του έδωσε το φύλλο αγώνα

Την Τετάρτη 2 Φεβρουαρίου 2005 στο ξενοδοχείο «Divani Palace Acropolis» ο τότε πρόεδρος της Ελληνικής Ομοσπονδίας Πετοσφαίρισης, Θανάσης Μπελιγράτης παρέδωσε στον Παπούλια το φύλλο αγώνα από την πρώτη μεταπολεμική διεθνή αναμέτρηση της εθνικής Ελλάδας, εναντίον της Ρουμανίας, στις 14 Μαΐου του 1957.

Συγκινητική ήταν η αναφορά του Καρόλου Παπούλια για την απώλεια του Νίκου Σαμαρά: «Ο ξαφνικός θάνατος του Νίκου Σαμαρά είναι σκληρό χτύπημα για τον ελληνικό αθλητισμό. Ο διεθνούς φήμης βολεϊμπολίστας, που μας χάρισε μεγάλες συγκινήσεις και στιγμές εθνικής περηφάνιας, έφυγε νωρίς και απροσδόκητα προκαλώντας βαθιά θλίψη σε όσους τον είχαν δει να παίζει, σε όσους αγαπούν το άθλημα στο οποίο ο ίδιος διέπρεψε. Θα τον αναζητάμε στα γήπεδα και θα τον νοσταλγούμε. Θέλω να εκφράσω τα συλλυπητήριά μου και την αλληλεγγύη μου στους δικούς του ανθρώπους».

Είχε κάνει επίσης την απονομή του Κυπέλλου στη γυναικεία ομάδα του Παναθηναϊκού στον τελικό του φάιναλ-8 γυναικών μεταξύ του Παναθηναϊκού και του Πανελληνίου στις 19/03/2006, ενώ είχε υποδεχτεί στο προεδρικό μέγαρο την διοίκηση της ΕΟΠΕ και των παλαιμάχων του βόλεϊ.

Και πρωταθλητής στον στίβο

Επίσης ήταν πρωταθλητής αρκετών αγωνισμάτων στον στίβο. Συγκεκριμένα πρωταθλητής εφήβων στο άλμα επί κοντώ το 1947 και το 1948, δρομέας των 110 μέτρων με εμπόδια και αθλητής του ακοντισμού.