Viņu un viņa vecākus – kinorežisoru Voldemāru Pūci un aktrisi Daili Kukaini–Pūci – 1949.gada 25.martā izsūtīja uz Sibīriju. Turklāt, kamēr tēvu izsūtīja uz Vorkutu, dažus mēnešus veco Kasparu un māti – uz Tālajiem Austrumiem. Ģimeni izsūtīja, jo padomju vara to novērtēja kā neuzticamu.
Pūce stāsta, kamēr pieaugušie meklēja iespējas, kā izdzīvot, bērniem bija sava dzīve. Arī viņa pirmās atmiņas ir no Sibīrijas laika, kad triju gadu vecumā atradies zemnīcā.
Tēvu pēc izsūtīšanas pirmo reizi saticis vien 1950.gadā, kad kopā ar māti saņēma atļauju parcelties uz Vorkutu. Latvijā Kaspars atgriezās 1957.gadā. Vecāki pārradās vēlāk, jo tēvam tad vēl nebija beidzies ieslodzījuma termiņš.
Aktieris atceras, ka bērnībā krievu valodā jau bija sācis runāt labāk krieviski, nekā latviski. Latvijā viņš palicis pie kādas ģimenes radinieces.
Pūce mūsdienās ir pabijis vietās, kur pavadījis bērnību, taču tagad tur daudz kas ir mainījies.
Par laiku izsūtījumā Kaspars Pūce ir uzrakstījis grāmatu „Pūcesbērna patiesie piedzīvojumi Padomijā”.
Trešdien Latvijā piemin 1949.gadā izsūtītos aptuveni 44 000 Latvijas iedzīvotājus, pārsvarā zemniekus. Viņus izsūtīja uz Amūras, Tomskas un Omskas apgabaliem Krievijā, un daļa no tiem ceļā nomira vai vēlāk nekad neatgriezās Latvijā.