Čagina atceras, ka reiz pasūdzējusies dēlam par nerimstošo lietu un drūmo klimatu, bet Sergeja viedoklis bijis gluži pretējs. "Mammu, nav labākas vietas pasaulē kā Rīga un labākais rajons - Imanta," dēla vārdus arvien atceras viņa māte.
Sergeju mamma atceras kā ļoti patstāvīgu - ko viņš izlēma, to arī darīja. Pēc hokejista gaitām atgriezies mājās, Žoltoks allaž gribēja aiziet uz savu baznīcu, aizbraukt uz Siguldu, kur ir mammas dzimtās mājas ar ābelēm, arī biežāk apceļot Latviju.
Spēlei Žoltoks bija ieradis atdot visu, tādēļ viņam bija grūti, ja Nacionālās hokeja līgas (NHL) klubā vajadzēja iet laukumā kā uz darbu. "NHL ir svarīgi kāpt uz ledus un darīt savu darbu. Man bija ļoti grūti neatdot laukumā visu savu sirdi," savulaik teica Žoltoks. "Tieši tāpēc Edmontonā man bija grūts laiks. Pārējās vietās - Monreālā un Minesotā bija patīkami spēlēt, īpaši divi gadi Minesotā bija vislabākie."
Žoltoks 2004.gadā pasaules čempionātā Prāgā pauda pārliecību, ka Latvijai būs uzvaras pār spēcīgām komandām. Izlasē viņš no katra gaidīja pilnu pašatdevi un uzteica arī Rīgas "Dinamo" kā komandu, kas cīnījās un atdeva visus spēkus pret jebkuru pretinieku.
Bijušais valstsvienības hokejists Aigars Cipruss atceras, ka 19 gadu vecumā Sergejs jau bija Amerikā un izklaidei viņam neatlika daudz laika. Cipruss saka, ka Žoltoks bija maksimālists un komandas vilcējs, bet viņa brīnumainās rokas kļuva par vārtsargu biedu.
Kā komandas dvēseli Žoltoku raksturoja kopā ar viņu Latvijas izlasē spēlējušais Harijs Vītoliņš, uzteicot Sergeju kā neatņemamu valstsvienības sastāvdaļu ar izcilu tehniku. Savukārt leģendārais vārtsargs Artūrs Irbe uzsver, ka Žoltoks bija džentlmenis uz ledus, kurš allaž spēja uzņemties līdera lomu.
