Hónapokig még csak nem is gondolt a földalatti mozgalomra, aztán jött a sokkoló hír: Viskolczot társaival együtt letartóztatták. Persze ő maga is félt a börtöntől, de egy évig az ég világon semmi sem történt. 1953. július 2-án két ávós kereste fel tanácsi hivatali helyiségében Viskolcz felől érdeklődve. Egy hét múlva visszatértek, részletesen kihallgatták, majd az idegileg már teljesen összeomlott férfit beszervezték és nyilatkozatot írattak alá vele arról, hogy az Államvédelmi Hatóság szolgálatába áll.

Első ügynöki megbízása egy volt malomtulajdonos megfigyelése volt, akit illegális szervezkedéssel gyanúsítottak. Riba színleg elfogadta feladatát, végrehajtani azonban esze ágában sem volt. Tartótisztjével való találkozóján meg sem jelent, egyszerűen kereket oldott. Mindezt nyíltan tette, feleségéhez és tartótisztjéhez intézett levelében közölte, hogy ügynöki feladatát nem képes végrehajtani. Az ÁVH azonnal körözést rendelt el ellene, de az illegalitásba húzódó Ribának nyomát sem lelték. Nem volt pedig ő oly messze. Bár először megpróbált átszökni a nyugati határon, végül titokban hazatért feleségéhez úgy, hogy senki se láthassa. Aztán uraji és keleméri rokonainál húzta meg magát, míg végül 1954 tavaszán Tatabányára költözött, ahol Pásztor Sándor álnév alatt segédmunkásként helyezkedett el. Két évig élt a bányászvárosban, az 1956-os forradalom azonban új helyzetet teremtett számára: gond nélkül át lehetett szökni a határon. Nosza, 1956 novemberében átszökött Ausztriába, majd Belgiumban telepedett le, ahol újfent segédmunkásként kereste kenyerét. Hiába voltak azonban a szabadabb és jobb életkörülmények, Ribát gyötörte a honvágy és az évek óta nem látott családjának hiánya.

Miután Kádár János, a párt és kormány teljhatalmú ura közölte, hogy senkinek nem eshet bántódása, aki nyugatról hazatér, 1957 júliusában Riba felkereste a brüsszeli követséget. Egy Varga nevű konzul igen megértő volt irányában, s minden segítséget megígért számára, cserébe azonban némi tájékoztatást kért a brüsszeli magyar emigrációra vonatkozóan. Ribának négy év bujkálás, menekülés után már nem voltak erkölcsi aggályai, készséggel szállította az információkat. Később konkrét személyekre állították rá, majd a brüsszeli szociáldemokrata pártról, a francia és a belga szocialista szakszervezetekről kellett jelentenie. Egy hónappal tovább is maradt Brüsszelben, csak hogy bevégezhesse felderítő munkáját. A konzul végül azzal a feltétellel engedte haza, hogy itthon is folytatja ügynöki tevékenységét.

Riba Kálmán 1958. január 9-én tért haza, s végre – hosszú évek után – együtt lehetett feleségével és kisfiával. Emődi otthonából azonban pár nap múlva bevitték kihallgatásra, ahol aztán ott tartották. Hiába tudták, hogy „amnesztiával tért haza”, hiába közölte, hogy hazatérése fejében a brüsszeli konzulnak kémkedett és ügynöki munkáját itthon is folytatni kívánja, a politikai nyomozók államellenes bűntett gyanúja címén előzetes letartóztatásba helyezték. Vizsgálata két hónapig tartott. Tegnap aztán szabadlábra helyezték és bár rendőrhatósági felügyelet keretében hetente kell majd a rendőrségen jelentkeznie, megússza a börtönt és talán a besúgást is.