Święty przyszedł na świat 1 września 1835 r. w Wilnie. Na chrzcie otrzymał imię Józef. Jego ojciec, profesor matematyki na Uniwersytecie Wileńskim, troszczył się o edukację i wychowanie patriotyczne syna. W 1852 r. Józef rozpoczął naukę w Mikołajewskiej Szkole Inżynierii Wojskowej w Petersburgu, wstępując jednocześnie do wojska rosyjskiego. Po trzech latach uzyskał tytuł inżyniera i został adiunktem matematyki i mechaniki budowlanej. Równocześnie rozwijała się jego kariera wojskowa i awansował do stopnia porucznika. Wtedy właśnie przestał przystępować do sakramentów świętych, do kościoła chodził rzadko, przeżywał rozterki wewnętrzne, a także kłopoty związane ze swoją narodowością, służbą w wojsku rosyjskim. Wciąż jednak stawiał sobie pytanie o sens życia, szukając na nie odpowiedzi w dziełach filozoficznych i teologicznych. Czując, że zbliża się powstanie, podał się do dymisji, aby móc służyć swoją wiedzą wojskową i umiejętnościami rodakom. Został członkiem Rządu Narodowego i objął stanowisko ministra wojny w rejonie Wilna. Przystępując do powstania Kalinowski uważał, że nie ma ono szans powodzenia, ponieważ znał dobrze sytuację militarną wojsk rosyjskich, stacjonujących na owych terenach. Mimo to uznał, że nie wolno mu stać na uboczu „sprawy uważanej wówczas za istotnie narodową”. Po niepowodzeniu powstania, 24 marca 1864 r., został aresztowany i skazany początkowo na karę śmierci, którą dzięki protekcji rodziny i znajomych z czasów służby w wojsku rosyjskim, zamieniono na 10 lat przymusowych prac w warzelniach soli na Syberii.