1968年12月，在國家“上山下鄉(xiāng)”的號(hào)召下，祁俊作為“老三屆”來到陜西渭南地區(qū)的一個(gè)小縣城，在這里揮灑了三年青春歲月。1971年陜西黃河工程機(jī)械廠招工，作為知識(shí)青年，祁俊隨同其他將近400名知青一同被招進(jìn)工廠。陜西黃河工程機(jī)械廠建立于1964年，是國家建設(shè)的三線企業(yè)，當(dāng)時(shí)工程機(jī)械行業(yè)的三線企業(yè)除了黃河工程機(jī)械廠外，還有浦沅工程機(jī)械廠、長(zhǎng)江起重機(jī)廠、長(zhǎng)江挖掘機(jī)廠、長(zhǎng)江液壓件廠、天水風(fēng)動(dòng)工具廠。一機(jī)部給黃河工程機(jī)械廠的定位是中馬力推土機(jī)廠。祁俊進(jìn)入工廠時(shí)，廠里正在搞基礎(chǔ)建設(shè)，還沒有廠房。所以進(jìn)廠之后祁俊的工作是操作工程機(jī)械設(shè)備，也就是工程機(jī)械操作員。1974年黃河工程機(jī)械廠開辦了721工大，祁俊又作為第一批721工大的學(xué)員辦理了脫產(chǎn)手續(xù)進(jìn)入工人大學(xué)學(xué)習(xí)，當(dāng)初選擇的專業(yè)是機(jī)制工藝（機(jī)械制造）。1976年畢業(yè)之后分配到黃河廠的柴油機(jī)車間做技術(shù)員，首先是編制工藝。后又被調(diào)任到車間做計(jì)劃和調(diào)度工作。后來升為廠里生產(chǎn)科的技術(shù)調(diào)度員，管理全廠冷加工的計(jì)劃和調(diào)度。再后來又回到車間做車間副主任、主任、支部書記，經(jīng)過一段時(shí)間的鍛煉又回到廠里做總調(diào)度室主任，廠長(zhǎng)助理，副廠長(zhǎng)，直到1991年。祁俊的愛人是北京知青，1991年為了解決孩子上學(xué)的問題已經(jīng)回到北京，隨后祁俊被調(diào)到機(jī)械部人事司的企業(yè)勞資處。
黃河工程機(jī)械廠的工作經(jīng)驗(yàn)，讓祁俊對(duì)基層的每一個(gè)環(huán)節(jié)有了詳細(xì)的了解。特別是在管理的時(shí)候，不管冷加工和熱加工，包括每一個(gè)班組和加工工具的使用和具體要求，祁俊都親身經(jīng)歷過，對(duì)企業(yè)也有了更深的認(rèn)識(shí)。而在部委的工作則讓祁俊從宏觀上、從國家政策和大局層面用宏觀的角度去看待問題，這些對(duì)祁俊的工作有很大的影響和提高。