徐遠(yuǎn)舉是一個(gè)非常注重個(gè)人前途的人。他1932年加入特務(wù)組織后，雖然那會(huì)兒年紀(jì)不大，但對(duì)個(gè)人前途的規(guī)劃遠(yuǎn)超出一般同齡的人。他不像其他很多特務(wù)那樣，利用權(quán)勢(shì)整天沉湎于酒色。他深知如果像一般人那樣迷戀于女色，或者聚斂錢(qián)財(cái)，在特務(wù)組織森嚴(yán)的紀(jì)律下，工作很容易出差錯(cuò)，必定會(huì)因小失大，難以實(shí)現(xiàn)做“人上人”的人生目標(biāo)。因此他處處盡職盡責(zé)，不斷受到上司的嘉獎(jiǎng)。

徐遠(yuǎn)舉還在老家時(shí)就由父母定了“娃娃婚”。女家姓馬，也是大冶縣的殷實(shí)富戶，與徐家算是門(mén)當(dāng)戶對(duì)。徐遠(yuǎn)舉的未婚妻叫馬紫英，排行第八，人稱馬八妹，比徐遠(yuǎn)舉大3歲，所謂“女大三，抱金磚”。本來(lái)父親早就想讓徐遠(yuǎn)舉把馬八妹娶進(jìn)家里來(lái)，因徐遠(yuǎn)舉一直在外奔波而沒(méi)有機(jī)會(huì)，加上徐遠(yuǎn)舉本人不想因婚姻拖累個(gè)人前程，而且他對(duì)馬八妹也說(shuō)不上感情二字，這事就這么拖下來(lái)。加入特務(wù)組織后，由于受“團(tuán)體紀(jì)律”中成員結(jié)婚必須審查批準(zhǔn)的規(guī)定限制，徐遠(yuǎn)舉更是不想去找那些麻煩，給家里的信也日漸寫(xiě)得稀疏。馬家怕徐遠(yuǎn)舉在外官當(dāng)大了退親，有失體面，于是便三番五次地去找徐遠(yuǎn)舉的父親，讓他給兒子盡快完婚。父親多次給徐遠(yuǎn)舉寫(xiě)信催婚，卻總不見(jiàn)回音，徐遠(yuǎn)舉父親與馬家商量后，決定親自帶著馬八妹去南京給兒子完婚，一來(lái)可免傷兩家的和氣，二來(lái)也可迫使徐遠(yuǎn)舉就范。

徐遠(yuǎn)舉當(dāng)時(shí)青春年紀(jì)，對(duì)男歡女愛(ài)的婚姻生活也有些向往，父親自親帶馬八妹到來(lái)，也不想拂逆父親的愿望，對(duì)成親一事無(wú)可無(wú)不可，只是礙于“團(tuán)體紀(jì)律”，自己難以作主。徐父得知此情，只好硬著頭皮去找戴笠，述說(shuō)原委請(qǐng)求，戴笠創(chuàng)業(yè)初始，正要籠絡(luò)年輕特務(wù)，又見(jiàn)馬八妹是個(gè)典型的大家閨秀，對(duì)徐遠(yuǎn)舉情真意切，估計(jì)結(jié)婚后不會(huì)對(duì)工作有什么不良影響，于是順?biāo)浦?，同意他們結(jié)婚。

抗戰(zhàn)時(shí)期，徐遠(yuǎn)舉調(diào)任西昌站長(zhǎng)期間，西昌行轅主任是張篤倫，當(dāng)時(shí)張篤倫帶著妻兒和寡居的妹抹張篤和及外甥女耿家姐妹一同生活。徐遠(yuǎn)舉因工作關(guān)系，經(jīng)常到張篤倫的公館請(qǐng)示匯報(bào)，一來(lái)二去，就與張篤倫的外甥女耿家姐妹混得十分熟熱。

徐遠(yuǎn)舉不露聲色地先把感情的觸角伸向耿家三女，結(jié)果沒(méi)多久被耿、張兩家察覺(jué)到情況異常，因徐遠(yuǎn)舉是軍統(tǒng)特務(wù)，耿、張兩家也不敢輕易得罪，于是也不露聲色地將三女出嫁。一計(jì)不成，徐遠(yuǎn)舉自然不甘心，他生就了一個(gè)不安分的性格，轉(zhuǎn)過(guò)頭來(lái)，馬上又悄悄地去接近耿家的另一個(gè)女兒耿德蔭。耿德蔭比徐遠(yuǎn)舉小l1歲，正當(dāng)二八年華，不僅貌美，溫柔多情，而且受過(guò)良好的教育，舉止風(fēng)度頗帶幾分洋派，只是父親早亡，雖有舅父接濟(jì)，總不免有一種寄人籬下之感，也十分渴望找個(gè)如意郎君，好有個(gè)依托和歸宿。她見(jiàn)徐遠(yuǎn)舉一身戎裝，干練清朗，不茍言笑，談吐大氣，是她所接觸到的少見(jiàn)的優(yōu)秀人物，特別是徐遠(yuǎn)舉往往不經(jīng)意間目送款款深情，使她這個(gè)不諳世事的少女怦然心動(dòng)。就這樣耿五陀不知不覺(jué)地落入了徐遠(yuǎn)舉精心編織的情網(wǎng)之中，兩人經(jīng)常結(jié)雙成對(duì)出入舞廳、劇院。耿、張兩家見(jiàn)狀，想如法炮制三女兒的前事，無(wú)奈耿德蔭已癡情滿懷，只好同意他倆結(jié)婚。

徐遠(yuǎn)舉與耿德蔭結(jié)婚的事情被人告到了軍統(tǒng)局。軍統(tǒng)局有規(guī)定，抗戰(zhàn)時(shí)期軍統(tǒng)特務(wù)不許結(jié)婚，何況徐遠(yuǎn)舉還是瞞著原配馬紫英的二婚，相當(dāng)于娶妾，更是犯了大規(guī)。本來(lái)徐遠(yuǎn)舉為這事很難說(shuō)會(huì)受什么樣的嚴(yán)厲處罰，但由于毛人鳳出手相救，使他度過(guò)這一關(guān)口。

徐遠(yuǎn)舉的原配夫人馬紫英得知徐遠(yuǎn)舉另又他娶，曾大鬧了一場(chǎng)，但見(jiàn)徐連連賠禮道歉，而當(dāng)時(shí)社會(huì)上金屋藏嬌之事比比皆是，自己又無(wú)所依靠，也只好忍氣吞聲。但馬、耿倆人誰(shuí)為正室，誰(shuí)為偏房，仍未解決。盡管馬自己堅(jiān)持是正室，但耿家勢(shì)力之顯赫，豈有作妾之理。因此，徐遠(yuǎn)舉回避此事，既和耿德蔭朝夕共處，也和馬紫英保持夫妻關(guān)系。這種關(guān)系，一直維持到抗戰(zhàn)勝利后，馬紫英帶著子女回武漢寄居于徐遠(yuǎn)舉長(zhǎng)兄徐俊人家，兩人才算分居。1948年徐遠(yuǎn)舉與馬紫英辦理了離婚手續(xù)。全國(guó)解放前，徐遠(yuǎn)舉將馬紫英及其子女送往臺(tái)灣，托付給堂侄徐興華。

徐遠(yuǎn)舉與馬紫英育有二子二女，長(zhǎng)子：徐興慰，次子：徐興渝；長(zhǎng)女：徐繼秀，次女：徐繼蓉。現(xiàn)分住于臺(tái)灣、美國(guó)、加拿大等地。

徐遠(yuǎn)舉與耿德蔭未有生育。耿德蔭抱養(yǎng)了一養(yǎng)女，1951年前后，耿德蔭曾攜帶養(yǎng)女到監(jiān)獄探監(jiān)并規(guī)勸徐遠(yuǎn)舉認(rèn)真改造。

1954年12月，耿德蔭要求與徐遠(yuǎn)舉離婚，后經(jīng)重慶市一區(qū)法院判決離婚。