આશરે ૧૯૪૦ના દશક પહેલા મદનઝાંપા રોડ ઉપર આવેલ શ્રી સીતારામ મંદિરમાં હિમાલયથી પંડિત શ્રી નારાયણ આચાર્ય સ્વામીજી અવારનવાર સાધુ સંતોના ટોળા સાથે વડોદરા પધારતા હતા. તેઓ શ્રી રામાનુજ સંપ્રદાયના આચાર્ય હતા. આપણી જ્ઞાતિના ચાર પાંચ મહાનુભાવો જેવા કે શ્રી દલસુખભાઈ દામોદરદાસ, શ્રી નંદલાલ સોમનાથ, શ્રી અમૃતલાલ દામોદરદાસ, શ્રી પરસોત્તમદાસ નાનાલાલ તથા શ્રી શંકરલાલ ભગવાનદાસ અંધારિયા જેવાઓ જેઓ સંગીતની પણ જાણકાર અને અનુભવી હતા. તેઓ ઉપરાંત મંદિરમાં યોજાતા સંગીતના કાર્યક્રમો તથા મંદિરમાં ભજન કીર્તન માટે જતા આવતા હોવાથી અવારનવાર શ્રી નારાયણ આચાર્ય સ્વામીજીના સંપર્કમાં આવ્યા. તેઓ પૂજ્ય સ્વામીજીની સાત્વિકતા, સાદગી તથા ધાર્મિક જ્ઞાનથી પ્રેરાઈને સ્વામીજીના અનુયાઈઓ થયા. ધીમે ધીમે આપણા સમાજની આગળ પડતી વ્યક્તિઓ જેવા કે શ્રી સોમનાથ મંત્રીજી, શ્રી બાપુલાલ હરગોવિંદલાલ, શ્રી ચીમનલાલ અંબાલાલ, શ્રી શંકરલાલ મોતીલાલ, શ્રી હરગોવિંદદાસ શિવલાલ વિગેરે પૂજ્ય સ્વામીજીના અનુયાઈ થયા અને શરણાગત મંડળની સ્થાપના થઇ. શ્રી બપુલાલજીએ પૂજ્ય સ્વામીજીને વિનંતી કરી કે ખંડેરાવ માર્કેટની પાછળ આવેલું ગણેશ ભુવન નંબર ૨ વાળું મકાન પૂજ્યશ્રીના રહેવા – ઉતરવા માટે સારું અનુકુળ રહેશે અને પૂજ્યશ્રીએ તેઓની વિનંતીને માન આપી ૩૩ વર્ષ સુધી અવરજવર જયારે પણ વડોદરા પધારતા ત્યારે તેઓશ્રી ત્યાં વિશ્રામ ફરમાવતા કાળક્રમે પૂજ્ય સ્વામીજીનો શિષ્યગણ વધતો ગયો અને ઘર નાનું પાડવા લાગવાથી આપણી આજની આ વાડીમાં પણ પૂજ્યશ્રી સ્વામીજીનો બે ત્રણ વખત ઉતારો થયો. ૧૯૮૬ની સાલમાં પૂજ્ય સ્વામીજીની તબિયત બગડી હતી. અને છ માસ સુધી તેઓ વડોદરા ગણેશ ભુવન નંબર ૨ માં સારવાર માટે રહ્યા. આ સમય દરમ્યાન શરણાગત મંડળના બે અનુયાઈઓએ શ્રી દલસુખભાઈ ચુનીલાલ તથા શ્રી પરસોત્તમદાસ અંબાલાલે ચીકુવાડીમાં પૂજ્યશ્રી સ્વામીજીએ રહેવા ઉતરવા માટે ૧૨૦૦ ચોરસ ફૂટ બાંધકામનું એક મકાન બનાવ્યું. પરંતુ કોઈ કારણોસર ઉપરોક્ત મકાનનું કામ બંધ રહ્યું. અને સ્વામીજી માટે એક મઠ (આશ્રમ) તથા શ્રી રામાનુજ સંપ્રદાયનું એક મંદિર બાંધવાનું સ્વામીજીની ઈચ્છાથી વિચારાયું. તે અનુસંધાને બધા શરણાગત ભાઈઓ ભેગા થયા અને પૂજ્ય સ્વામીજીના નામથી “પંડિત શ્રી ૧૦૦૮ નારાયણ અચર્યાજી સેવા મંડળ સાર્વજનિક ધર્માદા ટ્રસ્ટ”ની રચના કરી. વિશ્વામિત્રી જતા માંજલપુર રોડ ઉપર જગ્યા જોઈ ૫૦,૦૦૦ ચોરસ ફૂટ જગ્યા ખરીદી.
જગ્યાની કિંમત તથા મઠ મંદિરના બાંધકામના ખર્ચને પહોચી વળવા માટે બધા શિષ્યોએ ભેગા થઈને દૈનિક દાનની યોજના બનાવી અમુક શિષ્યોએ પોતાની શક્તિ મુજબ ફાળો આપ્યો – કોઠી ફળિયામાં શ્રીમદ્દ ભાગવત સપ્તાહનું આયોજન કર્યું – ઇનામી ડ્રોની યોજના મૂકી – વિગેરેથી રકમો ભેગી કરતા કરતા વડોદરા શહેરમાં વસતા કાછીયા પટેલ જ્ઞાતિ સમસ્ત ભાઈ – બહેનોના સાથ સહકારથી મંદિર તથા આશ્રમ માટે પુરતું ભંડોળ ભેગું કરી પ્રથમ પૂજ્ય શ્રી સ્વામીજી માટે મઠ (આશ્રમ) બનાવ્યો. આ કામ માટે જરૂરી કાર્યાલય તથા બીજી ૬ રૂમો બાંધી અને પૂજ્યશ્રી સ્વામીજીના સાનિધ્યમાં તારીખ ૨૧.૧.૧૯૯૧ના રોજ શ્રી લક્ષ્મીનારાયણ ભગવાનની પ્રાણ પ્રતિષ્ઠા કરાવી.