当时群雄争斗，干戈四起，法祖就想潜迹于陇山以西地区，以保持自已正确的操行。正值张辅担任秦州刺史，镇守陇上，法祖就与张辅同行。因法祖的名望和德行，众望所归，张辅就想让法祖离教返俗，当他的僚佐。但是法祖信仰佛教的志向是不可改变的，因此两人结下怨恨。先前有个秦州人，名叫管番，因宗教信仰不同，多次与法祖辩论，却屡屡败在法祖手下，为此管番衔恨已久，多次在张辅面前进谗言，诬陷法祖。当法祖走到氵开县时，忽然对其他的和尚和弟子们说:"几天之内，我的前世之对就要来了。"于是辞别众人，并写了一封书信，又将经书、佛像和资财都分给众人。第二天早上，法祖来到张辅这里，和张辅谈话，二人话不投机，得罪了张辅，张辅将法祖抓起来，要实行刑罚，众人都很奇怪，也很惋惜。法祖说:"找来此是为了了结我的前世之对，这是前世宿命所造成的，并不是为现在的事情。"说完大呼十方佛祖:"我前世的罪孽因缘，今世欢喜了结，望从此以后，找与张辅之间没有任何怨恨，结为朋友，也不要让他戴上*的罪名。"随后张辅鞭打法祖50，奄然命终。后来张辅知道了法祖临死前说的这一番话，感到非常遗憾。当初，法祖传布教化的声誉，传遍了整个关中、陇西地区，人们将法祖奉若神明，听说法祖被害的消息，无论是汉人还是少数民族，都悲痛异常，走在路上都痛哭流涕。陇西的羌族及其他民族，派出5000精锐骑兵，准备迎接法祖的到来，走到半路，听到法祖遇害的消息，悲恨万分，群情激愤，发誓要为法祖报仇。张辅听到这消息后，立即遣兵拒敌，羌族人率领轻骑，奔袭迎战。当时天水人富整，趁势杀了张辅，羌族人感到大机已报，便退兵了，他们将法祖分尸，各自带回去起造佛塔或佛寺。

   张辅，字世伟，南阳人，是张衡的后人。他虽然很有才能，但他性情残酷而且不能理喻，曾残杀天水太守封尚，造成当地的动乱，