吉友于晋咸康(公元335年一342年)年间去世，终年八十余岁。人们听说他去世的消息后，无不痛哭流涕。桓宣武常说，他在少年时曾见过吉友，吉友的精神比当年还要好。琅邪王珉曾事吉友为师，他为吉发作序说:“《春秋》这部书将吴、楚的国王称为‘子’，注释《春秋》的人认为，这是先中国而后东夷、西戎、南蛮、北狄，岂不是以三代的后嗣，行不同于中原的礼仪，认为戎、狄贪婪、无仁让之性吗?然而卓越的人才，时或生于彼;超群的人才，时或求得于此，因而知道，上天降下的英伟之人，并不在于他是哪个民族的。自此以来，唯汉代有金日石单(本是匈奴休屠王太子，汉武帝时归汉，赐姓金，入仕），金日石单之贤，在于仁孝、忠诚，德信纯真，但还不能称为明达之士。而吉友大师，在各个方面都要超过金日石单很多。"

   吉友生前常在石子冈行乞化食，他去世后，就安葬在这个地方。晋成帝为缅怀吉友的风范，在他的墓旁修建了佛塔。后来有个关右的僧人来京城游历，在吉友的墓旁建立了一座佛寺，陈郡谢琨，为赞颂吉友的事业，追念、旌表往事，仍称此寺为“高座寺”。