只要牢记金刚经里的几句话就不用担忧:

凡所有相,皆是虚妄。

楼主所说的非人旁听,也是虚妄之相。

心无旁骛的念下去,自然无咎。

赞叹楼主修行精进。