钱还我通过中间人的手当面借给别人，别人出的借条也是写我的名字，别人还款也是当着我的面把钱给中间人，中间人没把钱交到我手的情况下，我以经把欠条还给欠款人，欠款人也没见到我收下钱的情况下就离开了，结果中间人抵赖说以经把钱还我了，我和他动了手，派出所只以打架处理些事，关于钱的事让我去法院起诉，我现在手头没有任何直接证据，应该怎么办？