因为都知道家里今年办事,我哥就提前说他要借钱买房(不是非要现在买的,并不急,孩子还在上小学)然后事刚办完,第二天就问我要,我说要问我老公要,钱都在他那,让他自己去说他不愿意非要我和老公说,特别是他之前说要买房是在喝酒之后和我说的,根本没当真,今天老公其他亲戚借走了一点,他还生气我没给他留着借给别人了,剩下的他现在就要,而且还是一分不留的全要,而且他每次借钱还非要我身边没人,只有我自己的时候才说借钱的事,借给他我不是就没有一点钱了,问题是他之前就问我借了一千多,借了多久我忘了,借过之后从来没提过还钱的事,我都不打算要了,现在又来借,真的不敢借了,怎么办?