我买了一件衣服,但是买时店主不让试,看见漂亮也很喜欢就买了回来.等试穿时发现衣服不合身,当即去找店主换,可店主的回答是大小都是一样的.因为不合身我要求退货结果店主不退.请问店主的做法有没有侵犯消费者权益保护法,我有没有权利要求店主给我退货?