法律分析：男人自愿给小三的钱是可以要回的。对夫妻共同财产可根据不同的情形通过采集证据等方式，向法院起诉有效追回。在夫妻双方未选择其他财产制的情形下，夫妻对共同财产形成共同共有，夫或妻非因日常生活需要对夫妻共同财产做重要处理决定，夫妻双方应当平等协商，取得一致意见。
法律依据：《中华人民共和国民事诉讼法》 第一百一十九条 起诉必须符合下列条件：
(一)原告是与本案有直接利害关系的公民、法人和其他组织;
(二)有明确的被告;
(三)有具体的诉讼请求和事实、理由;
(四)属于人民法院受理民事诉讼的范围和受诉人民法院管辖。