与房产中介签订的委托书是否可以撤销?…

与房产中介签订的委托书是否可以撤销?是否需要支付违约金?我3月通过中介看了一套房,房价约60万,也与业主谈过,业主愿意卖给我们,但业主因个人原因,坚持要5月才肯签买卖协议,在此之前不愿收定金,也不签任何文件。因此,我与中介签订了《定金支付及要约发出委托书》,向中介支付了3000元的定金(该定金现由中介收取,业主不肯收)。委托书中约定,若中介取得业主承诺后,我不买房子,则已付之定金将被业主没收,同时我还要向中介支付违约金两万元;同时,委托书中还约定,该委托是不可撤销的。之后,由于国家房贷政策变化,我们多次催业主签合同,业主坚持原意见。现我们不想再买该房产,拟向中介提出,那么我是否可以向中介提出撤销委托,支付的定金是否能拿回,是否需要向中介支付违约金两万?