那份协议肯定是无效了，一是他母亲没有行为能力，按手印签署是违法的，应该由他当时的法定监护人来代理，并无权为她放弃继承，并且继承法有规定要为无民示行为能力人无生活来源的人保留一定的份额。

不过现在已经过户给他哥哥了，虽然过过程是有违法的（是政府审核不严），但事实已经成立，产权以登记为主，现在的产权就是他哥的。所以你要想要回房子，就要有充份的证据证明当时是他哥让无民事行为能力的母亲签的放弃继承协议。最好请专业律师取证。