婆婆生前和我们借20w给老公弟弟买房，有转账记录和微信对话，也有借条，婆婆上个月去世后，身后事大概花了17w，婆婆存款有19w，丧葬费抚恤金这些大概有21w，弟弟的意思是扣除身后事费用剩下的钱对半分，我问弟弟婆婆借的给他买房的20w谁还，弟弟说不是他借的他不管，谁借的让我们问谁要。老公不想撕破脸，但这是20w不是2w，婆婆生前名下两套房，我们两家一家一套，市值都差不多，已经在去世之前过户完了。婆婆的退休工资卡在我们这，如果我们收到以后不给弟弟，直接当做婆婆还我们的，可以这样操作吗？