对方是残疾人在法律上是可以离婚的，双方可以诉讼离婚，在允许的情况下也可以协议离婚。
【法律依据】
《婚姻法》第三十一条规定，男女双方自愿离婚的，准予离婚。双方必须到婚姻登记机关申请离婚。婚姻登记机关查明双方确实是自愿并对子女和财产问题已有适当处理时，发给离婚证。
第三十二条规定，男女一方要求离婚的，可由有关部门进行调解或直接向人民法院提出离婚诉讼。
人民法院审理离婚案件，应当进行调解；如感情确已破裂，调解无效，应准予离婚。
有下列情形之一，调解无效的，应准予离婚：
（一）重婚或有配偶者与他人同居的。
（二）实施家庭暴力或虐待、遗弃家庭成员的。
（三）有赌博、吸毒等恶习屡教不改的。
（四）因感情不和分居满二年的。
（五）其他导致夫妻感情破裂的情形。
一方被宣告失踪，另一方提出离婚诉讼的，应准予离婚。
