你纠结说明你喜欢他，那就看他的生理缺陷严不严重，如果不严重，你可以继续跟他过下去。但是如果他的生理缺陷影响了你们的夫妻生活，我觉得你尽早跟他离婚，及时止损，一辈子很长，没有几个正常人能熬过一辈子无性婚姻。