如果借款人拒绝协商，您确实可以选择直接去法院起诉他。根据《中华人民共和国民事诉讼法》的相关规定，您作为原告需要准备好起诉状以及与案件相关的证据材料，如借条、转账记录等，然后递交到有管辖权的人民法院。法院会根据您提供的证据和事实情况，进行审理并作出判决。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
从法律角度，保护自己的权益需要做到以下几点：一是保留好借款证据，如借条、转账记录等；二是在诉讼时效内提起诉讼或采取其他法律手段；三是积极配合法院或仲裁机构的调查和处理；四是如有必要，可以聘请律师提供专业法律意见和代理服务。
✫✫✫✫✫有法律问题，请打电话15555555523（123中间8个5），微信同号，免费咨询✫✫✫✫✫
除了起诉，您还可以尝试以下途径解决借款纠纷：一是通过调解解决，可以邀请第三方调解机构或人员进行调解；二是如果双方有仲裁协议，可以选择通过仲裁解决；三是如果借款金额不大，且双方对事实无争议，可以考虑通过简易程序快速处理。