如何让所有流量都走vpn?

情况是这样的：
内部网络里有一台我设置好的vpn服务器，可以上外网。客户机在没有连接到vpn的时候，除了内部地址，其它地址都会被转到账号登录网页，登录后可以上外网（类似于电信、移动的wifi账号登录过程）。我是希望可以不用登录那个账号，直接用vpn来访问外网
现在出现了下面的情况：
1. 我用windows自带的客户端连接pptp和l2tp之后，ping外网的话，直接ping ip还好，ping域名的时候，貌似dns查询会走本地连接，然后没结果，然后就没有然后了，不知道它为什么不走vpn，很奇怪
2. 还是在windows下，我的openvpn客户端连上之后，索性全部的流量都走本地连接了，最后网页又都转到了账号登录页面上了


我想问的是 除了直接修改windows的路由表，有没有更好的办法？


p.s. vpn服务器的ip forward和nat都设置好了，openvpn两头的redirect-gateway也写进配置了