自动重连与心跳机制在ew跳板机反向连接中的实战应用

1.

概述与适用场景

说明：本文针对需要从内网主机（客户端）向外网跳板机建立反向连接的场景，目标实现稳定的反向通道、自动重连与心跳检测。适用于无法做正向访问的被控主机、堡垒机接入等场景。文中示例以SSH反向隧道与autossh为主，并补充自定义心跳脚本与systemd部署。

2.

先决条件与环境准备

- 外网跳板机（Server）有固定公网IP或域名、开放监听端口（如22或自定义端口）。
- 被控主机（Client）可主动连出到跳板机。
- 在Server与Client上安装openssh-server、openssh-client、autossh、netcat(nc)或socat。命令示例（Debian/Ubuntu）：sudo apt update && sudo apt install -y openssh-server openssh-client autossh netcat.

3.

建立密钥认证（无密码登录）

- 在Client上生成密钥：ssh-keygen -t ed25519 -C "client-to-jump"（回车接受默认路径，无需输入passphrase以便自动化）。
- 将公钥追加到Server的~/.ssh/authorized_keys：ssh-copy-id -i ~/.ssh/id_ed25519.pub user@jump.example.com 或手动cat公钥追加。
- 在Server的authorized_keys可使用from="client_ip"以及command="..."限制，只允许指定反向隧道命令，提高安全性。

4.

SSH反向隧道基础命令

示例：ssh -N -R 2222:localhost:22 user@jump.example.com -p 22 -o ServerAliveInterval=30 -o ServerAliveCountMax=3
说明：-R 2222:localhost:22 表示在跳板机打开本地2222端口，反向转发到客户端22；-N 不执行远程命令；ServerAlive* 为OpenSSH内置心跳，配合autossh或systemd用来检测断开。

5.

使用autossh实现自动重连

- 安装：sudo apt install autossh。
- 命令示例：AUTOSSH_GATETIME=0 autossh -M 0 -N -o "ServerAliveInterval 30" -o "ServerAliveCountMax 3" -R 2222:localhost:22 user@jump.example.com
- 参数说明：-M 0 关闭autossh端口监控，改用SSH的ServerAlive；AUTOSSH_GATETIME=0 使autossh立即允许重连。也可使用 -M port 让autossh利用监控端口检测连接健康。

6.

用systemd管理autossh服务（持久化）

在Client上创建 /etc/systemd/system/autoreverse.service 内容示例：
[Unit]
Description=Auto reverse ssh tunnel to jump
After=network-online.target
[Service]
Environment="AUTOSSH_GATETIME=0"
ExecStart=/usr/bin/autossh -M 0 -N -o ServerAliveInterval=30 -o ServerAliveCountMax=3 -R 2222:localhost:22 user@jump.example.com -p 22
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target
然后运行：sudo systemctl daemon-reload && sudo systemctl enable --now autoreverse.service

7.

实现应用层心跳（双向检测）

说明：SSH内置心跳只能检测链路层，若需要检测服务可用性（如反向端口是否可用），可在Client与Server之间建立轻量心跳TCP连接。
示例心跳脚本（Client端 /usr/local/bin/rev_heartbeat.sh）：
#!/bin/bash
while true; do
echo "ping" | nc -w 5 jump.example.com 50000 >/dev/null 2>&1 && echo "$(date) ok" >> /var/log/rev_heartbeat.log || echo "$(date) fail" >> /var/log/rev_heartbeat.log;
sleep 20;
done
在Server端监听：while nc -l -p 50000 -q 1; do :; done &

8.

结合心跳触发重连策略

方案：让systemd的service结合ExecStartPost依赖脚本或用另一个watch脚本检测心跳日志，若连续N次失败则重启autossh服务。
示例检查脚本 /usr/local/bin/check_and_restart.sh：
#!/bin/bash
fails=$(tail -n 20 /var/log/rev_heartbeat.log | grep -c "fail")
if [ $fails -ge 3 ]; then
systemctl restart autoreverse.service
fi
将脚本放入cron或systemd timer每分钟执行。

9.

日志与监控实现细节

- 将autossh与心跳输出重定向到文件，使用logrotate切割日志。
- 建议在跳板机上写一个小服务暴露当前反向端口状态（如使用netstat/lsof或ss检查端口绑定），并配合Prometheus node exporter或简单HTTP状态接口做报警。

10.

安全性与访问控制

- Server端的authorized_keys可添加 command="..."、no-pty、no-X11-forwarding、restrict from= 指令限制。
- 在跳板机防火墙上仅开放必须的反向端口，使用iptables/nftables限制访问来源。
- 考虑在SSH上启用AllowTcpForwarding限定，避免滥用隧道。

11.

常见故障及排查步骤

- 连接频繁断开：检查网络是否丢包、ServerAliveInterval/Count是否合适，增加ServerAliveInterval到60并调高CountMax。
- autossh不重连：查看systemd状态与日志 sudo journalctl -u autoreverse.service，确认AUTOSSH_GATETIME设置并检查SSH权限问题。
- 心跳显示失败：确认Server上的监听进程、端口防火墙规则、以及SELinux/AppArmor限制。

12.

部署检查清单（上线前）

- 确认密钥无passphrase或使用ssh-agent并自动加载；
- systemd服务能随系统启动并自动重启；
- 心跳脚本、日志路径权限合理并设置logrotate；
- Server端限制好authorized_keys和防火墙规则；
- 做一次断网模拟测试（例如关闭Client网络后恢复）验证重连与报警。

13.

问：如何在网络NAT或CGNAT环境中保证反向连接稳定？

答：在NAT/CGNAT下，Client主动连出是唯一可行方式。保证稳定性的方法包括：使用长连接保持（ServerAliveInterval）、减少NAT空闲超时对连接的影响（发送心跳包间隔短于NAT超时），并使用autossh或systemd自动重连。若有对等端可用，考虑中继服务器或VPN做转发。

14.

问：心跳频率与ServerAliveInterval如何设置才合适？

答：平衡实时性与带宽影响：一般ServerAliveInterval取30~60秒，ServerAliveCountMax取3~5。应用层心跳（如TCP ping）可设置为20~60秒。若网络极不稳定，可增大CountMax或缩短心跳间隔并配合重连策略避免频繁重启。

15.

问：如何避免隧道被滥用或被侵入后反向通道成为跳板？

答：在authorized_keys上使用restrict、no-agent-forwarding、no-pty并加上from="client_ip"或command限制；在跳板机上对反向端口做访问控制（只允许管理IP访问），并定期审计登录与端口映射。必要时配合双向TLS隧道或使用堡垒机产品替代自建隧道。

来源：自动重连与心跳机制在ew跳板机反向连接中的实战应用