syslogを集めているKibanaを毎朝眺めているのだが、ときどき多数のログが集中して記録されている山があることに気づいた。システムパフォーマンスには異常が出ていないものの、ある種のDOS攻撃を受けているようだ。
プロトコルを見てみるとsshdアクセスだ。fail2banがチェックしてBanリストに放り込んでくれているはずだが、そうなっていない。山をひとつ選んで詳細に見てみる。
すると、特定のIPアドレスからぴったり1000回、バーストでsshポートにアクセスしてきているのが分かった。1000回ポートを叩くのに約5分間かかるので、このような山になって見えるのだ。複数台のsyslogを集計してみているのだが、それぞれのターゲットに対して、まちまちの攻撃元から、似たような形式の攻撃があるということが分かった。なんかマクロでもあるんだろうか…
fail2banの標準のsshdフィルタは、この形式のエラーは対象としていない。しかし自分の運用スタイルでは、短時間のうちにsshセッションを切ったり繋いだりすることはないので、「Connection closed by <HOST>」という形式のログを対象にBanしてしまったほうがよさそうだ。
既存の設定に追加ルールを加える
既存のsshdフィルタはどのように実装されているのだろうか。/etc/fail2ban/filter.d/sshd.conf がフィルタルールを定義している。該当部分は
[Definition] failregex = %(mode)s ignoreregex =
となっていて、ユーザが mode=normal とか aggressive などと選択できるようになっている。では normal の定義はどうなっているのか。
normal = ^%(__prefix_line_sl)s[aA]uthentication (?:failure|error|failed) for .* from <HOST>( via \S+)?\s*%(__suff)s$
^%(__prefix_line_sl)sUser not known to the underlying authentication module for .* from <HOST>\s*%(__suff)s$
^%(__prefix_line_sl)sFailed \S+ for (?P<cond_inv>invalid user )?(?P<user>(?P<cond_user>\S+)|(?(cond_inv)(?:(?! from ).)*?|[^:]+)) from <HOST>%(__on_port_opt)s(?: ssh\d*)?(?(cond_user): |(?:(?:(?! from ).)*)$)
^%(__prefix_line_sl)sROOT LOGIN REFUSED.* FROM <HOST>\s*%(__suff)s$
^%(__prefix_line_sl)s[iI](?:llegal|nvalid) user .*? from <HOST>%(__on_port_opt)s\s*$
^%(__prefix_line_sl)sUser .+ from <HOST> not allowed because not listed in AllowUsers\s*%(__suff)s$
^%(__prefix_line_sl)sUser .+ from <HOST> not allowed because listed in DenyUsers\s*%(__suff)s$
^%(__prefix_line_sl)sUser .+ from <HOST> not allowed because not in any group\s*%(__suff)s$
^%(__prefix_line_sl)srefused connect from \S+ \(<HOST>\)\s*%(__suff)s$
^%(__prefix_line_sl)sReceived disconnect from <HOST>%(__on_port_opt)s:\s*3: .*: Auth fail%(__suff)s$
^%(__prefix_line_sl)sUser .+ from <HOST> not allowed because a group is listed in DenyGroups\s*%(__suff)s$
^%(__prefix_line_sl)sUser .+ from <HOST> not allowed because none of user's groups are listed in AllowGroups\s*%(__suff)s$
^%(__prefix_line_sl)spam_unix\(sshd:auth\):\s+authentication failure;\s*logname=\S*\s*uid=\d*\s*euid=\d*\s*tty=\S*\s*ruser=\S*\s*rhost=<HOST>\s.*%(__suff)s$
^%(__prefix_line_sl)s(error: )?maximum authentication attempts exceeded for .* from <HOST>%(__on_port_opt)s(?: ssh\d*)? \[preauth\]$
^%(__prefix_line_ml1)sUser .+ not allowed because account is locked%(__prefix_line_ml2)sReceived disconnect from <HOST>: 11: .+%(__suff)s$
^%(__prefix_line_ml1)sDisconnecting: Too many authentication failures for .+?%(__prefix_line_ml2)sConnection closed by <HOST>%(__suff)s$
^%(__prefix_line_ml1)sConnection from <HOST>%(__on_port_opt)s%(__prefix_line_ml2)sDisconnecting: Too many authentication failures for .+%(__suff)s$という具合なのだが、この各行に書かれたパターンにマッチするログを見て、BanするべきIPアドレスを決定するわけだ。
さて、冒頭に示した1000回の試行攻撃をフィルタルールに加えるにはどうすればよいだろうか。直接sshd.confの該当部分にルールを書き加えてもよい。だが、なるべくならsshd.confは書き換えたくない。fail2banがアップデートされるたびに、このファイルも上書きされる可能性があるからだ。そこで別のファイルからルールを追加することを考える。
- filter.d/sshd-disconn.conf を書く。sshd.confをincludeして、mode変数をオーバーライドする
- jail.localの[sshd]セクションで、filterをsshd-disconnにオーバーライドする
やってみよう。まず filter.d/sshd-disconn.conf だ。このような内容になる。
[INCLUDES]
before = sshd.conf
[Definition]
disconn = ^%(__prefix_line_sl)sDisconnected from <HOST> port \d+ \[preauth\]$
^%(__prefix_line_sl)sConnection closed by <HOST> port \d+ \[preauth\]$
mode = %(normal)s
%(disconn)s次に jail.local に追記する内容は以下の通りだ。
[sshd] filter = sshd-disconn
設定できたらfail2banをリロードする。
systemctl reload fail2ban
この方法なら、filter.d/sshd-disconn.conf にルールを追記してreloadするだけで、ルールをどんどん増やしていくことができる。
ルールのテスト
ルールを作ったら、fail2ban-regex コマンドでテストができる。これまでの標準フィルタと、新しく作ったフィルタを比較することもできる。
[root@vortex fail2ban]# fail2ban-regex /var/log/secure /etc/fail2ban/filter.d/sshd.conf Running tests ============= Use failregex filter file : sshd, basedir: /etc/fail2ban Use maxlines : 10 Use log file : /var/log/secure Use encoding : UTF-8 Results ======= Failregex: 339 total |- #) [# of hits] regular expression | 5) [325] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?[iI](?:llegal|nvalid) user .*? from <HOST>(?: port \d+)?(?: on \S+(?: port \d+)?)?\s*$ | 10) [3] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?Received disconnect from <HOST>(?: port \d+)?(?: on \S+(?: port \d+)?)?:\s*3: .*: Auth fail(?: \[preauth\])?\s*$ | 14) [11] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?(error: )?maximum authentication attempts exceeded for .* from <HOST>(?: port \d+)?(?: on \S+(?: port \d+)?)?(?: ssh\d*)? \[preauth\]$ `- Ignoreregex: 0 total Date template hits: |- [# of hits] date format | [6994] (?:DAY )?MON Day 24hour:Minute:Second(?:\.Microseconds)?(?: Year)? `- Lines: 6994 lines, 0 ignored, 339 matched, 6655 missed [processed in 6.29 sec] Missed line(s): too many to print. Use --print-all-missed to print all 6655 lines
[root@vortex fail2ban]# fail2ban-regex /var/log/secure /etc/fail2ban/filter.d/sshd-disconn.conf Running tests ============= Use failregex filter file : sshd-disconn, basedir: /etc/fail2ban Use maxlines : 10 Use log file : /var/log/secure Use encoding : UTF-8 Results ======= Failregex: 5970 total |- #) [# of hits] regular expression | 5) [325] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?[iI](?:llegal|nvalid) user .*? from <HOST>(?: port \d+)?(?: on \S+(?: port \d+)?)?\s*$ | 10) [3] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?Received disconnect from <HOST>(?: port \d+)?(?: on \S+(?: port \d+)?)?:\s*3: .*: Auth fail(?: \[preauth\])?\s*$ | 14) [11] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?(error: )?maximum authentication attempts exceeded for .* from <HOST>(?: port \d+)?(?: on \S+(?: port \d+)?)?(?: ssh\d*)? \[preauth\]$ | 18) [620] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?Disconnected from <HOST> port \d+ \[preauth\]$ | 19) [5011] ^(?:\[\])?\s*(?:<[^.]+\.[^.]+>\s+)?(?:\S+\s+)?(?:kernel: \[ *\d+\.\d+\]\s+)?(?:@vserver_\S+\s+)?(?:(?:(?:\[\d+\])?:\s+[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?|[\[\(]?sshd(?:\(\S+\))?[\]\)]?:?(?:\[\d+\])?:?)\s+)?(?:\[ID \d+ \S+\]\s+)?(?:(?:error|fatal): (?:PAM: )?)?Connection closed by <HOST> port \d+ \[preauth\]$ `- Ignoreregex: 0 total Date template hits: |- [# of hits] date format | [6994] (?:DAY )?MON Day 24hour:Minute:Second(?:\.Microseconds)?(?: Year)? `- Lines: 6994 lines, 0 ignored, 5970 matched, 1024 missed [processed in 7.78 sec] Missed line(s): too many to print. Use --print-all-missed to print all 1024 lines
標準ルールでは339マッチだったが、新ルールでは5970マッチに増えた。具体的にマッチした行を表示したいときは --print-all-matched をつければよい。
結果
さてルールを追加した結果だが、4、5日様子を見てみたところ無事にフィルタできたようだ。ただ、この種の攻撃と防御は常にイタチゴッコだし、1番目の問題が解消されると2番目が昇格する「ルゥディーのルタバガ法則」というのがある。また別の問題がでてきたら対処を検討したいと思う。