2月28日夜から突然アメ道が壊れた! いやはや疲れました・・・
トップページは何とか表示する物のCGIを使った部分がエラーしまくりです! ブログや掲示板が全滅状態です すぐにサーバーへ連絡を取りたいが夜間は電話受付がない メールを出したがいつ返事が有るのやら??? ナリさんから電話まで頂いて 皆さんが心配している様子が手に取るように・・・ メールが来た アメ道や他のサイトの方が使っている共同サーバーがハングアップしているようで 何かのCGIが暴走しているようです 修復の依頼は出しておいたので早く直るのを待つしかないぞ・・・
3月1日朝 ガ〜〜〜〜ン まだおかしい??? 再度修復依頼のメールを送信
午後2時過ぎ まだまだおかしい!!!! メールが来た! 当初、同じサーバーを使っている方のエラーかと思っていたのですが よくよく調べてもらったら アメ道内で原因が有るとの連絡が有りました 暴走してしまっているCGIファイルは強制終了済みなので本来正常に戻っているはずだが まだ暴走しているようだと 該当するCGIのエラー部分を修正して頂くかファイルを削除して頂くしか有りません・・・」だと! オイオイ! Anikiが作ったプログラムが原因かよ! そいつはまずいぞ! しかし、変だな〜〜? 28日の夜から急におかしくなったが この数週間プログラムは変更していないし 何でだろうか?
まあ〜悩んでも始まらない・・・ とにかく何とかしなくては・・・ サーバー内で暴走してしまったファイルを遠隔地から強制終了させるための方法を教えてもらい やっては見たがこいつがメチャ面倒です! Telnetと言う接続方法を使うのですが 昔のDosのような真っ黒な画面で マウスもまともに使えず 何をやるにしてもコマンドをキー入力しなくてはいけません 15年以上前のパソコンをさわっているようです
サーバー状況を確認するコマンド「ps -ux」を入力してエンター! 出てきた!出てきた! 暴走してしまって固まっていると思われるファイルが・・・ 20個くらい見えます
ファイルの強制終了を行う「kill」というコマンドを入力して ターゲットと思われるファイルの動作ナンバーを入力してエンター! 一つ消えた これを5〜6回繰り返してから ちゃんと消えているか確認するために 再度 確認するコマンド「ps -ux」を入力してエンター! あれ??? 5〜6個消したはずなのに 2個しか消えていない???? 「おかしいな???」 もう一度確認するコマンド「ps -ux」を入力してエンター! なんじゃこりゃ〜〜〜! 増えてる! 20個全開になってしまっている 頭に来た! 全速力で5ヶを「kill」! 確認の「ps -ux」! やった〜〜! 5ヶ消えている! 待てよ・・・ 30秒後 再度「ps -ux」・・・・ なんじゃこりゃ〜〜〜! また増えてる・・・・ 全部消さないとドンドン生まれちゃうのかな??? よしゃ! やったるで〜〜〜!
消しては確認を2時間はやっていただろうか? ダメです・・・ 20個全部消えることが2〜3回有りましたが すぐに生まれてしまいます でわかったことが・・・ 12〜13個くらい消すと掲示板やブログが正常に動くようになります やはりこいつらが原因のようです
となるとサポートのメールにあったようにCGIのファイル何とかしなくては解決しそうにありません そこで問題が・・・ どのファイルが暴走の根源か特定できない点です そこで考えられる各CGIプログラムのメインファイルのファイル名を一部書き換えてエラーを起こすことで暴走するところまで行き着かないようにしてみました
関連性のあるプログラムをまとめて10本くらい選びメインファイルのファイル名を書き換え 全速力で「kill」! 確認の「ps -ux」!を10回くらいやって 何秒くらいで増殖してしまうかを確認 ブログやアメ道メイン掲示板、ローカル開示板、アルバム、等々 こんなことを7〜8回繰り返して また少しわかってきました 少し効果のあったファイルが3つに限定されて来ました そのうち2つは現在あまり使っていないので プログラムAssyで削除! 問題は雑談室で使っているwf_regi.cgiと言うファイル このプログラムはアメ道以外にもジェットのサイトや友人のサイトでも使っていて 現在21本が動作しています しかし この21本に含まれるファイルの名前を書き換えると アメ道の掲示板やブログがかなり安定してきます さてどうしたものか???? 午後3時頃から初めてすでに夜10時過ぎ 7時間もこんなことやってしまって・・・
動作本数も21本と多いのでどれくらいアクセスが有るかちょっと確認してみました すると恐ろしいことに! カウンターには現れていないのですが ロボットによるスパム自動投稿が3日前の100倍以上に跳ね上がっています プログラム1本あたりにすると 多いときで5〜6秒に1回くらい 少ないときで2〜3分に1回くらいの割合で不正書き込みに来ています アメ道サイト全体で見てみると 一番ひどいときは1秒間に3〜4回の書き込みに来ています
どうやら今回のトラブルの根源が見えてきました 1.海外からのロボットによるスパム投稿でアクセスが急増している点 2.スパム投稿を拒否するために掲示板プログラム内で判別作業を行っている点 3.特に雑談室はスパム投稿のログを取っているために 実際に書き込まれたのと同じくらい負荷がかかる点
まずは3.のログを止めてみることにしました 効果覿面です! 全速力で「kill」! 確認の「ps -ux」 1分たっても 5分たっても増えてきません! 1分間隔で30分間確認しましたが たまに10個くらいまで増えることは有りますが 2〜3分後には減っていきます
CGIプログラムが悪かった訳では無かったのです 海外のロボットが原因でした 日付変わって2日午前2時 書き換えたファイル名を全部戻して スパムログを削除してやっと一段落 一睡もしないでそのまま夜勤突入〜〜〜〜!
|