Anikiのブログ <アメ車道場>

2007年03月03日の日記

アメ道が壊れた!
2月28日夜から突然アメ道が壊れた!
いやはや疲れました・・・

トップページは何とか表示する物のCGIを使った部分がエラーしまくりです!
ブログや掲示板が全滅状態です
すぐにサーバーへ連絡を取りたいが夜間は電話受付がない
メールを出したがいつ返事が有るのやら???
ナリさんから電話まで頂いて 皆さんが心配している様子が手に取るように・・・
メールが来た アメ道や他のサイトの方が使っている共同サーバーがハングアップしているようで 何かのCGIが暴走しているようです
修復の依頼は出しておいたので早く直るのを待つしかないぞ・・・

3月1日朝 ガ〜〜〜〜ン まだおかしい???
再度修復依頼のメールを送信

午後2時過ぎ まだまだおかしい!!!!
メールが来た!
当初、同じサーバーを使っている方のエラーかと思っていたのですが よくよく調べてもらったら アメ道内で原因が有るとの連絡が有りました
暴走してしまっているCGIファイルは強制終了済みなので本来正常に戻っているはずだが まだ暴走しているようだと 該当するCGIのエラー部分を修正して頂くかファイルを削除して頂くしか有りません・・・」だと!
オイオイ! Anikiが作ったプログラムが原因かよ!
そいつはまずいぞ!
しかし、変だな〜〜? 28日の夜から急におかしくなったが この数週間プログラムは変更していないし 何でだろうか?

まあ〜悩んでも始まらない・・・
とにかく何とかしなくては・・・
サーバー内で暴走してしまったファイルを遠隔地から強制終了させるための方法を教えてもらい やっては見たがこいつがメチャ面倒です!
Telnetと言う接続方法を使うのですが 昔のDosのような真っ黒な画面で マウスもまともに使えず 何をやるにしてもコマンドをキー入力しなくてはいけません
15年以上前のパソコンをさわっているようです

サーバー状況を確認するコマンド「ps -ux」を入力してエンター!
出てきた!出てきた!
暴走してしまって固まっていると思われるファイルが・・・
20個くらい見えます

ファイルの強制終了を行う「kill」というコマンドを入力して ターゲットと思われるファイルの動作ナンバーを入力してエンター!
一つ消えた これを5〜6回繰り返してから ちゃんと消えているか確認するために 再度 確認するコマンド「ps -ux」を入力してエンター!
あれ???
5〜6個消したはずなのに 2個しか消えていない????
「おかしいな???」 もう一度確認するコマンド「ps -ux」を入力してエンター!
なんじゃこりゃ〜〜〜!
増えてる!  20個全開になってしまっている
頭に来た!
全速力で5ヶを「kill」! 確認の「ps -ux」!
やった〜〜! 5ヶ消えている!
待てよ・・・ 30秒後 再度「ps -ux」・・・・
なんじゃこりゃ〜〜〜!
また増えてる・・・・
全部消さないとドンドン生まれちゃうのかな???
よしゃ! やったるで〜〜〜!

消しては確認を2時間はやっていただろうか?
ダメです・・・
20個全部消えることが2〜3回有りましたが すぐに生まれてしまいます
でわかったことが・・・
12〜13個くらい消すと掲示板やブログが正常に動くようになります
やはりこいつらが原因のようです

となるとサポートのメールにあったようにCGIのファイル何とかしなくては解決しそうにありません
そこで問題が・・・
どのファイルが暴走の根源か特定できない点です
そこで考えられる各CGIプログラムのメインファイルのファイル名を一部書き換えてエラーを起こすことで暴走するところまで行き着かないようにしてみました

関連性のあるプログラムをまとめて10本くらい選びメインファイルのファイル名を書き換え 
全速力で「kill」! 確認の「ps -ux」!を10回くらいやって 何秒くらいで増殖してしまうかを確認
ブログやアメ道メイン掲示板、ローカル開示板、アルバム、等々
こんなことを7〜8回繰り返して また少しわかってきました
少し効果のあったファイルが3つに限定されて来ました
そのうち2つは現在あまり使っていないので プログラムAssyで削除!
問題は雑談室で使っているwf_regi.cgiと言うファイル
このプログラムはアメ道以外にもジェットのサイトや友人のサイトでも使っていて 現在21本が動作しています
しかし この21本に含まれるファイルの名前を書き換えると アメ道の掲示板やブログがかなり安定してきます
さてどうしたものか????
午後3時頃から初めてすでに夜10時過ぎ 7時間もこんなことやってしまって・・・

動作本数も21本と多いのでどれくらいアクセスが有るかちょっと確認してみました
すると恐ろしいことに!
カウンターには現れていないのですが ロボットによるスパム自動投稿が3日前の100倍以上に跳ね上がっています
プログラム1本あたりにすると 多いときで5〜6秒に1回くらい 少ないときで2〜3分に1回くらいの割合で不正書き込みに来ています
アメ道サイト全体で見てみると 一番ひどいときは1秒間に3〜4回の書き込みに来ています

どうやら今回のトラブルの根源が見えてきました
1.海外からのロボットによるスパム投稿でアクセスが急増している点
2.スパム投稿を拒否するために掲示板プログラム内で判別作業を行っている点
3.特に雑談室はスパム投稿のログを取っているために 実際に書き込まれたのと同じくらい負荷がかかる点

まずは3.のログを止めてみることにしました
効果覿面です!
全速力で「kill」! 確認の「ps -ux」
1分たっても 5分たっても増えてきません!
1分間隔で30分間確認しましたが たまに10個くらいまで増えることは有りますが 2〜3分後には減っていきます

CGIプログラムが悪かった訳では無かったのです
海外のロボットが原因でした
日付変わって2日午前2時
書き換えたファイル名を全部戻して スパムログを削除してやっと一段落
一睡もしないでそのまま夜勤突入〜〜〜〜!
2007年03月03日(土) 00:33:01   No.248  (ブログ)   コメント(15) 


この記事へのコメント

よし  2007/03/03/08:27:39   No.253
Anikさん

お疲れ様でした。

Anikさんのお陰でアメ道が見られるんだなぁ
って改めて実感しました。

ありがとうございました。


マッハ  2007/03/03/07:30:01   No.252
お疲れ様でした。
なにもできませんが、ありがとうございました。


わし  2007/03/03/07:04:21   No.251
Anikiさん
ご苦労様です。我々メンバーの絆でもあるHPに
感謝しております。
ありがとうございます。

わしには全くわからない世界ですが
今後共管理には大変でしょうが、宜しくお願いします。


モスリャ  2007/03/03/03:00:36   No.250
そ、そんなに大変な事になっているとは・・・・
  毎度毎度ありがとうございます。○┓ペコリ


マイティ  2007/03/03/00:58:17   No.249
Anikiさん、大変ご苦労さまでございます。。
いやーほとんど何だかわかりませんが、ただただAnikiさんの苦労を考えると恐縮でございます。
私に出来る事といえば車を磨くだけ・・・・そのうちAnikiさん号磨きます。。。

[1] [2]

この記事へのコメントはこちらからどうぞ
Name
コメント
   
Pass

この記事のトラックバックURL
http://dojyo.com/blog/sr4_diary_tb.cgi/1Aniki__20070303248

この記事へのトラックバック一覧
[トラックバック一覧]

USER PASS
No. PASS
◆ブログ内ワード検索◆ スペースで区切って複数指定可能
   OR AND
[ブログ最新TOP] [管理者]
[オーナー一覧へ戻る]
[携帯電話閲覧ページ]


念願のアメ車を手に入れたものの 情報が少なくハンドメイドカスタムに悪戦苦闘した様子のレポートです。

<<  2007年03月 >>
    123
45678910
11121314151617
18192021222324
25262728293031

2007年03月03日(土)
アメ道が壊れた!


少しずつ書き込んでいきますので お暇なときにのぞきに来てください。

 Anikiへメール



[管理者]  [最新TOP]  [アメ車道場へ戻る] [オーナー一覧へ戻る]

shiromuku(r4)DIARY version 2.10 CGI  レンタルオーナーブログ<アメ車道場>
This Site is Produced by Aniki 2006