忍者ツールズがサービス停止状態に

アクセス解析とか、アクセス・カウンター、AdSense型の広告配信で有名な忍者ツールズがサービス停止状態になっているようです。昨日、管理画面に入ったら、「ほとんどのサービスが利用不能状態です。」という告知が出ていました。

AdMaxの管理画面には入れたのですが、それ以外は全然だめでした。

2003年から運営されている会社にしては、珍しいことです。

忍者ツールズ @ninja_tools 2:27 – 2020年1月25日

現在、http://www.ninja.co.jp にアクセスできない状態となっており、その他一部のサービスにもアクセスできない状態となっております。ご迷惑をおかけ致しまして、誠に申し訳ございません。
対応を進めておりますので、復旧まで少々お待ちください。

忍者ツールズ @ninja_tools 2:27 – 2020年1月25日

現在発生しております障害はストレージ部分のハードウェア障害に起因するものと判明し現在対応を進めております。
続報はSNSにてお知らせいたします。
復旧まで今しばらくお待ちください。

忍者ツールズ @ninja_tools 17:40 – 2020年1月25日

続報–2020-01-26 10:38
仮想環境の基盤となるストレージに障害が発生しており、当該環境で稼働していたシステム全体に影響がでています。ストレージの自動復旧プロセスが進行中ですが、完了に時間を要するため、平行して別環境へのシステム移動作業を行っています。

恐らく、RAID10のはずなので、よほど深刻な障害が起きたのでしょう。もしかして、知らない間にディスクの空き容量がなくなったとか・・・???昨年、GMOがクラウド・サーバーでやっちゃったけど、ああいうのかな。

C:\Users\******>nslookup www.ninja.co.jp
サーバー: ******
Address: ******

権限のない回答:
名前: v3docker.shinobi.jp
Addresses: 112.140.42.21
112.140.42.24
112.140.42.22
112.140.42.23
Aliases: www.ninja.co.jp

C:\Users\******>nslookup -debug www.ninja.co.jp
————
Got answer:

省略

————
サーバー: ******
Address: ******

————
Got answer:
HEADER:
opcode = QUERY, id = 2, rcode = NOERROR
header flags: response, want recursion, recursion avail.
questions = 1, answers = 1, authority records = 0, additional = 0

QUESTIONS:
www.ninja.co.jp, type = A, class = IN
ANSWERS:
-> www.ninja.co.jp
internet address = 112.140.42.21
ttl = 264 (4 mins 24 secs)

————
権限のない回答:
————
Got answer:
HEADER:
opcode = QUERY, id = 3, rcode = NOERROR
header flags: response, want recursion, recursion avail.
questions = 1, answers = 1, authority records = 1, additional = 0

QUESTIONS:
www.ninja.co.jp, type = AAAA, class = IN
ANSWERS:
-> www.ninja.co.jp
canonical name = v3docker.shinobi.jp
ttl = 17 (17 secs)
AUTHORITY RECORDS:
-> shinobi.jp
ttl = 6 (6 secs)
primary name server = ns2.gehirndns.jp
responsible mail addr = hostmaster.gehirn.co.jp
serial = 1580085087
refresh = 1800 (30 mins)
retry = 900 (15 mins)
expire = 604800 (7 days)
default TTL = 30 (30 secs)

————
名前: www.ninja.co.jp
Address: 112.140.42.21

C:\Users\******>

なんか自社サーバーっぽいですが、違うかな?

Domain Information: [ドメイン情報]
a. [ドメイン名] NINJA.CO.JP
e. [そしきめい] にんじゃつーるずかぶしきがいしゃ
f. [組織名] 忍者ツールズ株式会社
g. [Organization] Ninja Tools Inc.
k. [組織種別] 株式会社
l. [Organization Type] corporation
m. [登録担当者] YO37171JP
n. [技術連絡担当者] YO37183JP
p. [ネームサーバ] ns-cloud-a1.googledomains.com
p. [ネームサーバ] ns-cloud-a2.googledomains.com
p. [ネームサーバ] ns-cloud-a3.googledomains.com
p. [ネームサーバ] ns-cloud-a4.googledomains.com
s. [署名鍵]
[状態] Connected (2020/03/31)
[登録年月日] 2019/03/15
[接続年月日] 2019/03/15
[最終更新] 2019/08/20 13:16:59 (JST)

Domain Information: [ドメイン情報]
[Domain Name] GEHIRNDNS.JP

[登録者名] ゲヒルン株式会社
[Registrant] Gehirn Inc.

[Name Server] ns2.gehirndns.jp
[Name Server] ns2.gehirndns.com
[Name Server] ns2.gehirndns.net
[Name Server] ns2.gehirndns.org
[Signing Key]

[登録年月日] 2014/10/17
[有効期限] 2020/10/31
[状態] Active
[最終更新] 2019/11/01 01:05:08 (JST)

Contact Information: [公開連絡窓口]
[名前] ゲヒルン株式会社
[Name] Gehirn Inc.
[Email] whois@gehirn.co.jp
[Web Page]
[郵便番号] 102-0073
[住所] 東京都千代田区 九段北1-3-6
セーキビル7F
[Postal Address] Chiyoda 1-3-6 Kudan-kita
Seki BLDG 7F
[電話番号] 03-3263-2203
[FAX番号]

いったいどこのサーバーを使っているのかわからなくなってきました。(^ ^;
日本であることは間違いなさそうです。

それにしても非常事態だからなのか、TTLが17秒になっています。

忍者AdMax《公式》 @admax_ninja 17:17 – 2020年1月26日

現在、忍者ツールズのコンシューマ向け運用基盤で障害が発生しており、忍者ツールズへのログインができない状態になっております。
忍者AdMaxの配信には影響なく、正常に広告は配信されています。

管理画面は現在復旧作業中ですので、いましばらくお待ち下さい。
1件の返信 16件のリツイート 19 いいね

うちでは表示されていませんが・・・。(^ ^;

ホッシー @HAZUITKOU 20:21 – 2020年1月27日
返信先: @admax_ninjaさん

初めてのトラブルみたいですね。できればもっと提携先を増やしてください。お世話になっています!

いえ、前、一度、お名前.comにドメインを止められたことがありました。

忍者ツールズ @ninja_tools 20:24 – 2020年1月26日

忍者ツールズの障害について続報です。

ブログ、ホームページについて、管理や書き込み等の全機能の復旧の見込みはまだ立っておりませんが、データは残っており表示を再開する目処は立っています。現在はまずそちらから復旧を進めております。(続く
17件の返信 350件のリツイート 152 いいね

忍者ツールズ @ninja_tools 20:24 – 2020年1月26日
画像RSS、アクセス解析等貼り付けサービスにつきましても、現在のところデータ破損は認められていないので復旧は可能かと思いますが、時期を明言できる段階にはございません。
復旧に向け最善の努力を行っておりますが、いましばらくお時間ください。
ご迷惑、ご心配をお掛けし誠に申し訳ございません

忍者ツールズ @ninja_tools 6:54 – 2020年1月27日

障害の原因と、現在の復旧の見通しをお伝えさせていただきます。
<障害の原因>
サーバー(仮想マシン)のイメージを保存している分散ストレージ内のノードに障害が発生しました。
当該ノードは停止しましたが、分散ストレージがファイルシステムの不整合を検知し、自動回復機能が起動したことにより

忍者ツールズ @ninja_tools 6:59 – 2020年1月27日

読み書きを受け付けなくなりました。
そのため、分散ストレージにイメージを置くサーバーが停止しています。

<データ復旧の見込み>
多くのサービス(ブログ・HP・アクセス解析・画像RSS等)では、データ(データベースに限らず、ファイルなど)を

忍者ツールズ‏ @ninja_tools 6:59 – 2020年1月27日

専用のサーバーに保存しており復旧できる可能性が高いです。

一部のサービス(カウンター等)は、アプリケーションのサーバーにデータが保存されているため、バックアップ情況の確認を行っています。
1件の返信 33件のリツイート 19 いいね

忍者ツールズ‏ @ninja_tools 6:59 – 2020年1月27日

<復旧の方法>
復旧は2種類の方法で進めています。
・分散ストレージの自動復旧と微調整による回復
・分散ストレージに依存しない形でのアプリケーションの再構築
前者は見込み時間が不確定であるため、主に後者のアプリケーション再構築を以下のように並行して進めています。
1件の返信 29件のリツイート 17 いいね

やはりVPSで運用していたようです。ノードでトラブルですか?VPSのサーバーが主流になりつつあるので、これからはこういうトラブルが増えそうですね。

[ 忍者ツールズがサービス停止状態に ]インターネット2020/01/29 16:09