NTTテクノクロス株式会社 | 自社事例

停止が許されない大規模サービス。日々蓄積される膨大なログとの格闘

今回、Elastic導入事例として紹介する当社のクラウドサービスは、多様な働き方を支えるソリューションの一つで、大企業から小規模事業者、個人事務所まで幅広いユーザーに利用されている。ユーザーにとっては仕事上不可欠なインフラ的存在であり、障害は顧客業務の停止に直結するため、基本的にサービスを止めることが許されないミッションクリティカルなシステムである。契約社が1万社を超える本システムは、常時大量のログが蓄積され、これらは複数のサーバ上で分散運用されている。そのためシステム障害などの発生時には、問題の特定に時間を要することが課題となっていた。

即時対応したいサポートを阻む“ログの壁

NTTテクノクロス株式会社
ビジネスイノベーション事業部
第一ビジネスユニット
マネージャー：山口将志

サポートチームは、ユーザーからの問い合わせ対応の最前線に立つ。企業向けサービスではあるが、ITスキルがそれほど高くないユーザーも多く利用するため、誰もが迷わず使えるよう丁寧なサポートを心がけている。「『なぜかわからないが、使えない』といった、漠然とした問い合わせから始まるケースが多いのです」と語るのは、マネージャーの山口。例えば重要な会議などで本サービスを利用できなくなると業務に大きな支障が生じるため、ユーザーは「使えない状態を今すぐ解決してほしい」と望む。ところが、ユーザーの利用環境はさまざまで、利用デバイスや通信状態など影響するものが多く、サービスにも複数のラインナップと継続的なアップデートがあるため、どこに原因があるかの切り分けが重要となる。顧客に直接電話をかけて利用状況を確認するケースもある。

山口は、「タイムリーに解決策を提示したいのですが、サーバログの量が非常に多いため、ログ検索は1回10分以上かかることがあり、その場で調査するには高度な技術や経験が必要でした。今すぐに解決したいユーザーからの緊急性が高い問い合わせに迅速に回答できない状況は、サポートチームの大きなストレスであり、悩みの種でした」と語る。

システムの運用担当者を苦しめる属人化と膨大なログ

同様に、サービスの安定稼働を支える運用チームにとっても、ログ調査にかかる時間は課題だった。チームを率いる十川は、「万一障害が発生した際、問題箇所を迅速に特定することは、サービスの復旧速度に直結します。ところが、サービスを構成するサーバが複数にまたがっているためにログが分散されていて、問題の影響範囲や原因の把握に時間がかかることが課題でした。特にアプリケーションログは、人が確認するには現実的でないほど膨大な量です。しかもログ調査は、サービス仕様に精通したメンバーに負荷が集中するため、人力でのログ調査には限界を感じていました」と語る。

決め手は圧倒的な検索スピードと、直観的に把握できる可視化機能

そこで、当社がパートナーとして取り扱っているElasticに着目。検索性や可視化機能が優れているとの評判が高く、検証環境でトライアルを実施したところ、大きな効果が期待できたため導入を決断した。特に圧倒的な検索スピードと、Kibanaによるダッシュボード上での可視化が、サポート・運用担当者双方に有効であると判断されたことが決め手となった。

既存のシステム構成に変更なし、サービスを停止することなく導入

「導入に際しては、懸念事項が２点ありました。一つは、顧客の仕事を支えるインフラ的なサービスのため導入時に運用を止められないこと。もう一つは膨大なログ量のため、ランニングコストが肥大化するのではないかという懸念でした」と十川は語る。一つ目の懸念に対しては、「システム構成に手を加えるのではなく、既存のログ収集・監視ツールからElasticがデータを収集する形式を採用することで、サービスを停止することなく導入できました」（十川）。またコスト面に関しても、「解析範囲を絞り収集対象のログを絞ることで、主に直近1カ月分のログをElasticに蓄積、重要な監査ログなどは1年間保持するといった柔軟な対応で、全体のコスト上昇を抑制しています」と話す。

Elastic導入で、ログ検索時間が1回10分から5秒に短縮。ログ解析時間を90%（※）削減

Elasticの導入により、1回10分以上かかっていたログの検索時間が5秒に大幅改善した。これにより、ログ解析作業において年間90%（※）の稼働削減効果が得られた。加えてサポート、システム運用の各チームが抱えていた課題も、解消に向かった。

ログ以外の情報も分析対象に。問題切り分けを迅速化し、サポートの品質とスピードを向上

Elasticの導入により、集約したログはKibanaのダッシュボード上で確認でき、ユーザー単位、契約単位など絞り込みたい条件で簡単にログをフィルタリングできるようになった。これにより、サポートチームのメンバー自らが瞬時に必要なデータを確認し、顧客の利用状況を迅速に把握できるようになった。

さらに、外部プロバイダーの障害情報や契約情報など、サーバログ以外の情報もElastic上に取り込み、分析対象とした。これにより、従来はサービスを利用できない原因が、顧客固有の利用環境の問題なのかをすぐに切り分けるのが難しい状況だったが、通信不調時には通信トラブルの原因が自社か他社かを根拠とともに迅速に判断可能になった。絞り込みたい切り口でのログ検索が容易になり、問題箇所の特定時間が短縮された。

山口は、「膨大なログと格闘して疲弊することが無くなりました。サポート品質やリソースに課題を感じている現場に、Elasticは有効な選択肢だと思います」と語る。

サービス全体の統合監視と運用効率化を実現、スキルに寄らずログ調査が可能に

運用チームにおいては、従来のログ収集・管理ツールとElasticの連携で統合的な監視が可能になり、サーバ単位ではなく、サービス全体の状態を瞬時に把握できるようになった。システムの動きが可視化されるとともに、アラート発生時には大量のログの中からアラートに関連するログが自動で抽出され、迅速に原因を特定できるようになった。これは、運用業務の効率化とシステムの安定稼働に大きく寄与している。十川は、「ログ調査も、特定の人間に依存することなくできるようになりました。また、人間では不可能だった膨大なログも扱えるようになり、原因特定までの時間も大幅に短縮されました。属人化の解消と既存サービスの運用業務の効率化が図れ、サーバ増強などビジネスの成長に資する新たな機能提供や新規サービスへの対応に、人的リソースを充てる余裕ができました」と語る。

業務領域を超えた価値創出と予防保全を目指して

NTTテクノクロス株式会社
ビジネスイノベーション事業部
第一ビジネスユニット
アシスタントマネージャー：十川悟司

「ログは宝の山で、Elasticは宝を掘り出す道具といえます」と十川は語る。Elasticの導入は、サポートや運用業務にとどまらず、ログと多様な情報を組み合わせた分析により、営業や開発などの他組織との連携でも価値創出の可能性を広げている。例えば、営業活動においては、営業専用ダッシュボードを活用し、利用頻度の高いユーザーや利用していないユーザーなど顧客の利用状況を分析することで、営業戦略に役立てることができる。また、開発業務では、バージョンごとの利用状況の統計や、あまり使われていない機能、逆に想定以上に使われている機能が可視化されることで、データを基に開発の優先順位づけが行えるようになる。

さらにElasticの活用で、障害検知に加えて予兆検知や予兆監視が可能となると期待する。急激なエラーログの増加などの異常を早期に可視化し、システム障害に至る前に先手を打てる体制を強化することで、製品イメージの向上に寄与できると考えている。「運用の信頼性を高め、プロアクティブな体制にしたい企業にとって、Elasticは非常に有効な選択肢だと思います」（十川）。

NTTテクノクロスは、Elasticをシステム監視基盤にとどまらず、組織全体の力を引き出し、顧客ニーズに応えながらプロダクト改善や新しいサービスを生み出すための基盤としてより進化させていく。

※ログの検索・確認作業にかかる時間の試算値（908時間/年→96時間/年）