Interview
LINEヤフー株式会社
CTOドメイン クラウドサービスCBU Databaseユニット MySQL/MSSQLディビジョン
井上様
（部署名や肩書きは掲載時点のもの）
LINEヤフー株式会社
CTOドメイン クラウドサービスCBU Databaseユニット MySQL/MSSQLディビジョン
馬詰様
（部署名や肩書きは掲載時点のもの）
課題
- 大規模なMySQL環境を安定運用し、サービス停止のリスクを抑えたい
- 社内だけでは対応が難しい障害やバグについて、高度な技術調査を行える体制を確保したい
- 技術調査の負荷を軽減し、社内エンジニアを新規開発や環境全体の最適化に集中させたい
解決策・結果
- 多数のMySQL環境を包括的に支援できるパソナデータ＆デザインのサポートを採用し、大規模環境を共通の手順で支援できる体制を確保
- Percona Toolkit（※1）やMySQL Group Replication（※2）など、公開情報だけでは判断が難しい技術課題について、原因の切り分けや詳細調査を実施
- 高度な技術調査に外部サポートを活用することで、社内エンジニアが新規開発や環境全体の最適化にリソースを振り向けやすい体制を構築
導入文
多くの人が日常的に利用するLINEやYahoo! JAPAN、Yahoo!ショッピング、Yahoo!ニュース。LINEヤフー株式会社では、こうしたサービスを支えるデータ基盤として、数千〜数万台規模のMySQL環境を運用しています。
同社は、大規模なMySQL環境を安定的に運用するため、旧スマートスタイル時代からパソナデータ&デザインのデータベースサポートを活用しています。社内だけでは対応が難しい障害やバグに関する技術調査を外部サポートに任せることで、安定運用を支えるとともに、社内エンジニアが新しい開発や環境全体の最適化に取り組める体制づくりを進めています。
本記事では、MySQLの運用を担い、安定稼働や障害対応、チューニングなどを担当する井上様、馬詰様に、大規模なMySQL環境の運用で重視していることや、外部サポートを活用する背景、パソナデータ&デザインを選定した理由、これまでのサポートに対する評価、今後期待する支援についてお話をうかがいました。
大規模なMySQL環境を「止めない」ための運用
LINEヤフーのMySQL運用チームでは、各種サービスを支えるデータ基盤を安定的に運用することをミッションとしています。安定稼働や障害対応、チューニングなどを担当しており、その中で最も重視しているのが「サービスを止めないこと」です。
MySQLの定義変更（DDL）（※3）によるレプリケーションの遅延や、作業に起因する障害などを防ぐため、作業を簡易化するツールの活用や自動化を進めています。また、バグや障害が発生した際には早期に原因を調査し、必要に応じてパッチの適用やサポートへの問い合わせを行っています。
大規模な環境では、一つの環境で発生した稀な事象が、別の環境でも発生する可能性があります。そのため、障害から復旧するだけでなく、原因を調査し、同じ問題を繰り返さないための情報共有や再発防止まで含めた運用を重視しています。
こうした取り組みに加え、障害発生時に速やかに対応できるようチーム内でバックアップ体制を整えるとともに、可能な部分は自動化することで、サービスへの影響を抑える運用を進めています。
高度な技術調査に外部サポートを活用し、社内リソースを最適化
サービスの拡大に伴い、LINEヤフーが運用するデータベースやインスタンスの数も増加してきました。
現在利用しているMySQL Group Replication（※2）をはじめ、以前利用していたPercona Server for MySQL（※4）や Percona XtraDB Cluster（※5）などを安定的に運用する中では、社内に知見のない事象への対応や、深刻な障害が発生した際の詳細な調査が必要になるケースもあります。
こうした問題について、すべてを社内でゼロから調査することは、技術面だけでなくリソースの面でも負担となります。そこでLINEヤフーでは、社内だけでは解決が難しい技術課題について外部サポートを活用しています。
原因の切り分けや詳細調査を依頼するほか、必要に応じてPerconaやOracleなど、ベンダーや製品開発元の知見にアクセスできることも、外部サポートを利用する理由の一つです。
LINEヤフーが外部サポートを活用する理由は、社内だけでは対応が難しい技術課題への対応だけではありません。
障害対応や詳細な技術調査を外部に任せることで、社内エンジニアのリソースを、新しい取り組みや環境全体の最適化などに振り向けることも重視しています。また、重要なサービスを担当する開発者にとっても、問題発生時に相談できる外部サポートが存在することが、サービスを運用する上での安心感につながっています。
LINEヤフーでは、外部サポートの利用について、サービスの特性や費用対効果などを踏まえて必要性を判断しています。
Percona製品のサポートをきっかけに始まったパートナーシップ
LINEヤフーとパソナデータ&デザイン（旧 スマートスタイル）との関係は、米国のデータベースソフトウェア企業であるPerconaの製品利用をきっかけに始まりました。
当時、LINEヤフーではPercona Server for MySQL（※4）や Percona XtraDB Cluster（※5）などを利用していました。Percona製品について日本語で相談できる窓口を確保するため、Perconaとの強いつながりを持つ旧スマートスタイルを選定しました。
その後、利用するデータベース環境が変化する中で、改めて複数のサポートベンダーを比較・検討しました。
そこで現在のサポートベンダー選定において重視されたのが、多数のMySQL環境を包括的にサポートできることと、費用対効果です。
多くのサービスを運営する環境では、サービスごとにサポートの対象・対象外が分かれていると、障害発生時に問い合わせ可能かどうかを都度判断する必要が生じ、運用手順が複雑になります。そのためLINEヤフーでは、可能な限り各サービスを共通の手順で扱えることを重視しています。
一方で、対象となるMySQLの台数が非常に多いため、包括的なサポートには費用面とのバランスも求められます。
多数のMySQL環境を一括してサポートできる対応範囲と費用対効果の両面が、パソナデータ&デザインのサポートを継続して利用する理由となっています。
公開情報だけでは判断しにくい技術課題にも外部サポートを活用
これまで外部サポートを利用する中で、特に印象に残っている事例の一つが、Percona Toolkit（※1）に関する問い合わせです。
ツールの利用にあたり、ドキュメントに記載されていない使い方が可能なのか、内部ではどのような実装になっているのか、どのような方法であれば安全に利用できるのかといった、公開情報だけでは判断しにくい内容について問い合わせを行いました。こうした技術的に踏み込んだ質問に対して、迅速に回答を得られた点を評価しています。
また、Percona製品からMySQL Group Replication（※2）へ移行する際にも、パソナデータ&デザイン（旧 スマートスタイル）のサポートを活用しました。両者の違いや設定変数などについて調査を依頼し、社内だけでは確認が難しかった細かな部分まで原因を掘り下げることができました。
こうした対応について、LINEヤフーでは、調査の質という観点で期待通りの結果が得られたと評価しています。
また、海外製品を利用する中で、日本語で問い合わせできることも外部サポートのメリットとして捉えています。必要に応じてベンダーへのエスカレーションを行えることも含め、社内だけでは解決が難しい技術課題を調査するための選択肢の一つとなっています。
深い技術調査を外部に任せ、社内リソースをより重要な業務へ
今後のデータベース運用においても、LINEヤフーが重視しているのは「障害を起こさないこと」と、「障害が発生した際の復旧時間をできるだけ短くすること」です。
一方で、バグや障害の原因を深く調査するには、多くの時間や専門的な知見が必要になります。こうした調査をすべて社内だけで担うのではなく、外部サポートを活用することで、社内エンジニアの時間を新しい開発や別の取り組みに振り向けることを重視しています。
社内のリソースを重要な領域へ集中させるという観点からも、自社だけでは対応が難しい深い技術調査を外部に任せられることは、今後も重要な要素です。
また、技術力だけでなく費用対効果も重視しており、必要な技術支援を適切なコストで利用できることを、今後の外部サポートにも期待しています。
株式会社パソナデータ&デザイン（旧 スマートスタイル）が行った支援
| 支援領域 | 支援内容 | 効果・価値 |
| 障害・バグの原因調査 | 社内だけでは原因特定が難しい障害やバグについて、切り分けや詳細な原因調査を支援 | 社内でゼロから調査する負荷を抑え、エンジニアのリソースを他の重要な業務へ振り向けるための体制を支援 |
| 大規模MySQL環境の包括的なサポート | Percona製品のサポートを起点に、現在は多数のMySQL環境を包括的に支援 | 多数のMySQL環境を包括的にカバーしながら、費用対効果を考慮できるサポート体制を提供 |
| 移行・製品仕様に関する高度な技術調査 | Percona Toolkitの利用方法や内部実装、安全な利用方法、MySQL Group Replicationへの移行時の設定・挙動などを調査 | 公開情報だけでは判断が難しい領域まで掘り下げ、移行時や技術課題の原因究明を支援 |
| ベンダーとの連携・エスカレーション | 必要に応じてPercona社などのベンダーと連携し、社内だけでは解決が難しい技術課題の調査を支援 | 日本語で相談できる窓口を確保しながら、必要に応じて製品開発元の知見も活用できる体制を提供 |
パソナデータ&デザインでは今後も、MySQLに関する専門的な技術支援を通じて、LINEヤフーの安定したデータベース運用と、社内エンジニアが新しい開発や環境全体の最適化に取り組める体制づくりを支援していきます。
用語注釈
※1 Percona Toolkit：MySQLなどのデータベース運用・管理を支援する各種ツール群。
※2 MySQL Group Replication：複数のMySQLサーバー間でデータを複製し、高可用性を実現するための仕組み。
※3 DDL（Data Definition Language）：データベースのテーブルなどの構造を定義・変更するための操作。
※4 Percona Server for MySQL：Perconaが提供するMySQL互換のオープンソースデータベース。
※5 Percona XtraDB Cluster ：複数のデータベースサーバー間でデータを同期し、高可用性を実現するクラスタリング製品。
関連サービス
 |
LINEヤフー株式会社 インターネットサービス ■ 所在地：〒102-8282 東京都千代田区紀尾井町1番3号 |
