JavaScriptが無効の為、一部のコンテンツをご利用いただけません。JavaScriptの設定を有効にしてからご利用いただきますようお願いいたします。（設定方法）

現在地: ホーム > お知らせ > 2008年11月11日に発生したシステム障害についてのご報告

2008年11月11日に発生したシステム障害についてのご報告

お知らせ一覧へ戻る

平素は楽天証券をご愛顧いただき、誠にありがとうございます。
2008年11月11日（火）に発生しましたシステム障害におきまして、お客様には多大なご迷惑をおかけいたしました。あらためてお詫び申し上げます。
また、経緯と対策、進捗状況につきましても、あらためてご報告申し上げます。

障害の原因と経緯

このたび発生した障害は、当社の基幹データベースにおいて、データを高速に検索するためのインデックス（索引）情報の一部に不具合が生じたことにより発生いたしました。

基幹データベースは、お客様の口座情報やお取引データ等、大量のデータを管理しており、インデックス（索引）情報はそのデータのなかから必要なデータを高速に検索するために必要な情報を管理しております。また、データベースへのデータの書き込みや削除がおこなわれるたびに、インデックス（索引）情報が随時更新される仕組みになっております。

11月11日未明におこなった基幹データベースの夜間メンテナンス（バッチ処理）において、お客様のお取引や残高のデータに前日までのお取引の情報を反映する勘定履歴の作成処理中に、上記のインデックス（索引）情報の不具合が発生いたしました。そのため、データの検索処理が正常に機能せず、バッチ処理がループ状態に陥ったため、このたびの事態を引き起こすこととなりました。

当社では、異常な状態を検知した後、全力を挙げて原因を特定し、処理を正常化すべく作業をおこないましたが、復旧に大幅な時間を要したため、11日朝からの受注を開始することができませんでした。結果として、同日午後0時45分まで米国株式とＦＸを除くすべての商品において、お取引いただけない事態となってしまいました。

事態の経緯は以下の通りです。

午前 3:24頃	夜間メンテナンスにおけるお客様の勘定履歴を作成するバッチ処理を開始
午前 8:40頃	受注の見込みが立たず、寄付からの注文について全面的に受注停止を決定
午前 9:53	お客様のログインを停止
午前 10:35頃	リカバリー処理方針の目処が立ち、異常の発生したバッチ処理を再実行
午後 0:38頃	前日夜間受注分の一括発注完了
午後 0:45頃	復旧。受注開始

お客様のお取引への主な影響

お客様にはおかれましては以下のような影響がございました。

夜間メンテナンスの終了予定時刻である11日午前6時から午後0時45分までの間、米国株式およびＦＸを除くすべての商品の注文受付と入出金の受付が停止いたしました。
午後0時45分頃から午後6時18分頃までの間、国内株式の一部銘柄において時価情報の表示ができず、国内株式の逆指値注文の受注が停止いたしました。
午後0時45分頃から午後8時（大証イブニングセッション終了時刻）までの間、受注した逆指値注文が市場執行されませんでした。

障害の影響を受けたご注文については、当社のシステム障害時の対応方針に基づき、当社での注文受付・発注時刻と市場での取引状況とを照合・検証し、約定等の訂正処理させていただいております。

障害に対するこれまでの対応と再発防止策

当社では今回の事態を重く受け止め、以下のような対策を講じてまいりました。

2008年11月11日のシステム障害は、弊社の基幹データベースソフトウェア製品の不具合により、データを高速に検索するためのインデックス(索引)情報の一部が不正な状態となったことに起因します。本システム障害の原因となった基幹データベースソフトウェアの不具合を解消するとともに、万が一同様のシステム障害が発生した場合に、可能なかぎりその影響を少なくするための対策に取り組んでおります。

データベース障害の再発を防止する対策

データベースソフトウェア不具合の修正（2009年2月28日　完了）
障害の原因となりましたデータベースソフトウェアの不具合につきましては、修正プログラム(パッチプログラム)の適用を完了し、今回のシステム障害の原因となりましたインデックス(索引)情報が不正な状態となる不具合を根本的に解決しております。
インデックス(索引)情報の再作成（2008年11月29日　完了）
今回と同様のインデックス(索引)情報に関連するデータベース障害を回避する策として、すべてのインデックス(索引)情報の再作成を実施しております。また、インデックス(索引)情報については、今後定期的な再作成を実施してまいります。

障害発生時の影響を極小化する対策

システム障害時の連絡体制強化（2009年1月5日　完了）
データベースソフトウェア会社と直接連絡が可能な24時間専用窓口を新たに設置いたしました。万一夜間に障害が発生した場合でも、より早期の復旧を目的として、即時の連絡体制を整備いたしました。
夜間バッチ処理の障害監視の強化（2009年1月8日　完了）
夜間バッチ処理の障害および遅延事象を早期に発見するため、従来のチェックポイントに加えて遅延検知チェックポイントを追加設定いたしました。また、今回のようにシステムがループ状態に陥りエラーを出力しない障害に備えるため、特に重要なバッチ処理については、標準的な処理時間を設定し、これを超えた場合に遅延を検知する仕組みを導入いたしました。
夜間バッチ処理時間の短縮化（2009年4月10日　完了）
従来、約90分の処理時間であった夜間バッチ処理を約60分に短縮いたしました。これにより、夜間バッチ処理で発生したシステム障害に対する復旧時間を確保いたしました。
データベース単位でのサービス再開（2009年6月20日　完了）
基幹データベースごとに受注停止やログイン停止を可能とする仕組みを構築し、一台のデータベースに障害が発生した場合でも、他のデータベースに影響が及ばず、継続してサービスが提供できる体制を構築いたしました。
緊急時の連絡専用サイトの構築（2009年5月2日　完了）
お客様がメンバーページにログインできない障害が発生した場合でも、お客様ごとに取引への影響をお知らせし、システムの稼働状況が把握できる専用告知ページを構築いたしました。

このたびの障害におきましては、お客様には多大なご迷惑をおかけいたしました。重ねてお詫び申し上げます。基本となる再発防止策は完了しておりますが、同様の事態を二度と招かぬよう、継続した対策に全力をあげて取り組んで参ります。今後とも深いご理解と変わらぬご支援を賜りますよう、何卒お願い申し上げます。