روز سه‌شنبه ۲۶ اسفند ۱۳۹۹، زیرساخت رایانش ابری آروان (یکی از ده محصول این شرکت) در دیتاسنتر IR-THR-AT1 با حملات سایبری مواجه شد که هدف از آن‌ها تخریب و حذف اطلاعات مشتریان بود. این حمله در حدود ۱۶درصد از مشتریان غیررایگان ابر آروان را متاثر کرد.
در این حمله، آن گروهی از مشتریان دچار مشکل اساسی شدند که از داده‌های خود نسخه پشتیبان نداشتند، یا معماری آن‌ها به شکل ابرزی (Cloud Native) نبود و به شکل Multi Availability Zone طراحی نشده بودند.
با آغاز آسیب‌رسانی به دیتای مشتریان، ابر آروان تمام دسترسی‌ها به این دیتاسنتر را قطع کرد تا از توسعه‌ی آسیب‌رسانی جلوگیری شود. بلافاصله اینترنت و شبکه‌ی مدیریتی، هر دو به‌شکل کامل قطع و علاوه‌بر کارشناسان امنیتی، کارشناسان و اعضای تیم فنی به محل دیتاسنتر اعزام شدند تا بدون نیاز به دسترسی از راه دور -که ریسک گسترش یا تکرار حمله را افزایش می‌داد- به بررسی و حل موضوع بپردازند.
با توجه به نوع ذخیره‌سازی اطلاعات در رایانش ابری آروان، در این حمله هکر هیچ‌گونه دسترسی به دیتای مشتریان ابر آروان پیدا نکرد و تنها موفق به آسیب زدن به اطلاعات و پاک کردن بخشی از آن شد.
پس از حدود ۳۰ ساعت کار پر استرس، با فیکس‌کردن و یکپارچه‌سازی داده در سطح کلاستر، امکان دسترسی به اطلاعات در ساعت ۱۰:۳۰ صبح چهارشنبه فراهم شد. با تداوم کار تیم‌های فنی از صبح روز پنج‌شنبه ۲۸ اسفند مشکلات ریکاوری برطرف و دسترسی مشتریان به این دیتاسنتر باز شد. از این زمان مشتریان این شرکت با همراهی تیم‌های پشتیبانی ابر آروان به بازیابی سرورهای ابری‌شان پرداختند.
برای دانلود فایل کامل گزارش‌های فنی و کالبدشکافی این حمله اینجا کلیک کنید.
روز جمعه، هم‌زمان حجم بالایی از کاربران برای درست کردن فایل‌سیستم یا پشتیبان‌گیری دیتا مشغول به کار شدند. به‌دلیل مشکلات پیش‌آمده و ریکاور کردن کلاستر ذخیره‌سازی در یک فشار زمانی کوتاه، کلاستر موفق به تهیه‌ی سه نسخه از تمام داده‌ها نشده بود، هم‌چنین برای ساخت ابرک‌های جدید برای انتقال اطلاعات روی آن نیاز به فضای بیشتر بود و در نتیجه باید ظرفیت کلاستری که به‌سختی آسیب‌دیده بود نیز افزایش پیدا می‌کرد. برای رفع این مشکل، به میزان ۴۰۰ ترابایت استورج به کلاستر اضافه شد. ادامه‌ی این روند سبب شد تا دسترسی مشتریان مجدد قطع شود تا اقدامات فنی برای پایدارسازی کلاستر ذخیره‌سازی انجام شود.
درنهایت از روز شنبه ۷ فروردین ۱۴۰۰ با پایدارسازی زیرساخت و امکان دسترسی به ابرک‌ها روند بازگردانی سرورهای ابری مشتریان از سر گرفته شد و تا پایان هفته ادامه پیدا کرد.
گزارش‌های مرتبط:
در این حملات، فعالیت سایر محصولات ابر آروان شامل DNS، CDN، ویدیو پلتفرم، فضای ذخیره‌سازی ابری، هم‌چنین رایانش ابری در سایر دیتاسنترهای آروان بدون مشکل بود.
با تداوم پشتیبانی و بازیابی سرویس مشتریان، تا روز پنج‌شنبه ۱۲ فروردین، تمامی ابرک‌های موجود در دیتاسنتر IR-THR-AT1 که قابلیت بررسی سیستمی را داشتند، مورد بررسی اولیه قرار گرفتند. از این میان سیستم‌عامل ۸۳.۹ درصد بدون مشکل بود یا مشکل آن به‌کمک تیم‌های فنی برطرف شد. هم‌چنین ۹.۷ درصد ابرک‌های بررسی شده در دستور کار برای مرحله دوم بازرسی و بازیابی قرار گرفتند. متاسفانه امکان بازیابی ۶.۴ درصد از ابرک‌ها وجود نداشت که تلاش شد دیتای این ابرک‌ها به ابرک جدید منتقل شود.
پشتیبانی و رفع مشکل مشتریان
ابر آروان با بروز این اتفاق، هم‌زمان با به‌روزرسانی صفحه‌ی استاتوس، از طریق شبکه‌های اجتماعی، ایمیل، پیامک و بلاگ اطلاع‌رسانی به مشتریان را آغاز کرد، تمام خطوط تلفن ابر آروان با حداکثر نفرات برای پاسخ‌گویی به مشتریان اختصاص داده شد.
با آغاز فرآیند بازگردانی سرویس مشتریان، ظرفیت تیم پشتیبانی ابر آروان در فاز اول از ۲۰ نفر به ۸۰ نفر و در فاز دوم، پس از احیای کلاستر ذخیره‌سازی به ۱۰۵ نفر افزایش داده شد.
در این مدت، همکاران ما ۷۰۰۰ ابرک را بررسی کردند و بیش از ۸۳۰۰ تماس تلفنی و بیش از ۳۶۰۰ تیکت را پاسخ دادند.
جبران خدمات ابر آروان
مشتریان پس از راه‌اندازی مجدد سرورهای ابری‌شان، باید بلافاصله از اطلاعات‌شان پشتیبان‌گیری می‌کردند و برای تسهیل این فرآیند، ابر آروان تا پایان بهار ۱۴۰۰، محصول فضای ذخیره‌سازی ابری خود را تا سقف ۱۰ ترابایت برای هر مشتری در این دیتاسنتر و بدون محدودیت ترافیک، رایگان کرد.
هم‌چنین حساب کاربری تمام مشتریان این دیتاسنتر برای محصول رایانش ابری که در این حمله آسیب دیده بود، سه‌برابر مصرف اسفند ۹۹ آنان، شارژ شد تا به این شکل تا پایان بهار ۱۴۰۰ بتوانند به رایگان از زیرساخت رایانش ابری آروان استفاده کنند.
برخی از مشتریان ابر آروان در مراحل مختلفی که امکان دسترسی به سرورهای‌شان فراهم شده بود، اقدام به جابه‌جایی سرورها به سایر دیتاسنترهای ابر آروان کرده بودند؛ این دو امکان شامل این دسته از مشتریان هم شده است.
در کنار این اقدامات، ابر آروان براساس قرارداد جبران خدمات (SLA) زیان مدت زمان دردسترس نبودن زیرساخت را هم پرداخت کرده است.
اقدامات پیش‌گیرانه و رو به آینده‌ی ابر آروان
ابر آروان با تجربه‌ی اتفاق پیش آمده و سطح آسیب‌پذیری مشتریان، مجموعه اقداماتی را در حوزه‌های «محصول»، «اقدمات و فرآیندهای امنیتی» و «جبران خدمت»، طراحی و اجرا خواهد کرد. در ادامه به توضیح هر یک از حوزه‌ها می‌پردازیم.
محصول
- ابر آروان با ایجاد یک Region بزرگ و پایدار به اسم «تهران بزرگ»، چهار Availability Zone این منطقه شامل دو ناحیه در تهران مرکزی، یک ناحیه در غرب تهران و یک ناحیه در شرق تهران را به یک‌دیگر متصل می‌کند. هم‌چنین دیتاسنترهایی در تبریز و اصفهان افتتاح خواهیم کرد.
- به‌علاوه، امکاناتی فراهم خواهیم کرد تا مهاجرت در داخل یک Region و ایجاد کلاسترهای پایدار به‌شکل Multi Availibilty Zone به آسان‌ترین شکل ممکن انجام شود. هم‌چنین پس از این اقدامات محصول فضای ذخیره‌سازی ابری آروان پایداری در سطح Region خواهد داشت و با انتخاب مشتریان در منطقه‌ی اصلی (تهران بزرگ) اطلاعات می‌تواند به آسانی در بیشتر از یک AZ ذخیره شود.
- توسعه‌ی امکان پشتیبان‌گیری خودکار ابرک‌ها، تمرکز روی پایداری و SLA محصولات، هم‌چنین امکانات محصولی مرتبط با مهاجرت، حفظ و یکپارچگی اطلاعات اولویت خواهند داشت.
- هم‌چنین ابر آروان با ایجاد و افزایش بازه‌ی رایگان روی تمام محصولات به‌ویژه فضای ذخیره‌سازی ابری، برای پشتیبان‌گیری، هم‌چنین رایگان کردن کامل ترافیک CDN، افزایش بازه‌ی رایگان سامانه‌ی امنیتی ابری تلاش خواهد کرد، به ترویج شکل‌گیری معماری‌های ابرزی کمک کند.
اقدامات و فرآیندهای امنیتی
- ابر آروان سازوکارهای مربوط به تست نفوذ را ارتقا خواهد داد. فاصله بین تست‌های نفوذ داخلی را کاهش و شرکای بیرونی خود در این زمینه را افزایش می‌دهد.
- جوایز باگ بانتی آروان به ۲ برابر افزایش یافته و این موضوع در یک سکوی بیرونی نیز قرار گرفته است؛ این مسیر را با جدیت ادامه خواهیم داد.
- ابر آروان ارتقا و افزایش سخت‌گیری در سازوکارهای ایمن‌سازی (Hardening)، مدیریت کلید‌ها، مدیریت سطح دسترسی و… را در دستور کار قرار داده است و ارتقا و افزایش سخت‌گیری‌ها در اجرای سازوکارهای مدیریت بحران، مدیریت ریسک و مدیریت تغییرات را سرعت خواهد بخشید.
جبران خدمت
- ابر آروان با تغییر سطوح پشتیبانی، «پشتیبانی پایه» و «تماس تلفنی» را برای بخش بزرگی از مشترکان غیررایگان خود بدون پرداخت هزینه فعال خواهد کرد، در همین رابطه، در تلاش هستیم تا خدمات خود در بخش مشاوره و طراحی راهکارهای ابرزی را توسعه دهیم.
- هم‌چنین در تلاش‌ایم با مذاکره با شرکت‌های معتبر بیمه، نوعی از بیمه‌ی مسوولیت در مواجهه با حملات سایبری و آسیب‌های زیرساخت را در ایران، ایجاد کنیم که هم شرکت‌های ارایه‌دهنده‌ی زیرساخت ابری از آن بهره ببرند و هم مشتریان محصولات ابری با پوشش‌های متنوع بتوانند از جبران خسارت در قالب حمایت‌های بیمه‌ای بهره‌مند شوند.
برای دانلود فایل کامل گزارش‌های فنی و کالبدشکافی این حمله اینجا کلیک کنید.
7 پاسخ در “گزارش نهایی از حمله به دیتاسنتر IR-THR-AT1 و اقدامات رو به آینده‌ی ابر آروان”
سلام-خداقوت و درود به همه ی عزیزانی که در این مسیر زحمات و فشار زیادی رو متحمل شدن.ان شالله که تیم و فرایند هاتون رو بیشتر و بیشتر قدرتمند کنین و هیچوقت دچار چنین بحران هایی نشید.
خسته نباشین
تایپیست نمی‌خواین؟! یا ویراستاری چیزی؟!
زشته غلط املایی واقعا (نه واقعن)
اینجا رو ببینید:
https://www.arvancloud.com/fa/culture/orthography
بنظر حمله نبوده و بیشتر مشکل ceph شما بوده و توضیحات و شرایط شما حاکی از این امر است. استفاده تبلیغی خوبی کردید
دقیقا مشکل ما هم همینه و نمیدونم چطوره که ۸۳ درصد ابرک‌ها مشکلی نداشتن ولی تمام ۸ ابرک ما مشکل پیدا کردند حتی دو تا از اونا که خاموش بودن در زمان حمله!
متاسفانه پس از گذشت بیش از 20 روز، همچنان تیکت های ما بی پاسخ مانده. کامنت های اینستاگرام بسته است. دایرکت های اینستاگرام رو فقط با یک متن کپی شده جواب میدین. و تماس تلفنی هم به آدم فنی متصل نمیشه و فقط الکی میگن که تیکت شما رو ارجاع میدیم
میشه بگین چرا شما با این اسکیل و این همه کاربر، از نسخه‌ای از ceph دارید استفاده می‌کنید که بیش از سه سال و نیم از انتشارش می‌گذره و یک ساله که عمرش تموم شده و هیچ آپدیت امنیتی براش نمیاد؟!!