گزارش کالبدشکافی (Forensics) ابر آروان

تاریخ حمله: ۲۶ اسفند ۱۳۹۹

سطح تاثیر: ۲۵۰۰ مشترک، ۷۰۰۰ ابرک (سرور ابری)

خلاصه‌ی حمله: حمله‌ی سایبری به‌منظور تخریب و حذف اطلاعات مشتریان در دیتاسنتر IR-THR-AT1 که منجر به از دسترس خارج شدن سرویس‌های ۲۵۰۰ مشترک شد. پس از این حمله، بیش از ۹۷ درصد از اطلاعات حذف شده به‌طور کامل بازیابی شد، اما این ۳درصد اطلاعات حذف شده، باعث آسیب به حدود ۹درصد از کل ابرک‌ها شدند.

شرح حادثه

۲۶ اسفند ۱۳۹۹ یک حمله‌ی سایبری به زیرساخت‌ ابر آروان در یکی از سه دیتاسنتر محصول رایانش ابری یعنی دیتاسنتر IR-THR-AT1 انجام شد. دقایقی پس از اعلام حادثه، تیم امنیت آروان تحلیل و کالبدشکافی این حملات را آغاز کردند.

برخی از سیستم‌ها به‌شکل آنلاین و فقط با قطع کامل از شبکه و برخی از سیستم‌ها پس از خاموش شدن در اختیار این تیم قرار گرفتند. هم‌چنین دسترسی به تمام لاگ‌ها و گزارش‌های سیستم‌های مانیتورینگ و ثبت وقایع تمام تجهیزات و شبکه در اختیار تیم کالبدشکافی قرار گرفت.

در هیچ‌کدام از این سیستم‌ها مطلقن هیچ داده‌ای از مشتریان وجود نداشته است.

علاوه‌بر تیم ابر آروان که مدیریت این فرآیند را آغاز کردند، مشاوران و همکاران ما از شرکت‌های رها، راوین و پادویش در بخش‌های مختلف این آنالیز در کنار ما بودند تا بتوانیم با بالاترین دقت این مراحل را به اتمام برسانیم و نتایج آن را منتشر کنیم.

با جمع‌آوری شواهد و بررسی زوایای مختلف، تیم بررسی به یک سناریوی نهایی به عنوان قوی‌ترین احتمال نفوذ دست یافت.

به‌طور کلی، در بیش‌تر سناریوهای نفوذ، ترکیبی از چند عامل آسیب (Vulnerability Chain) سبب بروز مشکل نهایی می‌شود، می‌توان این آسیب‌ها رو به گروه‌های زیر تقسیم‌بندی کرد:

• اشکال در طراحی یا اجرای سیاست‌های امنیتی (تنظیم ضعیف امنیتی، پیکربندی ‌نادرست و…)
• بهره‌کشی (Exploit) از سرویس‌ها از طریق یک یا چند آسیب‌پذیری‌ منتشر شده یا منتشرنشده (Zero Day)
• استفاده از ضعف‌ها (آسیب‌پذیری‌های) منطقی

با توجه به این‌که در بررسی یک حمله‌ی چندبعدی و پیچیده، تمام شواهد دردسترس تیم کالبدشکافی نیست، بخشی از سناریو براساس گمانه‌زنی‌های معقول پیش می‌رود؛ در نتیجه، ممکن است توانایی تیم هکری چندان قدرت‌مند ارزیابی نشود یا برعکس بخش‌هایی از مهارت‌های تیم هکری در طراحی و اجرای حملات بیش از آن‌چه هست، ارزیابی شود.

در روزهای آینده ممکن است تیم امنیتی آروان در بررسی‌های خود به سرنخ‌های تازه‌ای برسند یا تیم‌های هکری ادعاهای جدیدی را در فضای عمومی اینترنت مطرح کنند. در این موقعیت، ابر آروان با بررسی سرنخ‌های جدید اقدامات ثانویه‌ی خود را انجام خواهد داد و نسبت به تکمیل گزارش خود  اقدام خواهد کرد.

هم‌چنین ممکن است مانند همیشه متخصصانی آسیب‌پذیری‌های دیگری، مرتبط یا نامرتبط با حادثه‌ی پیش‌آمده را کشف کنند، که از ایشان دعوت می‌کنیم به صفحه‌ی باگ‌بانتی ابر آروان که پس از این حادثه، مبلغ جوایز آن نیز دو برابر شده است، مراجعه و گزارش‌های‌شان را ثبت کنند. ابر آروان بلافاصله گزارش‌های امنیتی دریافتی را بررسی و با معتبر بودن، جوایز مرتبط به سطح آسیب‌پذیری گزارش شده را پرداخت و با نام فرد گزارش‌دهنده، مشکل امنیتی را در صفحه‌ی باگ‌بانتی خود منتشر خواهد کرد.

بخش اول: دامنه‌ی حمله

همان‌طور که گفته شده، حمله محدود به یکی از محصولات ابر آروان (زیرساخت رایانش ابری) واقع در دیتاسنتر IR-THR-AT1 بوده است. زیرساخت رایانش ابری به‌طور کلی دارای سه نتورک مستقل شامل موارد زیر است:

• شبکه‌ی ارتباطی اصلی برای استفاده شبکه‌ی داخلی ابرک‌ها و شبکه‌ی اتصال به اینترنت
• شبکه‌ی مربوط به ذخیره‌سازی (برای اتصال ابرک‌ها به بلاک استورج)
• شبکه‌ی مدیریت (به‌شکل out of band)

در این حمله، دامنه‌ی حضور هکر‌ها از طریق شبکه‌ی مدیریت بوده است. ابر آروان در طراحی‌های  خود در دیتاسنترها و محصولات مختلف براساس اصول امنیتی، شبکه‌ی مدیریت خود را مستقل از سایر شبکه‌ها (out of band) طراحی کرده است. اما در هر حال امکان دسترسی از راه‌ دور به این شبکه وجود داشته است.

ابر آروان پس از این واقعه، با سخت‌گیرانه‌تر کردن فرآیندهای دسترسی و افزایش لایه‌های امنیتی، سطح امنیتی دسترسی به شبکه مدیریتی را افزایش چشم‌گیری داده است.  

بخش دوم: دسترسی و انجام عملیات تخریب

اتصال هکرها ابتدا به شبکه‌ی مدیریتی و درنهایت آسیب‌رساندن به زیرساخت‌ها از طریق دسترسی‌های تعریف شده در آن لایه بوده است. هکرها توانسته‌اند با نفوذ و سواستفاده از کلیدهای مجاز همکاران ابر آروان (کلید‌هایی با سطح دسترسی پایین که مجوز اتصال به Virtual Private Network و از طریق آن برقراری ارتباط با شبکه‌ی مدیریتی را صادر می‌کرده است)، یا از طریق عبور از نقطه‌ی رابطی که قابلیت اتصال به شبکه‌ی مدیریت را فراهم می‌کرده است، به این شبکه دسترسی پیدا کنند و با اسکن کامل شبکه، طراحی حمله‌ی خود را انجام دهند.

تیم CDN و سامانه‌ی امنیت ابری آروان برای اتصال به شبکه و سرورها، از کلید سخت‌افزاری با قابلیت جلوگیری از Exploit یا Proxy شدن کلید استفاده می‌کنند. پس از این حملات، استفاده از این کلید برای تمام تیم‌های فنی و پشتیبانی آروان اجباری شد. علاوه‌بر آن اصلاحات مورد نیاز روی شبکه‌ی مدیریتی نیز انجام شد. 

نفوذگر پس از این مرحله با اسکن کامل شبکه توانسته از حداقل یک آسیب‌پذیری بالقوه سواستفاده کند.

سوییچ‌هایی که به‌شکل VPC تنظیم شده بودند دارای سیستم‌عامل NX-OS بودند، این سیستم‌عامل‌ها در برخی نسخه‌های خود دارای آسیب‌پذیری CVE-2019-1962 هستند، نفوذگر با بهره‌کشی از این آسیب‌پذیری‌ها، توانسته باعث ایجاد اختلال در فرآیند این سوییچ‌ها و در نتیجه‌ی آن از دسترس خارج شدن بخش مهمی از شبکه بشود.

ابر آروان در طراحی و اجرای دیتاسنترهای جدید خود لایه‌ی شبکه و سیستم‌عامل‌های آن لایه‌ را به‌طور کامل ارتقا داده است و از آخرین نسل تجهیزات سیسکو استفاده می‌کند. ارتقای شبکه و تجهیزات دیتاسنتر IR-THR-AT1 نیز پس از حمله، با اولویت در دستور کار قرار گرفت و هم‌زمان با انجام سایر فرآیند‌های بازیابی، تمام سوییچ‌های فعلی با آخرین نسل از سوییچ‌های Nexus جایگزین شدند.

بخش دوم حمله، آسیب رساندن به تجهیزات پردازشی و ذخیره‌سازی از طریق iLO بوده است. به‌طور کلی آسیب‌پذیری متعددی روی پورت‌های iLO وجود دارد، هم‌چنین روش‌های احراز هویت ساده‌ای برای اتصال استفاده می‌شود. به همین دلیل معمولن تلاش می‌شود دسترسی به این پورت‌ها (همانند طراحی انجام شده در شبکه‌ی آروان) همیشه از طریق شبکه‌ی OOB انجام شود. هکرها در این بخش و پس از اتصال به شبکه OOB و از طریق اتصال به iLO توانسته‌اند با تخریب تنظیمات RAID و حذف کامل Partition Tables، سبب حذف اطلاعات برخی از سرورهای ذخیره‌سازی، هم‌چنین آسیب زدن به برخی سرورهای پردازشی شوند. با این اتفاق در حدود ۱۰۰ ترابایت از اطلاعات سرورهای پردازشی حذف شد.

همان‌طور که پیش از این در گزارش اولیه نیز بیان شد، هکرها امکان دسترسی خواندن (Read) روی اطلاعات کلاستر ذخیره‌سازی را نداشتند و تخریب تنها از طریق حذف Partition Tableها انجام شده و در نتیجه هیچ‌گونه نشت اطلاعات در این بخش انجام نشده است.

بخش سوم: اقدامات موازی هکر(ها) برای ایجاد ازدحام در لایه‌ی شبکه

با اسکن Range هر سرویس‌دهنده‌ی ابری در جهان، از میان هزاران سرور ابری ایجاد شده از سوی مشتریان، حتمن با تعدادی سرور مواجه خواهید شد که یا به‌دلیل عدم اهمیت (سرورهایی که معمولن برای تست یا به‌شکل موقت ایجاد می‌شوند) یا به‌دلیل رعایت نکردن اصول امنیتی، به‌راحتی از اینترنت نفوذپذیر هستند.

این‌گونه نفوذ‌ها معمولن از طریق آسیب‌پذیری‌های پیش‌فرض، استفاده از رمزعبورهای ساده برای کاربران پیش‌فرض، یا عدم رعایت اصول امنیتی در احراز هویت پایگاه داده رخ می‌دهد.

هکرها از طریق آلوده کردن تعدادی از ابرک‌های آسیب‌پذیر برخی مشتریان میزبانی شده (زامبی کردن) در دیتاسنتر IR-THR-AT1 هم‌زمان با حمله، شروع به ارسال پکت‌های Broadcast (به نشانی 255.255.255.255) کردند. انجام حمله‌ی TCP Flood و UDP Flood هم‌زمان با حمله‌ی اصلی با هدف ایجاد کندی، افزایش تعداد لاگ‌ها و تمرکززدایی انجام شده است.

 پخش چهارم: اقدامات ابر آروان در مواجه به حمله

با آغاز حمله، شبکه‌ی مدیریتی به‌طور کامل قطع شد تا از نفوذ و تخریب بیش‌تر جلوگیری شود. هم‌چنین اینترنت دیتاسنتر نیز به‌طور کامل قطع شد تا اطمینان پیدا کنیم که هیچ‌گونه اتصال ریموت یا یک اتصال معکوس (Connect Back) به دیتاسنتر برقرار نیست و تنها اعضای تیم که به‌شکل حضوری در محل حضور دارند امکان دسترسی پیدا می‌کنند.

در لحظه‌ی بروز حادثه، دو نفر از همکاران ابر آروان در دیتاسنتر حضور داشتند، بلافاصله دو تیم دیگر از همکاران به محل دیتاسنتر اعزام شدند و یک سکوی آنلاین برای مدیریت حادثه ایجاد شد. سکویی که در تا ۵ روز پس از حمله، بی‌وقفه و به‌شکل شبانه‌روزی ادامه داشت. در مجموع تا پایان بحران، ۷۶۸ نفر-ساعت بدون وقفه مشغول کار در دیتاسنتر بوده‌اند.

همان‌طور که پیش‌تر هم گفته شد، در نخستین اقدام چهار تیم مختلف تشکیل شد تا به موازات یک‌دیگر موضوعات را پی‌گیری کنند:

•  تیم یک: مسوول مراقبت از دیتاسنتر IR-THR-MN1 برای پیش‌گیری از اتفاق مشابه
• تیم دو: کار متمرکز روی استورج دیتاسنتر IR-THR-AT1 برای برگرداندن ۱۰۰ ترابایت اطلاعات و پایدارسازی کلاستر ذخیره‌سازی
• تیم سه: کار متمرکز روی کل زیرساخت رایانش ابری در IR-THR-AT1 تا به‌محض رفع اشکال فضای ذخیره‌سازی، سرویس دوباره به مدار برگردد.
• تیم چهار: مسوول کالبدشکافی (Forensics) و ایمن‌سازی (Hardening)

برخی از مهم‌ترین اقدامات امنیتی برای ارتقای ایمن‌سازی 

• بازنگری و ارتقای امنیتی شبکه‌ی مدیریتی (OOB)
• سرعت بخشیدن به فرآیند ارتقای تجهیزات شبکه و ارتقای نسل تجهیزات
• بازنگری و سخت‌گیرانه‌تر کردن تنظیمات دیواره‌ آتش (Firewall)
• ارتقای visibility و سیستم‌های اخطار‌دهی امنیتی
• تغییر تمام رمزهای عبور در تمام لایه‌ها، باطل کردن تمام کلیدها و ایجاد پروتکل‌های سخت‌گیرانه‌تر برای استفاده از کلید‌های سخت‌افزاری
• افزایش سخت‌گیری بیش‌تر در لایه‌بندی سطح دسترسی
• بازنگری و مرور تنظیمات ایمن‌سازی (Hardening) روی تمام سرورها و تجهیزات شبکه
• استقرار تیم تست نفوذ (Red Team) بیرونی به موازات تیم تست نفوذ ابر آروان برای کشف آسیب‌پذیری‌های احتمالی
• افزایش جوایز مسابقه‌ی باگ‌بانتی به دوبرابر و استقرار هم‌زمان آن روی سکوی باگ بانتی راورو

چه آموختیم؟

ابر آروان یک زیرساخت یکپارچه‌ی ابری است، یکی از محصولات ما، «امنیت ابری» برای جلوگیری از حملات DDoS و حملات مرسوم وب است، محصولی که اگرچه حوزه فعالیت آن با حمله‌ی انجام شده کاملن متفاوت است، همواره از بسیاری از حملات سایبری به بزرگ‌ترین کسب‌وکارهای کشور جلوگیری کرده است. با وجود این نکات، ما نیز با حادثه‌ای امنیتی مواجه شدیم تا نشان دهد اگرچه هیچ‌وقت امنیت ۱۰۰درصدی وجود ندارد، اما باید به‌شکل پیوسته امنیت را چون همیشه در صدر اولویت‌های سازمان نگاه داریم و تدابیری را اتخاذ کنیم  تا سطح امنیت در تمامی بخش‌ها بیش از پیش تقویت شود.

ابر آروان با داشتن پروتکل‌های سخت‌گیرانه‌ی امنیتی، تیم امنیت داخلی، استفاده از مشاوران و شرکت‌های بیرونی، برگزاری جوایز باگ‌بانتی و انجام دوره‌های تست نفوذ باز هم برای ارتقای امنیت خود به اقدامات مهمی نیاز دارد و در این مسیر گام‌های بلندی طی خواهد کرد.

هم‌چنین تمرین و تمرکز روی پروتکل‌های واکنش به وقایع (Incident Response) می‌تواند کمک کند به هنگام بروز حوادث مشابه از شدت آن کاسته و واکنش‌های دقیق‌تر و چابک‌تری به آن نشان داده شود. از آن گذشته ابر آروان خود را موظف می‌داند با ترویج و فرهنگ‌سازی استفاده از معماری‌های ابرزی را به کاربران خود توصیه کند، تا طراحی زیرساخت‌های خود را به‌سمت معماری‌های توزیع شده و پایدار‌تر سوق دهند.

قطعن برطرف کردن و رفع مشکلات امنیتی کاری سخت و پیچیده است، اما برطرف کردن نگرانی‌های امنیتی کاربران‌مان کاری بسیار سخت‌تر و پیچیده‌تر خواهد بود. ما خودمان را موظف می‌دانیم علاوه‌بر انجام اقدامات گسترده، با گزارش دقیق و شفاف‌ آن، مشترکان و شرکای تجاری خود را از این اقدامات آگاه کنیم.