متاسفانه در روزهای پایانی اسفند ۱۳۹۹ زیرساخت رایانش ابری آروان در دیتاسنتر IR-THR-AT1 با حملات سایبری مواجه شد که هدف از آنها تخریب و حذف اطلاعات مشتریان بود.
لازم به توضیح است، این حملات در فعالیت سایر محصولات آروان شامل DNS، CDN، ویدیو پلتفرم، فضای ذخیره‌سازی ابری، هم‌چنین رایانش ابری در سایر دیتاسنترهای ابر آروان اختلالی ایجاد نکرده و در حدود ۱۶٪ از مشتریان آروان را متاثر کرده است.
نشانه‌هایی از این حملات در روزهای یک‌شنبه و دوشنبه ۲۴ و ۲۵ اسفند دیده و منجر به بروز اختلالات محدودی شد اما با آغاز حملات گسترده و متفاوت جدید در شامگاه سه‌شنبه و آسیب‌رسانی به دیتای مشتریان در این دیتاسنتر، مجبور به قطع تمام دسترسی‌ها، به‌منظور جلوگیری از پیش‌روی آسیب‌رسانی شدیم.
از تمام کسب‌وکارهای آسیب‌دیده در این مشکل، عذرخواهی می‌کنیم. آگاهیم که قطعی و اختلال سرویس در پیک ترافیکی شب عید، چه پی‌آمدهایی برای آنها به همراه داشته است و عمیقن بابت این اتفاق متاسفیم.
در فرآیند این بحران تلاش کردیم روند بروز مشکل و فرآیند حل مساله را از راه‌های ایمیل، پیامک، سایت و بلاگ، هم‌چنین شبکه‌های اجتماعی ابر آروان به آگاهی کاربران برسانیم.
ابر آروان به‌علت اینکه همچنان در حال کالبدشکافی (Forensics) ابعاد نفود است، امکان به اشتراک‌گذاری اطلاعات فنی نوع حمله را ندارد. گزارش فنی نوع حمله پس از پایان فرآیند کالبدشکافی با جزییات کامل منتشر خواهد شد.
یک‌شنبه ۲۴ اسفند – آغاز ماجرا
ساعت ۱۱:۳۳ یک‌شنبه شب، یک incident روی دو سوییچ در یک VPCدر دیتاسنتر IR-THR-AT1 ابر آروان مشاهده شد، برآورد اولیه تیم فنی اشکال سخت‌افزاری بود که با بازیابی سوییچ‌ها مشکل برطرف شد.
دوشنبه ۲۵ اسفند – شناسایی امکان حمله‌ی سایبری
در ساعت ۴ صبح دوشنبه، دوباره اختلال روی سوییچ‌های IR-THR-AT1 اتفاق افتاد. به‌دلیل تکرار الگو، احتمال حمله‌ی سایبری داده شد.
از این زمان تا ساعت ۷ صبح روز بعد، تیم‌های ابر آروان روی موضوع کار کردند و در چند ساعت اول موفق شدند سیستم را به حالت طبیعی برگردانند.
سپس برای جلوگیری از حمله‌ی احتمالی، تغییراتی در شبکه‌ی مدیریتی دیتاسنترهای IR-THR-AT1 و IR-THR-MN1 و NL-AMS-SR1 انجام شد، اما کارشناسانی که به دیتاسنتر IR-THR-AT1 اعزام شده بودند به‌دلیل خستگی، در اعمال تغییرات در شبکه‌ی این دیتاسنتر دچار اشتباه شدند و فقط بخشی از تغییرات را اعمال کردند.
سه‌شنبه ۲۶ اسفند – حمله‌ی گسترده و آسیب‌رسانی به دیتای مشتریان
در حالی‌که تیم‌های امنیتی به هر دو دیتاسنتر برای بررسی دقیق اعزام شده بودند در ساعت ۵:۳۰ عصر به‌شکل ناگهانی از طریق همان بخشی از شبکه‌ی مدیریتی که همچنان فعال بوده، دیتاسنتر IR-THR-AT1 مورد حمله قرار میگیرد.
این حملات ساعت ۸ شب با حجم بسیار بالایی ادامه پیدا میکند و تعدادی از سرورهای ذخیره‌سازی و پردازشی با هدف حذف کامل اطلاعات مورد حمله قرار می‌گیرند. با آغاز آسیب‌رسانی به دیتای مشتریان، تمام دسترسی‌ها به این دیتاسنتر قطع شد تا از توسعه‌ی آسیب‌رسانی جلوگیری شود؛ بلافاصله اینترنت و شبکه‌ی مدیریتی، هر دو به‌شکل کامل قطع و علاوه‌بر کارشناسان امنیتی، کارشناسان و اعضای تیم فنی به محل دیتاسنتر اعزام می‌شوند تا بدون نیاز به دسترسی از راه دور -که ریسک گسترش یا تکرار حمله را افزایش می‌داد- به بررسی موضوع بپردازند.
در این حملات، هکر هیچ‌گونه دسترسی به دیتای مشتریان ابر آروان پیدا نکرد و با توجه به نوع ذخیره‌سازی اطلاعات در آن لایه، تنها موفق به آسیب زدن به اطلاعات و پاک کردن بخشی از دیتا شده بود.
ابر آروان برای حفظ پایداری، از هر داده (آبجکت) سه نسخه‌ی مختلف در سه دیسک متفاوت در داخل سه سرور مختلف نگهداری میکند، تا اگر یک یا چند دیسک یا حتا یک یا چند سرور از دسترس خارج شوند، به داده‌ها آسیبی وارد نشود. اما در حمله‌ی اتفاق افتاده، به‌شکل هم‌زمان تعداد بالایی سرور مورد آسیب قرار گرفتند، این موضوع سبب شد، علاوه‌بر حذف حدود ۱۰۰ ترابایت از یک پتابایت اطلاعات این دیتاسنتر، برخی اطلاعات، هر ۳ نسخه‌ی خود را از دست بدهند.
در تحلیل اولیه مشخص شد که از مجموع بیش از ۹۷درصد اطلاعات، حداقل یک نسخه از اطلاعات وجود دارد. اما به‌دلیل توزیع‌شدگی سه‌درصد اطلاعات حذف شده در تمام کلاستر، زیرساخت ذخیره‌سازی در ریسک از دست رفتن کل اطلاعات قرار گرفت.
ادامه‌ی سه‌شنبه شب – تشکیل کمیته‌ی بحران
بلافاصله با تشکیل تیم بحران درصدد حل مشکل و هم‌زمان اطلاع‌رسانی به کاربران برآمدیم.
در کنار تیم‌های پشتیبانی، مشتریان و اطلاع‌رسانی، در این مرحله، چهار تیم فنی شکل گرفت:
- تیم یک: مسوول مراقبت از دیتاسنتر IR-THR-MN1 برای پیشگیری از اتفاق مشابه
- تیم دو: کار متمرکز روی استورج دیتاسنتر IR-THR-AT1 برای برگرداندن ۱۰۰ ترابایت اطلاعات و پایدارسازی کلاستر ذخیره‌سازی
- تیم سه: کار متمرکز روی کل زیرساخت رایانش ابری در IR-THR-AT1 تا به‌محض رفع اشکال فضای ذخیره‌سازی، سرویس دوباره به مدار برگردد.
- تیم چهار: مسوول کالبدشکافی (Forensics) و ایمن‌سازی (Hardening)
با پیش‌بینی آسیب به دیتای کاربران و زمان‌بر بودن بازگشت سرویس، از کاربران خواسته شد برنامه Disaster Recovery خود را فعال کنند تا اگر از داده‌های خود نسخه‌ی پشتیبان تهیه کرده‌اند، با استفاده از آن در سایر دیتاسنترهای آروان یا دیگر فراهم‌کنندگان زیرساخت، سرویس خود را مجدد راه‌اندازی کنند.
به‌رغم تاکید به «پشتیبان‌گیری اطلاعات حیاتی از سوی مشتری» در متن «شروط فنی استفاده از خدمات زیرساخت رایانش ابری آروان»، بسیاری از کاربران با آروان تماس گرفته و اعلام کردند که نسخه‌ی پشتیبانی در دست ندارند.
چهارشنبه ۲۷ اسفند – بازگشت اطلاعات
پس از حدود ۳۰ ساعت کار پر استرس، با فیکس‌کردن و یکپارچه‌سازی داده در سطح کلاستر، امکان دسترسی به اطلاعات در ساعت ۱۰:۳۰ صبح چهارشنبه فراهم شد. در این زمان حدود ۹۷.۳درصد از اطلاعات برگردانده شده بود.
از این نقطه، کار سخت‌تر تیم آغاز شد، چون آسیب و اختلال آن سه‌درصد اطلاعات می‌توانست سبب از بین رفتن کل کلاستر و بازیابی ناموفق شود.
از این زمان، تیم بر اصلاح یکپارچگی داده متمرکز شد تا کلاستر بالا بیاید.
- مشکل نخست: باید دقت شود که این سه‌درصد دیتای از دست رفته، مربوط به سه‌درصد از مشتریان نبود بلکه سه‌درصد از اطلاعات تمام مشتریان این دیتاسنتر است؛ پس احتمالن اکثریت مشتریان بخش ناچیزی از اطلاعات‌شان آسیب‌دیده بود. از طرفی گاهی این بخش ناچیز ممکن است با اثرگذاری بر پارتیشن بوت مانع بالا آمدن ابرک شود یا با ایجاد مشکل در پارتیشن سیستم، کار سیستم‌عامل را با اخلال مواجه کند یا با قرار گرفتن در دیتابیس کاربر، آن را از کارکرد عادی بازدارد.
- مشکل دوم: به‌طور کلی قطع ناگهانی سیستم‌عامل‌ها از استورج سبب افزایش احتمال آسیب‌دیدگی می‌شود.
پنج‌شنبه ۲۸ اسفند – حل مشکلات در ریکاوری و بازکردن دسترسی مشتریان/ سطح آسیب به سرورهای ابری
تا ساعت ۴ صبح روز پنج‌شنبه دو مشکل گفته شده تقریبن حل شدند؛ کلاستر بالا آمد و تیم‌های دیگر هم کارشان تمام شده بود. از این ساعت، به‌مرور دسترسی مشتریان به سرورهای ابری باز شد.
متاسفانه با بازشدن دسترسی به پاپ‌سایت و بررسی دقیق‌تر وضعیت ابرک‌ها مشخص شد حذف کم‌تر از سه درصد از اطلاعات کل دیتاسنتر، سبب تاثیرگذاری روی بخش گسترده‌ای از سرورهای ابری شده است.
میزان سکتورهای آسیب‌دیده در Block Storage متصل به ابرک، هم‌چنین نوع فایل‌سیستم، سیستم‌عامل و پایگاه داده‌ها سبب می‌شد که سطح آسیب‌پذیری طیف گسترده‌ای داشته باشد.
در چنین موقعیت، هر کدام از سیستم‌عامل‌ها رفتار متفاوتی دارند، از بین سیستم‌عامل‌های ویندوز و نسخ مختلف لینوکس و فایل‌سیستم‌های‌شان، برخی ساده‌تر و برخی با سختی بیشتر ریکاوری می‌شوند. هم‌زمان با به‌کارگیری روش‌های بازیابی سیستم‌عامل‌ها، مقاله‌ی آموزشی آنها نیز منتشر می‌شد.
در میان فایل‌سیستم‌های مشتریان ابر آروان، EXT4 سازگارتر و XFS و NTFS آسیب‌پذیرتر بودند.
در این لحظه امکان اعلام آمار دقیق از سطح آسیب به ابرک‌ها وجود ندارد، بخشی از ابرک‌ها بدون هیچ‌اقدامی امکان استفاده داشتند، بخش دیگری با Reboot و درنهایت ترمیم boot loader به مرحله‌ی استفاده می‌رسیدند و برخی نیاز به ترمیم فایل‌سیستم یا ریکاوری‌های پیشرفته‌تر دارند.
ادامه‌ی پنج‌شنبه – افزایش ۴ برابری ظرفیت تیم پشتیبانی به ۸۰ نفر
از ظهر روز چهارشنبه، تمام خطوط تلفنی ابر آروان و تمام ظرفیت تیم پشتیبانی برای پاسخگویی به مشتریان به‌کار گرفته شده بودند. با بازگشایی دسترسی کاربران در صبح روز پنج‌شنبه، ظرفیت تیم پشتیبانی با حمایت تیم‌های فنی و تیم‌های کوچ ابری، چهار برابر شد.
مشتریان فعال ابر آروان در دیتاسنتر IR-THR-AT1 در حدود ۷۰۰۰سرور ابری داشتند که تعداد ۱۱۰۰ سرور ابری از سوی مشتریان برای بررسی به تیم‌های فنی ابر آروان ارجاع شدند. از این تعداد، تاکنون مشکل ۳۰ درصد حل شده و مابقی همچنان در فرآیند حل مساله قرار دارند.
به‌رغم افزایش ظرفیت و پاسخگویی ۲۴ ساعته، حجم بالای مشتریان نیازمند کمک سبب شد فرآیند پاسخگویی و حل مساله‌ی آنان با کندی همراه باشد. در ادامه مشکلات پیش‌آمده در کلاستر در مقاطعی، فرآیند بازیابی را متوقف کرد.
ادامه‌ی پنج‌شنبه – پرداخت جبران خسارت (SLA) به تمام مشتریان زیان‌دیده با فرض حل مشکلات/ فراهم آوردن زیرساخت رایگان فضای ذخیره‌سازی ابری برای تسهیل فرآیند پشتیبان‌گیری کاربران
با تصور پایداری کلاستر ذخیره‌سازی در روز پنج‌شنبه، محاسبه‌ی مدت زمان دردسترس نبودن سرویس به نسبت هزینه‌ی ماهانه‌‌ی هر یک از مشتریان انجام، مبلغ آن محاسبه و بالاتر از سقف جبران خسارت تعهد شده، به کیف پول کاربران واریز شد.
به‌علاوه مبلغی که در روزهای قطعی از کیف پول کاربران کم شده بود، به حساب آنان برگردانده شد.
هم‌چنین فضای ذخیره‌سازی ابری تا پایان فروردین ۱۴۰۰ به‌شکل رایگان در اختیار تمام مشتریان دیتاسنتر IR-THR-AT1 ابر آروان قرار گرفت تا در فرآیند پشتیبان‌گیری با مشکل فضای ذخیره‌سازی مواجه نباشند.
نیاز به یادآوری است که قرارداد جبران خدمت متناظر برای جبران زیان زیرساختی است که سطح و میزان پوشش آن در شرایط استفاده و قراردادهای ابر آروان آمده است. اما ابر آروان براساس تجربه‌ی این اتفاق و عدم پشتیبان‌گیری دیتا از سوی تعداد بالایی از مشتریان، در تلاش است مجموعه اقدامات پیش‌گیرانه‌ای را به‌منظور سهولت تهیه‌ی نسخه پشتیبان، از سوی مشتریان در آینده فراهم کند.
متاسفانه روند روزهای آتی مشخص کرد که کلاستر ذخیره‌سازی با مشکلاتی همراه است.
برای آن دسته از مشتریانی که پس از بازگشت هزینه‌ی روزهای قطعی، همچنان برای دسترسی به ابرک خود با اختلال روبه‌رو هستند، پس از پایان حل مشکل، محاسبه مجدد انجام و به حساب آنان واریز خواهد شد.
جمعه ۲۹ اسفند – حجم درخواست بسیار بالای کاربران هم‌زمان برای بازیابی اطلاعات و بروز مشکلات زیرساختی
روز جمعه، هم‌زمان حجم بالایی از کاربران برای درست کردن فایل‌سیستم یا پشتیبان‌گیری دیتا مشغول به کار شدند. به‌دلیل مشکلات پیش‌آمده و ریکاور کردن کلاستر ذخیره‌سازی در یک فشار زمانی کوتاه، کلاستر موفق به تهیه‌ی سه نسخه از تمام داده‌ها نشده بود، هم‌چنین برای ساخت ابرک‌های جدید برای انتقال اطلاعات روی آن نیاز به فضای بیشتر بود و در نتیجه باید ظرفیت کلاستری که به‌سختی آسیب‌دیده بود نیز افزایش پیدا میکرد. برای رفع این مشکل، به میزان ۴۰۰ ترابایت استورج به کلاستر اضافه شد.
تزریق منابع جدید، یعنی وزن‌دهی دوباره‌ی دیسک‌ها (Rebalance ) که سبب درگیری شدید زیرساخت و قفل شدن کلاستر می‌شود. به همین دلیل، در روز ۲۹ اسفند، وضعیت بحرانی‌تر شد.
تیم فنی آروان که در بخش طراحی و مدیریت کلاستر ذخیره‌سازی فعالیت‌می‌کنند، یک تیم باتجربه و متخصص است، اما وضعیت حساس مشتریان ما در موقعیتی بود که برای سرعت‌بخشی به فرآیندها از هر کمکی استفاده می‌کردیم؛ در این مقطع چند متخصص باتجربه‌ی ایرانی برای انتقال تجربه، در کنار تیم ابر آروان قرار گرفتند، اما همچنان بهبودی در وضعیت کلاستر ایجاد نشد.
شنبه ۳۰ اسفند و یک‌شنبه ۱ فروردین – کمک تیم‌های آلمانی و ترکی و تداوم وضعیت کلاستر
در روزهای شنبه و یک‌شنبه، تلاش برای بهبود زیرساخت به‌منظور انجام سریع‌تر ریکاوری در حال انجام بود، با توجه به اینکه پارامترهای مختلفی از جمله زیرساخت شبکه، پارامترهای سیستم‌عامل و کانفیگ زیرساخت ذخیره‌سازی به‌طور مشترک نیازمند تغییر و بهبودسازی بود، فرآیند بازیابی سرورهای ابری متوقف و تمام تمرکز روی بهبود زیرساخت گذاشته شد.
در این مرحله با توجه به حجم بسیار بالای ریکاوری و فشار روی کلاستر و عدم تاثیرگذاری کانفیگ‌های انجام شده از تیم‌های متخصص آلمانی و ترکی برای کمک استفاده شد که اقدامات آنان نیز تاثیر چشم‌گیری در بهبود وضعیت نداشت.
دوشنبه ۲ فروردین – تلاش برای رفع مشکل کلاستر از طریق رفع اشکال نرم‌افزاری و اقدامات اولیه برای راه‌اندازی کلاستر جدید
به‌طور خلاصه می‌توان گفت مشکل اصلی کلاستر ذخیره‌سازی تاثیر تسلسل دو مشکل ReMirroring-Storm و یک Memory Leak در لایه‌‌ی نرم‌افزاری Ceph در شرایط خاص است، این مشکل هم‌افزا سبب به اغما رفتن کلاستر می‌شود.
پس از تلاش‌های ناموفق تیم ذخیره‌سازی آروان، هم‌چنین بی‌نتیجه ماندن نظرات مشاوران داخلی و خارجی، تیم System Development آروان در تلاش‌اند با Patch کردن این مشکل نرم‌افزاری و هم‌زمان افزایش منابع، مشکل را حل کنند.
با موفقیت آمیز بودن این فرآیند، آروان کد اصلاحی را به‌شکل متن‌باز منتشر خواهد کرد.
هم‌زمان که این فرآیندها برای ریکاوری در حال انجام است، یک تیم مستقل در حال برنامه‌ریزی برای راه‌اندازی کلاستر جدید و انتقال دیتاهای ممکن از کلاستر آسیب‌دیده به کلاستر جدید است. با توجه به حجم کار زیرساختی، این فرآیند احتمالن تا پایان هفته‌ی اول فروردین ادامه پیدا خواهد کرد.
اقدامات پیش‌رو
پس از حل مشکل کلاستر ذخیره‌سازی، به مشتریان درگیر اطلاع‌رسانی خواهد شد تا اقدامات مرتبط با پشتیبان‌گیری را انجام دهند.
ابر آروان مجموعه اقداماتی برای پیشگیری از بروز حوادث این‌چنینی، هم‌چنین موارد اصلاحی در دست کار دارد که پس از حل مشکل تمام مشتریان و رسیدن به وضعیت پایدار در گزارش تکمیلی آنها را به آگاهی شما خواهد رساند.
بار دیگر ضمن پوزش عمیق از اتفاق پیش‌آمده و آسیبی که به مشتریان رایانش ابری آروان در دیتاسنتر IR-THR-AT1 رسیده است، از همراهی و صبوری آنان سپاس‌گزاریم.
37 دیدگاه
سلام-خداقوت عزیزان-بسیار چشم انتظار پایان یافتن این Disaster هستم.امیدوارم بزودی و بصورت پایدار مشکل رو برطرف کنید.
در این برهه ی حساس ,از خداوند توان بیشتر و صبر و تلاش مضاعف رو براتون خواستارم.
انشالله موفق باشید دوستان برای مشتریان و کاربران همیشه توجه داشته باشید برای سرویس های با حساسیت بسیار بالا سرویس خودتون رو روی چند سرور قرار بدین به نظرم جالبه اگر بتونه ابراروان این ایده رو هندل کنه که همیشه سرویس فعال باشه حتی اگر یک دیتاسنتر منفجر هم بشه موفق باشید تیم اروان
مننظر اطلاعات فنی و دقیق تر در خصوص حمله انجام شده هستیم
درسته که نقص امنیتی وجود داشته ( من در این مورد تخصصی ندارم و صاحب‌نظر نیستم)، ولی از حق نگذریم روابط عمومی ابر آروان عملکرد فوق‌العاده‌ای داشته. ارائه گزارشات لحظه‌ای از جزئیات عملکرد‌های فنی و تخصصی در زمان بحران بهترین و درست‌ترین کار تیم روابط عمومیه. کاری که در شرکت‌های بزرگ دنیا هم دیده میشه. عملکرد تیم روابط عمومی ابرآروان تو این بحران واقعا ستودنیه و می‌تونه الگوی خیلی از شرکت‌های ایرانی باشه.
البته چنین اطلاع‌رسانی دقیق و لحظه‌ای در زمان بحران، در دنیا چیز عرف و معمولیه و آنچنان نیازی به تمجید نداره. ولی با توجه به فضای ایران و اونچه که از شرکت‌های ایرانی دیدیم و می‌بینیم، عملکرد روابط عمومی ابرآروان واقعا جای تحسین داره. مثلا شما مقایسه کن با عملکرد تپسی بعد از لو رفتن دیتابیس‌شون. واسه همینه میگم کارشون قابل تحسینه
??
واقعا چیزی ندارم بگم
ابرآروان رو دوست دارم… ولی آخه…
خواسته جامعه فنی در حوزه زیرساخت اینه کالبد شکافی دقیق اعلام بشه و هیچ بخشی مخصوصا بخش حمله سایبری پنهان نشه، یکی از مهمترین و بزرگتزین سرویس های ایران و حتی خاورمیانه به این شدت آسیب دیده و اطلاع رسانی شما شاید باعث بهبود وضعیت خیلی از سازمان های بزرگ و خصوصی ایرانی بشه حتی اگر در فارنزیک بشه فهمید قصد چی بوده، کار گروه خاص بوده یا …. خیلی به همه کمک میکنه . مشتریان حق دارند دقیق از موضوع حمله باخبر بشن، امیدوارم همینطور که به بحث پایداری توجه میشه به بحث امنیت هم رسیدگی و در آینده دپارتمان جداگانه ایجاد و تیم های با تجربه بالا در این حوزه بکارگیری بشه. سرویس ابری آینده ایران است و اولویت این سرویس با توجه به در دستر بودن بر بستر عمومی حتی داخل ایران امنیت است.
از سحاب پرداز کمک بگیرین اونا رو کلاستر سوارترن
سلام خسته نباشید میگم به تیم آروان
ابرآروان یکی از برند های معتبر کشورمون هستین و کمی قابل قبول نبود که برای چنین بحران هایی هیچ پیش بینی از قبل انجام نشده بود .
ای کاش که هرچه زودتر مشکل حل بشه و سرور ها به حالت عادی برگرده واقعا یک تایم طلایی برای فروش رو از دست دادیم و هزینه تبلیغات های اخیر به ضرر تبدیل شد .
پویا پیرحسینلو کارای سخت تر از این رو انجام داده
مطمئنم از پس این هم برمیایید
من پس از هک و داغون شدن دیتا از اسیاتک به مبین نت رفتم
ازتون خواهش دارم این اتفاقات برای مبین نت نیفته
دیگه تحملشو نداریم
خدارو کر بچه های سحاب پرداز ماهیگیری خوبی آن
شما به مشتریاتون برسین که شاکی آن برای هزینه های الکی که میکنند
از سحاب پرداز کمک بگیرین
من هم متوجه این موضوع شدم و کمی فکر کردم و دیدم با وجود کلمات عربی در فارسی، تنوین هیچ جایی در حروف الفبا و حروف صدادار ندارد و در مقطع اول ابتدایی هم تدریس نمی‌شود. پس یا صرفن اشتباه جا افتاده ست یا اشتباه از جای دیگری است.
سلام
لطفا متن را بدید یه نفر ویرایش املایی بکنه
دقیقن
حتا
لطفن
🙂
متن به اندازه لازم فنی نوشته نشده است.
تیم اعزام شده به دلیل خستگی بدرستی پچ نکردند؟؟ اولا این وظیفه مدیر تیم ها است که بفهمد چه زمانی ادمین اش بهروری دارد, چه زمانی ندارد, ثانیا شخصی که احساس خستگی میکند, سرکار چکار می کند؟؟!
جزییاتی (بسیار اندک) حاوی موارد امنیتی در متن وجود دارد.
همانطور که از متن پیداست, مشکل اصلی عدم کانفیگ صحیح و مقتضی خصوصا در لایه ی md و fs است.
پیشنهاد می کنم ابتدا در خصوص fs ها و حتی part table ها تجدید نظر فرمایید, ثانیا به یک abstract leyar فکر کنید
به امید موفقیت و بهروزی…
سلام و خداقوت به همه شما
انشالله که این مشکل حل میشه و با قدرت قوی تر شروع خواهید کرد ….
سلام. من خودم به تنهایی از این اتفاق درس بزرگی گرفتم و آن هم اهمیت بسیار بالای بکاپ هست. به همین خاطر طی این چند روز برای کسب و کار خودم بکاپ رو از طریق minio پیاده‌‌سازی کردم. حتی طی این چند روز میخواهم replicate را هم به کار بگیرم. ممنون میشوم ما را بیشتر در جریان مشکل بگذارید تا بتوانیم فرآیندهای خود را اصلاح کنیم و جلوی اشکالات آتی را بگیریم.
درود بر شما
فکر میکنم خیلی ها از جمله خود من دوست داشتن که یک جوری به شما کمک کنند ( حتی شاید با تلفن جواب دادن ) چون برای ماها که تقریباً همکاریم، این مسئله واقعا دردناکه و دوست داشتیم کنارتون باشیم
کاش راهی معرفی میکردید
امیدوارم دیگه برای کس دیگه ای پیش نیاد و همه جوانب برای پیشگیری از موارد مشابه در نظر گرفته بشه
خدا قوت
سلام
خداقوت
انشاالله با دقت و بصیرت بتوتید زودتر از این مشکل بگذرید
و براتون تجربه ای بزرگ و خاطره ای ماندگار هر چند سخت باشد
شفافیت و صداقت شما مهم ترین داشته شماست مراقبش باشید
سلام من خودم میزبانی وب می کنم و تنها از سرویس دی ا ن ا س استفاده می کنم.
نظر کلی من اینه که مشتریان باید برای دیتای خود جدا از بک اپ های میزبان بک آپ بگیرن . که متاسفانه تو ایران مشتریان توجه به این موضوع ندارند یا حداقل نمی خواهم هزینه سرور یا سرویس های بک آپ را بدهند.
در کل حوادث اتفاق می افتاد .
مهم اینکه مشتریان صبور باشند و همراه و پرخاشگری نکنند.
Do your best, everything gonna be ok
باسلام من اخرسال دچار مشکل مشابه شدم با مهندس زاهدی تماس بگیرید
۰۹۱۲۱۵۷۱۲۶۷
جالبه که توی نظرات هم می خونیم کم تر کسی به امنیت اهمیت میدن و همش در حال صحبت کردن در مورد کلاستر و زیرساختن البته امنیت همیشه کم اهمیت بوده. لطفا ابر آروان نظرات رو پاک نکن و کارشناس امنیت استخدام کن و مدیران لایق رو برای این کار بزار ابر آروان درس بگیر
کلا تو ایران وقتی یک سازمان خصوصی یا دولتی وقتی مورد حمله قرار میگیره هیچ خروجی از نوع APT اعلام نمیکنن تا بقیه از تجربیات اونها استفاده کنند و یا بگردن تو شبکه خودشون شاید همچین اتفاقی در حال رخ دادن باشه که بتونن زودتر جلوگیری کنن.نمونه بارزش همین اواخر سازمان بنادر که منفجر شد ولی خبری نشد که نشد.
سلام و خداقوت
من اخبار ابرآروان را دورا دور از مدتها پیش پیگیری میکردم و شنیدن این خبر تاسف بار بود ضمن اینکه عرض میکنم لطفا بقیه از این شرایط ماهیگیری نکنند چرا که ابر آروان از اولین های ورود به این عرصه بوده و چه بسا این اتفاق ممکن بود برای هر شخص یا شرکت دیگر هم رخ دهد… حتما ابر آروان تازه با این اتفاق در آینده قابل اعتماد تر خواهند بود لذا صاحب تجربه ای شده اند که باید برای آن مدیریت دانش درست و تجربه ای گرانبها کسب کرده باشند…
به نظرم در این صنعت که برای فناوری کشور ما عمر کوتاهی دارد چنین تجربه ای لازم بود تا این گروه و سایر گروه های همکار عمیقا به جوانب و اهمیت کار فنی خود پی ببرند و آینده را با همه ریسک های روز افزون آن بهتر آغاز کنند … موفق و پیروز باشید
سلام… یک نکته… چند هفته پیش همه مطلع شدیم که سرویس بسیار پرقدرت آوتلوک مایکروسافت نیز مورد حمله قرار گرفته است و مایکروسافت مجبور شد برای اکسنج خود یک به روز رسانی بسیار مهم بدهد… پس حمله و حذف اطلاعات در دنیای آیتی برای بزرگان هم اتفاق می افتد و طبیعی است… اما نکته ای که تیم ابرآروان به آن توجه نمی کند و بنده به عنوان یک مشتری بارها و بارها به آنها تذکر داده ام بحث پشتیبانی و پاسخگویی است.
ابرآروان برای هر یک کلمه ای که می خواهد به مشتری پاسخ دهد پول میگیرد اما در انتها پاسخش بدرد نمی خورد. زیرا اولا در لحظه و یا بهتر است بگویم به موقع نیست ثانیا کاربردی نیست. اگر شما پاسخگویی و پشتیبانی خود را قوی تر کنید مردم با مشکلاتی که در آیتی پیش می اید و روال کار است راحت تر کنار می آیند.
اتفاقات اخیر و مصاحبه های مدیران ارشد آروان با برخی از سایت های غیر ایرانی شایعات مربوط به تلاش اونها جهت مهاجرت با اخذ پناهندگی رو تقویت کرد (:
با سلام و احترام برای ما مهم نیست دارند چیکار می کنن سیستم رو سالم و بازیابی شده تحویل بدهند و کسانی هم که به نفع آروان نظر دادند معلومه از کارکنان خودشون هست چرا برای خیلی از جاها که سرویس ارائه کردند و می دونن ارگانهای مهم هستند اتفاقی نیفتاده و چرا کسی که خسته هست تنظیم سیستم به این مهمی میزنه و اشتباه می کنه مگر مردم علاف شما هستند
دوستان عزیز ابرآروان .
من خودم تجربه کار در زیرساخت بانک‌های کشور رو دارم . البته اونها روی vmware کار می کنن و فعلا روی کلود نرفتن …. . اما یه تجربه خوب دارم اونم اینه که تو یکی از بانک‌ها ما تجربه اجرای خشم شب رو داشتیم . یعنی چی یعنی سرورهای عملیاتی رو خاموش می کردیم ببینم در صورت بروز اتفاق چیکار میتونیم بکنیم . هر چند تو همین مانور تستی هم یه دیزاستر بد افتاد اما خیلی به سر پا بودن بانک کمک کرد . واقعا میگم شما اگه می خواهید واقعا اسم کلود روتون باشه میتونید با فراهم کردن شرایط یهو بزنید سروهای یه دیتا سنتر تونو خاموش کنید و این چنینی تستها . ببنید واقعا تا چه حد میتونید سریع برگردید و . .. البته از دوستان من هم اونجا هستن اگه کمکی خواستین می تونم در خدمتتون باشم تو این چند روزه تعطیلات
کار ابر آروان قابل تحسین است و تیم قوی و خوبی هم دارید
اما در تیم خود حتما یک نفر که با زبان فارسی بیشتر و نوشتار آن آشنایی دارد هم قرار دهید
متنتان پر است ار غلط های املایی برای شما زشت است دوستان.
وقتی یه زیرساخت انقدر ضعیفه چرا ارائه میدین
چرا همیشه صبر میکنید یه بلایی سرتون بیاد و درس بگیرید
به قول خودشون زیرساخت انقدر ضعیف بوده که اگه ارتباط را قطع نمیکردن این روند ادامه داشته
این دقیقا منو یاد بی سواد هایی مینداخت که وقتی سیستمشون هنگ میکرد از برق میکشدن بیرون !!!
یه زمانی من از کلود هتزنر استفاده میکردم وقتی به یکی از دوستان گفتم میخوام بیام رو اروان بهم گفت دیوانه شدی , اینا که زیرساخت درست حسابی ندارن همونجا بمون
الان که داده ها رو هواست میفهمم راست میگفت
کاش تیم فنی‌ش هم به اندازه تیم گرافیک و UIشون قوی بود.
کاش یه خرده از showoff و ظاهر کم بشه به بک‌بن کار اضافه بشه.
کاش حرف‌هامون شبیه اعمالمون باشه یا عملمون شبیه حرفمون.
ظاهرن فقط برای رابط کاربری ابر آروان کار کردین و اصلن روی انتخاب کارشناسان تمرکز نداشتین. “خستگی!”
اتفاقی که افتاد نشون داد باید دست از “Cool ” بازی بردارین و شو آف نکنین جاش رو زیرساخت ها و انتخاب متخصصین وقت بگذارین. به هر حال امیدواریم بتونین بعد از این واقعه کسب و کارتان را نجات بدین
سلام
خسته نباشید به تیم آروان که جدای از مشکلات فنی پیش آمده . با مشکلات تفکرات اشتباه بعضی از ما مردم دست و پنجه نرم میکنن و این دور از انصاف هست
قطعا حملات بدتر از این هم تا به الان به ابر آروان شده ولی کاربران آروانی متوجه نشده باشن! چون همین تیم فنی جلوی حمله رو گرفته….
حتی در حمله اخیر به نظرم خیلی سریع اقدام کردن وگرنه میتونست بیشتر و بدتر از این اتفاقات رخ بده و این سرعت عمل قابل تحسین هست . متاسفانه اکثر این تهدیدات به خاطر عامل انسانی رخ میده(پیکربندی اشتباه یا…. ) اینطور که در گزارش اعلام شده،خستگی کارشناسان باعث این اشتباه در پیکربندی زیرساخت اون دیتاسنتر شده . (البته از آروان هم در این سطح کاری انتظار میره که جلوی این مشکلاتی که عامل انسانی درونش دخیل هست رو بگیره )
باز هم به تیم آروان خسته نباشید میگم ، خدا قوت
خیلی سریع اقدام کردن
در حدی که ابرک و 3 بکاپ اون از بین رفته …
مثلا کند عمل میکردن چی میخواست بشه ؟
3000 بیزینس از بین رفته شما داری خدا قوت و تشکر میکنی ؟
این پیامارو کی میزاره ؟