Все вы знаете, что я занимаюсь бизнесом в Интернете. Недавно с моим самым большим проектом, который ежедневно посещает около 150 000 человек в день, случилось одно приключение, о котором я хотел бы вам поведать. Чтобы вы могли, так сказать, влезть в шкуру предпринимателя.
Что ж, начнём.
Когда у вас проект на 4,5 млн. уникальных посещений в месяц, да ещё и с активными действиями пользователей внутри, то это перестаёт быть похожим на поддержку привычных простеньких сайтов и блогов.
Ваш сайт, который ещё недавно требовал оплаты хостинга на пару сотен баксов в месяц, превращается в подобие космического корабля.
Я говорю абсолютно серьёзно: разработка и поддержание highload-проекта (то есть, высоконагруженного), это точь в точь, как запуск ракеты.
Все системы должны быть задублированы, а ещё лучше — утроены. На случай каких-либо сбоев. Кроме того, каждая система вашего сайта должна содержать в себе подсистему контроля за правильностью её работы, которая, в идеале, также должна быть задублирована. В общем, как я уже сказал, как в космическом корабле: всё дублируется, всё проверяется и потом ещё раз перепроверяется. На любое отклонение от нормы есть сотни различных уведомлений и круглосуточный дежурный в посменном формате.
Так вот, когда вы внедряете подобную систему, то оплата хостинга составляет уже не 200-300 долларов в месяц, а все 8000-10000$. Ведь все системы проверки тоже очень активно кушают ресурсы.
И не забывайте о возросших затратах на администрирование ваших серверов и круглосуточную работу живого человека, который должен держать всё это на контроле.
Имея уже 10-летний опыт копошения в этом Rocket Science, начинаешь выбирать хостинг-провайдера очень специфично. Когда вы хотите сделать дубль вашей системы в другом вычислительном центре, вы начинаете выяснять, не находятся ли они в одном районе города с текущим (возможность отключения света во всем районе), какие у них есть резервы по увеличению мощности при необходимости (при наплыве трафика вы просто не сможете быстро докупить мощностей), из каких материалов и как именно построены их центры (риск возгорания), не подключены ли они к одному и тому же провайдеру интернета (отрубится сразу у всех). В общем, со стороны можно подумать, что ты просто становишься психом, узнавая такие подробности.
Но практика показывает, что всё это не зря. Примерно полгода назад в нашем проекте случился «идеальный шторм». На тот момент мы имели двойную резервную копию системы на случай неполадок. То есть, всё дублировалось в реальном времени дважды. Это значит, что за 10 минут можно переключиться с «упавшего» хостинга на резервный и пользователи, практически, ничего не заметят.
И вот, у основного хостинга случился пожар (натурально загорелись сервера) и всё «упало». Наш сотрудник, по инструкции, перекинул сайт на первую резервную копию у другого хостинг-провайдера. Эти провайдеры находились в одном районе города. Пожар и перегрузка, связанная с ним, вызвала перебои электричества во всём районе. В результате чего, у второго провайдера также начались проблемы с доступностью.
Пришлось переходить на последнюю резервную систему. Ради экономии, она была меньшего размера и когда на неё хлынул трафик — начала жёстко «виснуть». Мы думали, что легко сможем её масштабировать за пару минут (просто доплатив), но оказалось, что у этого провайдера просто нет мощностей в резерве.
В итоге, со всем нашим двойным дублированием мы оказались в полной жопе. Сайт сильно тупил (хоть и не ушёл в офлайн) и Google уже через 12 часов отреагировал на это, начав снижать нам SEO-трафик. В общем, сутки героической работы нашей команды помогли восстановить работоспособность, но эти простои, безусловно, вызвали у компании финансовые потери.
После этого мы стали использовать больше «облачных» технологий. Но и там далеко не всё идеально, друзья :)
Поэтому, когда меня спрашивают, каково это — работать с highload-проектом — я отвечаю, что это как-будто вы каждую неделю запускаете человека на Луну.
Часть вторая. Облачный хостинг
Текст выше, о проблемах создания и поддержки высоконагруженных систем, вызвал большой интерес среди подписчиков. Многие спрашивали подробности, задавали вопросы о том, почему мы не так активно используем «облачную» инфраструктуру.
Думаю, можно рассказать и об этом круге ада :)
Основная идея «облачной» инфраструктуры в том, что у вас нет привязки к физическим серверам (собственным или арендным). Вы можете докупать мощности по факту необходимости.
У вас начался сезон, произошло какое-то хайповое событие, блогер репостнул ссылку на вас?
В случае физического сервера сайт бы моментально «нагрузился» и начал «выпадать» в ошибки. В случае же с «облачной» инфраструктурой, провайдер просто автоматически выдаёт вам больше мощности и ваш сайт продолжает «жить». Просто, по итогам месяца, вы заплатите больше денег.
Это, кстати, удобно ещё и в том плане, что дополнительная плата взимается по дням (а иногда — даже и по часам). Так что, в случае необходимости, вы можете получить такие мощности, будто бы у вас оборудование стоимостью в миллионы долларов. Но, так как используете вы его всего несколько часов, выкладывать за него огромные деньги не приходится.
Казалось бы, звучит всё очень красиво. Но что на деле?
Все, кто работает с хоть сколько-нибудь крупными проектами в Интернете, знают, что этот самый Интернет кишит:
- 1. Парсеры. Какие-то школьники постоянно пытаются спарсить с твоего сайта какую-нибудь информацию и сделать свою поделку, чтобы заработать 3 цента на тизерной рекламе. Поскольку эти парсеры, обычно, работают достаточно топорно, то подобный сбор данных с сайта может моментально его «перегрузить» (так как программа-парсер начнёт открывать по 1000 страниц в секунду). По факту, получается полноценная DDoS-атака.
- 2. DDoS-атаки. Это происходит повсеместно. Они запускаются настолько легко и при этом так хорошо бьют по неподготовленному конкуренту, что DDoS — это реальность, с которой приходится работать практически каждый день.
- 3. Фермы троллей. Забавно наблюдать, как тысячи живых людей (анализ их поведения говорит о том, что это не боты), словно по команде, прибегают на сайт с российских IP и начинают активно обсуждать президента США или губернатора Калифорнии. И это было бы смешно, если бы не осознание того, что на такие вот «проказы» в России тратятся миллиарды бюджетных денег. Вместо постройки больниц, дорог и школ.
- 4. «Майнеры». После того, как криптовалюты стали популярны и появилась возможность заработка на «майнинге», в Интернете появилось множество хакеров, которые пытаются впихнуть вам в компьютер, смартфон или сайт какую-нибудь программульку-«майнер», которая будет пожирать ваши мощности ради «майнинга» 3 копеек какой-нибудь никому не нужной криптовалюты. Уязвимости в защите сайтов или мобильных приложений будут всегда, так что вам постоянно нужно держать это в голове, проводить проверки, делать поиск таких вот цифровых паразитов.
Так вот, с набором всего вышеперечисленного, представьте, что вы используете у себя гибкость «облачных» технологий по полной. То есть: ни о чём не паритесь, а в конце месяца провайдер выставляет вам счёт по факту использованных услуг.
Десятки злоумышленников ежедневно пытаются урвать от вас кусочек и получается ситуация, когда вы, внезапно, можете получить счёт в 10 или даже 50 раз выше привычного. Мне известны случаи, когда людям даже приходилось банкротить компании, после того, как с ними происходила подобная «неожиданность». Забавно, что системы защиты от «ддоса», троллей и прочего — тоже «облачные». И тоже рассчитывают стоимость по факту потребления трафика, который пришёл к вам на сайт за месяц. Так что, даже система защиты может точно так же обанкротить вас или вашу компанию.
Часто получается, что выгоднее дать сайту «полежать» и разобраться с проблемой руками, чем потом думать, что делать со счётом за «облачный» хостинг в 100.000 долларов.
В общем, если в первой части я проводил аналогию разработки и поддержки нагруженного проекта с запуском космической ракеты, то тут процесс борьбы можно сравнить с ежедневной войной против партизан, засевших в джунглях Вьетнама.
Автор: Диджитал Доктор.