Наконец-то мои проекты избавились от рабства облаков




Избавиться от постоянной 503 504 ошибки на картинках.
То о чем меня часто просили читатели. То, о чем меня просили знакомые.
Но историей повелось, что я всегда за модные технологии. И считал что трехкратное резервирование CDN и все такое — лучше для проектов. Но на деле оказалось далеко не так.




Знатные извращения с storage

Вебмастерское
Хотите расскажу историю — как поддерживать Историю в интернете не просто :) И идти в ногу со временем тоже. Хотя, в 2012 я уже писал про это, когда менял блоги, закрывал старое, открывал новое, осознавал что CMS это мебель для складирования информации по полочкам.

Так вот, в этот раз я расскажу про модное слово stoarge.
Было время 2010 года, все картинки закачивались в корень сайта /uploads и я никогда проблем не испытывал.
Но потом я стал изучать хостинги. Да и в 2011 были случаи что ресурсов стало не хватать для банального бложека.
Вообщем я стал задумываться о бекапах к тому времени. И как оказалось, чем больше размер сайта, тем бекап хуже, большие архивы в то время ISPmanager панель не переваривала. Историю пути хостинга я рассказывать тут не буду, она описана в разделе «хостинг» на этом блоге 2010-2011, а потом мигрировала на obzor.ly 2012 => hostsuki.pro 2013 => hosting.kitchen 2015 и другие. Но ISPmanager с ее возможностью раздавать пользователи знакомым из интернета явно сподвигнула меня к изучению этой тематике, все было очень по нубски и банально.

Итак. Я стал думать как уменьшить вес сайта. Написал даже в 2012 статью, что за этим будет будущее хостинга, если помните.
В livestreet к тому времени как раз написали плагин для amazon-s3. И я начал его использовать. Но потом вышли новые версии LS и как-то он плохо стал работать. Да и в РФ появились аналоги storage. Хороший человек keXek являясь программистом переделал его для selectel. Плюс у livestreet загрузчика была проблема — он урезал картинки, не умел делать первью+ориганал. Это было очень убого, просто говно, ведь я писал про аниме в те года много.

Поэтому я извратился вот так. Я устанавливал на хостинги/vds/дедики скрипт пикче-хостинга, который опять же показал в прошлом kexek — Чеверлето. Направлял туда какой-ниб поддомен и туда ставил. И закачивал туда, а в блогах публиковал html ссылки первью+оригинал. Но так как все это нужно было бекапить, то обычно более 5 ГБ я не набирал. Как только 5 гб засиралось, я скидывал этот поддомен в storage :) Вручную. И поэтому Selectel с их FTP доступом было предпочтительнее. В итоге я наплодил дохуища десятка поддоменов. И все было бы отлично.

Но потом пришло ssl, пришел гугл который сказал — все нахуй, все сайты должны быть с SSL и только с SHA2. Но в то время не существовало бесплатных сертификатов от китая или мозиллы, были платные. Да и хостинг отрасль по заработку не была особо развита у меня, не то как сейчас в 2015. Поэтому короче делать на каждый поддомен с кучи разных доменов по платному сертификату я тогда не стал, не рационально было тратить деньги.

Но извратился тем, что купил один домен с сертом и залил его в storage. abcdusercontent.com который победил по стандарту, все таки Гугл создал целый Стандарт в индустрии.
Встала очередная проблема замены картинок и сохранения истории. Все эти поддомены нужно было передублировать на новый домен. Это была адская работа на всех проектах переводить. Особенно геморой был в том, что использовалось куча куча доменов/поддоменов, которые на память уже и не вспомнить, хронологии менялись много раз, вместе с модой и новыми покупками доменов. Но я справился :)

И теперь кстати еще одна ирония — с 2014 пошли новые модные домены. И тот домен который я купил с сертом на 5 лет — морально устарел ) Сейчас для картинок должно быть abcd.media к примеру и только так. Или pics pic зоны. Ну по смыслу, не зря же новые домены выпускают, всему Свой Смысл. И на каждое storage географически раскидано, типо как *регионы.amazon.abcd.media *регионы.google.abcd.media
И снова нужно все переводить, плюс в обязательном порядке с SSL и чтобы все было по стандарту.
НО я уже заметил проблему — wildcard сертификаты не умеют работать с поддоменами третьего четвертого и выше уровней. Поэтому опять похоже придется извращаться в словах, в локациях, придумывать какую-то систему и маркировку. Кстати, а теперь умножьте маркировку storage на 10 где-то — вы получите маркировку моих проектов, одно только network по дата-центрам чего стоит. Чтобы изучить всю логику которую я налепенил за последние 5 лет, ну наверно не одна неделя уйдет, никто кроме меня не сможет познать всю Интернет систему что я создаю, и это печально, иногда хочется показать достижения, но их уже не описать за пару часов.

И еще кстати когда умирало clodo storage я тоже заебался оттуда выкачивать. А вот в бесплатном sites.google все живо и по сей день.

Ну как, похуисты? А вам слабо так? )) Вот как нужно любить свои сайты и интернет. Каждую картинку восстанавливать, не сдаваться. Если требуется 5 раз перечитать все блоги — значит придется потратить 5 дней и перечитать.

В будущем нада попросить kexek написать плагин, который бы заливал сразу на несколько регионов, сразу в 3 storage. Вот тогда можно не беспокоиться о бекапах, думаю.

Ну и заключение этой истории о похождениях гемороя — в мире хостинга нельзя верить никому, верить можно только в свои бекапы и подстраховки которые ты создаешь. А если ты не делаешь не того, ни другого, то ты просто похуист который наверно еще и спамом зарастает. И уж точно поленится потратить кучу времени на картинки, а я бы за картинки поубивал, они ценнее кучи денег для меня, если они исторические и неповторимые.

Отличный подарок сделал мне kexek

Вебмастерское
Написал наконец-то модуль для livestreet. И теперь на всех моих проектах LS, картинки будут заливаться в selectel storage.
Он уже пробовал свои силы в начале этого года.
Я до этого пользовался плагином amazon s3, но для 1.0 версии его не перевели. Потом создали какой-то новый, но он тоже не идеален оказался.
И опять на многих доменах стал зарастать /upload/, а потом его ручками приходилось переносить.

Но теперь снова — все шикарно. kexek няшечка ;)

Еще одно storage, теперь от Selectel

Хостинг

До этого для меня существовали аналоги лишь amazon s3 и clodo storage.
Амазон из-за методов оплаты не всегда нравился. А клодо из-за проблем с кешем не было идеальным. Остальные для меня как-то прошли мимо, отпугнула либо сложная регистрация, либо опять же методы оплаты, либо просто да ну его нахуй всякие там Rackspace тестить, не по пути.

Чтож. Протестируем теперь Selectel :)

Итак что я вижу из преимуществ. Более низкая цена, депминг. Но storage итак копейки собирало, так что для меня это не важно.

И главное — доступ по FTP. Людям которым я рекомендовал всякие storage в 80% было просто лень устанавливать какие-то сранные клиенты для закачки, а через флеш загрузчик большие файлы было не залить. Из-за этого очень дохуя моих знакомых — не понимало прелести storage, а теперь я знаю какие данные им давать. Банальное FTP.
И еще вот возможность прикрепить к одному хранилищу 5 поддоменов — это удобно.

Например у меня 5 проектов и раньше мне приходилось, к каждому создавать по своему хранилищу, они накапливались, доступы тоже копились. Но главное это расход за хранение. Например 1 из 5 юзается активно, а 4 очень редко и мне приходилось все равно платить за это, даже если там было 50-100мб, а не 1ГБ как минималка. А теперь я могу прилепить 5 поддоменов к 1 хранилищу и платить только за его одно. Вот в этом я вижу себе профит, ибо как вы знаете люди похуисты, им создаешь, а они не юзают, а кол-во «создаваемого» лишь увеличивается и копится.

Вот как-то так. Осталось лишь потестировать качество услуги.

уведомление с твиттора пришло, упомянули @404666

Общий раздел
Все наверно заметили, что на alice2k.me больше ничего не льется. Где-то с весны на всех моих livestreet аплоад сразу льется в амазон.

Но вот, старый мусор висел. И вот в апреле наконец руки дошли и старый скинуть в "архивное".
Весь мусор, что был по alice2k.me/uploads стал теперь вида img.alice2k.ru/uploads
Теперь ежедневный бекап очень маленький по времени, да и трафик лишний не пожирается при бекапе.


Как я уже писал, будущее сайтов, с появлением кучи стабильных/надежных и дешевых файлопомоек, как мне кажется, весить не более 1ГБ.
*И с 2012, всех кого я хостю, я собираюсь приучить к этому и хостить их проекты, которые «не мусор» подобным образом. Т.е. шаред хостинг у меня такой вот будет, с согласием на подобные изменения.

Кстати, если кому-то интересно, то ftp 40мб двигло и плагины, а sql alice2k.me — 37мб, а если бы я использовал wordpress как в старые добрые, то была бы уже около 100 наверно.
Итого alice2k.me весит 80мб :) ну и около 6 гб картинок, на разных поддоменах, на clodo storage, где я плачу всего ~15р/мес где-то за весь их трафик и 42р/мес за хранение этих 6гб.
Читать дальше →

публичный ssl storage

Вебмастерское
Как-то я хотел себе установить на a404.ru ssl же, если помните.
Но зелененький значек тут уже не сделать, ибо слишком много мусора с внешних ресурсов. Тут я передумал.
НО с того дня, я задумался, что для новых проектов и доменов, нада бы зарание складировать на защищенные файлопомойки.

И вот, сделали.
Спасибо keXek за помощь.

ssl.abcd.bz
Загрузка по ссылкеup.abcd.bz/ssl/

можете юзать и для своих нужд и своих доменов, где ssl. это публичный сервис.
хранится все это в clodo storage, поэтому жить будет вечно.

Скоро на clodo.ru будет возможность ssl на storage

Вебмастерское


Т.е. уникальное решение для всех проектов, которые хотят иметь зеленый ssl, но в тоже время раскидывать статику.

Создаете там хранилище. Направляете поддомен или целый домен. Покупаете ssl на него. (экономия в том, чтобы не делать лишних поддомен+ssl для каждого проекта, и профит в том, что еще и нагрузку распределяете)

Потом, делаете ваши домены, где будет ssl. Настраиваете их так, что все ОК. А в движках просто ссылку/upload на свое защищенное storage лепите. Все картинки будут литься туда. Для каждого проекта можно сделать свой каталог, какой-ниб например storage.alice2k.ru/a404ru/
А в домене запрещаете вставку дерьма, с чужих ресурсов. Все дела.

Еще, как варианты, использовать такой фото-хостинг как flickr.com, который оказывается всю свою статику держит на домене, на который куплен сертификат с поддоменами. (ну есть дешевые сертификаты, которые защищают или домен или поддомен, а есть дорогие которые защищают весь домен и все его поддомены)
Вот, посмотрите как они это сделали.
https://farm6.staticflickr.com/5121/5333519901_5d32e303de_b.jpg
поддомен farm6(например хранилище №6 я полагаю), с домена для статики staticflickr.com, на который куплен ssl

И уже непосредственно в движках, переписываете модули загрузки. Чтобы лилось в платный аккаунт flickr.
Этот вариант дешевле в разы. Не нужны расходы на ssl, и на storage. НО геморой в том, чтобы написать все это. Поэтому мне нравится вариант выше, который я описал. Именно так и сделаю, когда услуга заработает.

storage

Хостинг


Если у вас имеется, нагруженный проект. Или очень много img мусора накопилось всякого, и вы хотите избавиться от него.
Можете у меня попросить, за спасибо.

Создам вам Cloud Storage, Amazon S3, или Selectel storage
т.е. я создаю хранилище, вы направляете поддомен, какой-то. ну или отдельный домен, если вам не жалко.

От балды не раздаю.
Поэтому кто будет, просить, сразу пишет под какие проекты нужно.