На чем написаны одноклассники
Архитектура и платформа проекта Одноклассники
Архитектура и платформа проекта Одноклассники
В этом посте расскажем о накопленном за 5 лет опыте по поддержанию высоконагруженного проекта. Надеемся, что коллегам-разработчикам будет интересно узнать, что и как мы делаем, какие проблемы и трудности у нас возникают и как мы справляемся с ними.
Базовая статистика
До 2.8 млн. пользователей в онлайне в часы пик
7,5 миллиардов запросов в день (150 000 запросов в секунду в часы пик)
2 400 серверов, систем хранения данных
Сетевой трафик в час пик: 32 Gb/s
Архитектура
Слоеная архитектура:
• presentation layer (презентационный слой или попросту WEB сервера, формирующие HTML)
• business services layer (сервера, обеспечивающие подбор и обработку данных)
• caching layer (кеширование часто используемых данных)
• persistence layer (сервера БД)
• common infrastructure systems (системы логирования статистики, конфигурации приложений, локализация ресурсов, мониторинг)
Презентационный слой:
• Используем свой фреймворк, позволяющий строить композицию страниц на языке JAVA, используя собственные GUI фабрики (оформление текста, списки, таблицы, портлеты).
• Композиция страниц состоит из независимых блоков (обычно портлетов), что позволяет обновлять информацию на экране частями, используя AJAX запросы. Такой подход к навигации позволяет избавиться от постоянных перезагрузок страницы, тем самым важные функции сайта (Сообщения, Обсуждения и Оповещения) всегда доступны пользователю. Без javascript страница полностью работоспособна, кроме функциональностей, написанных на GWT — при переходах по ссылкам она просто полностью перерисовывается.
• Функциональные компоненты как Сообщения, Обсуждения и Оповещения, а также все динамичные части (шорткат меню, фотометки, сортировка фотографий, ротирование подарочков) написаны, используя фреймворк Google Web Toolkit.
Подбор, обработка и кеширование данных:
Код написан на Java. Есть исключения – некоторые модули для кеширования данных написаны на C и C++.
Java потому, что это удобный для разработки язык, много наработок в различных сферах, библиотек, open source проектов на Java.
На уровне бизнес логики располагаются порядка 25 типов серверов/компонентов и кешей, которые общаются между собой через удаленные интерфейсы. Каждую секунду происходит порядка 3 000 000 удаленных запросов между этими модулями.
Для кеширования данных используется «самописный» модуль odnoklassniki-cache. Он предоставляет возможность хранения данных в памяти средствами Java Unsafe. Кешируем все данные, к которым происходит частое обращение. Например: информацию из профайлов пользователей, группы пользователей, информацию о самих группах, конечно же, граф связей пользователей, граф связей пользователей и групп, праздники пользователей, некоторую мета информацию о фотографиях и т.п.
Для примера, один из серверов, кеширующий граф связей пользователей, в час пик способен обработать около 16 600 запросов в секунду. CPU при этом занят до 7%, максимальный load average за 5 минут — 1.2. Количество вершин графа > 85 миллионов, связей 2 500 миллиона (два с половиной миллиарда). В памяти граф занимает 30 GB.
Распределение и балансировка нагрузки:
• взвешенный round robin внутри системы;
• вертикальное и горизонтальное партиционирование данных как в базах данных, так и на кеширующем уровне;
• сервера на уровне бизнес логики разбиты на группы. Каждая группа обрабатывает различные события. Есть механизм маршрутизации событий, т.е. любое событие (или группу событий) можно выделить и направить на обработку на определенную группу серверов.
Управление сервисами происходит через централизованную систему конфигурации. Система самописная. Через WEB интерфейс можно поменять расположение портлетов, конфигурацию кластеров, изменить логику некоторых сервисов и т.д. Измененная конфигурация сохраняется в базе данных. Каждый из серверов периодически проверяет, есть ли обновления для приложений, которые на нем запущены. Если есть – применяет их.
Данные, сервера БД, резервные копии:
Общий объем данных без резервирования – 160 TB. Используются два решения для хранения и сервирования данных – MS SQL и BerkeleyDB. Данные хранятся как минимум в двух копиях. В зависимости от типов данных, копий может быть от двух до четырех. Имеется ежесуточный бэкап всех данных. Каждые 15 минут делаются резервные копии накопившихся данных. В результате такой стратегии резервного копирования максимально возможная потеря данных – 15 минут.
Оборудование, датацентры, сеть:
Используются двухпроцессорные, 4-х ядерные сервера. Объем памяти от 4 до 48 GB, в зависимости от функционала. В зависимости от типов и использования данных, они хранятся либо в памяти серверов, либо на дисках серверов, либо на внешних системах хранения.
Все оборудование размещено в 3 датацентрах. Всего около 2 400 серверов и систем хранения данных. Датацентры объединены в оптическое кольцо. На данный момент на каждом из маршрутов емкость составляет 30 Gb/s. Каждый из маршрутов состоит из физически независимых друг от друга оптоволоконных пар. Эти пары агрегируются в общую “трубу” на корневых маршрутизаторах.
Сеть разделена на внутреннюю и внешнюю. Сети разделены физически. Разные интерфейсы серверов подключены в разные коммутаторы и работают в разных сетях. По внешней сети WEB сервера, общаются с миром. По внутренней сети все сервера общаются между собой.
Топология внутренней сети – звезда. Сервера подключены в L2 коммутаторы (access switches). Эти коммутаторы подключены как минимум двумя гигабитными линками к agregation стеку маршрутизаторов. Каждый линк идет к отдельному коммутатору в стеке. Для того, чтобы эта архитектура работала, используем протокол RSTP. При необходимости, подключения access коммутаторов к agregation стеку осуществляются более чем двумя линками. Тогда используется link aggregation портов.
Agregation коммутаторы подключены 10Gb линками в корневые маршрутизаторы, которые обеспечивают как связь между датацентрами, так и связь с внешним миром.
Используются коммутаторы и маршрутизаторы от компании Cisco. Для связи с внешним миром мы имеем прямые подключения с несколькими крупнейшими операторами связи
Сетевой трафик в часы пик – 32 Gb/s
Система статистики:
Существует библиотека, отвечающая за логирование событий. Библиотека используется во всех модулях. Она позволяет агрегировать статистику и сохранять ее во временную БД. Само сохранение происходит с помощью библиотеки log4j. Обычно храним количество вызовов, максимальное, минимальное и среднее время выполнения, количество ошибок, возникших при выполнении.
Из временных баз вся статистика сохраняется в DWH. Каждую минуту сервера DWH ходят во временные базы в production и забирают данные. Временные базы периодически очищаются от данных.
Пример кода, который сохраняет статистику об отосланных сообщениях:
Наша система DWH хранит всю статистику и предоставляет инструменты для ее просмотра и анализа. Система построена на базе решений от Microsoft. Сервера баз данных – MS SQL 2008, система генерации отчетов – Reporting services. Сейчас DWH – это 13 серверов, находящихся в отделенной от production среде. Некоторые из этих серверов обеспечивают операционную статистику (т.е. онлайн статистику). Некоторые отвечают за хранение и предоставление доступа к исторической статистике. Общий объем статистических данных — 13 TB.
Планируется внедрение мультиразмерного (multi-dimension) анализа статистики на основе OLAP.
Мониторинг
Мониторинг разделен на две составляющие:
1. Мониторинг сервисов и компонентов сайта
2. Мониторинг ресурсов (оборудование, сеть)
Первичен мониторинг сервисов. Система мониторинга своя, основанная на оперативных данных в DWH. Есть дежурные, чья обязанность мониторить показатели работы сайта и в случае каких-либо аномалий предпринимать действия для выяснения и устранения причин этих аномалий.
В случае с мониторингом ресурсов, следим как за “здоровьем” оборудования (температура, работоспособность компонентов: CPU, RAM, дисков и т.д.), так и за показателями ресурсов серверов (загрузка CPU, RAM, загруженность дисковой подсистемы и т.п.). Для мониторинга “здоровья” оборудования используем Zabbix, статистику по использованию ресурсов серверов и сети накапливаем в Cacti.
Оповещения о наиболее критичных аномалиях приходят по смс, остальные оповещения отсылаются по емейлу.
Технологии:
• Операционные системы: MS Windows, openSUSE
• Java, C, C+. Весь основной код написан на Java. На С и С+ написаны модули для кеширования данных.
• Используем GWT для придания динамики WEB интерфейсу. С использованием GWT написаны такие модули как Сообщения, Обсуждения и Оповещения
• WEB сервера – Apache Tomcat
• Сервера бизнес логики работают под JBoss 4
• Балансировщики нагрузки на WEB слое – LVS. Используем IPVS для балансировки на Layer-4
• Apache Lucene для индексирования и поиска текстовой информации
• Базы данных:
MS SQL 2005 Std edition. Используется во многом потому, что так исторически сложилось. Сервера с MS SQL объединены в failover кластера. При выходе из строя одной из рабочих нод, standby нода берет на себя ее функции
BerkeleyDB – для работы с BDB используется своя, внутренняя библиотека. Используем BDB, C реализацию, версии 4.5. Двухнодовые master-slave кластера. Между мастером и слейвом родная BDB репликация. Запись происходит только в master, чтение происходит с обеих нод. Данные храним в tmpfs, transaction логи хранятся на дисках. Каждые 15 минут делаем бэкап логов. Сервера одного кластера размещены на разных лучах питания дабы не потерять обе копии данных сразу.
В разработке новое решение для хранения данных. Нам необходим еще более быстрый и надежный доступ к данным.
• При общении серверов между собой используем свое решение, основанное на JBoss Remoting
• Общение с SQL базами данных происходит посредством JDBC драйверов
Над проектом работают около 70 технических специалистов. Из них 40 разработчиков, 20 системных администраторов и инженеров, 8 тестеров.
Все разработчики разделены на небольшие команды (1-3 человек). Каждая из команд работает автономно и разрабатывает либо какой-то новый сервис, либо работает над улучшением существующих. В каждой из команд есть технический лидер или архитектор. Он ответственен за архитектуру сервиса, выбор технологий и подходов. На разных этапах разработки к команде могут примыкать дизайнеры, тестеры и системные администраторы.
Например, существует отдельная команда сервиса Группы. Или команда, разрабатывающая коммуникационные сервисы сайта (такие как системы сообщений, обсуждений, ленту активности). Есть команда платформы, которая тестирует, обкатывает и внедряет новые технологии, оптимизирует уже существующие решения. В данный момент одна из задач этой команды – разработка и внедрение высокоскоростного и надежного решения для хранения данных.
Основные принципы и подходы в разработке
Разработка ведется небольшими итерациями. Как пример жизненного цикла разработки можно привести 3-х недельный цикл:
0 неделя — определение архитектуры
1 неделя — разработка, тестирование на компьютерах разработчиков
2 неделя — тестирование на pre-production среде, релиз на production среду
Практически весь новый функционал делается «отключаемым». Типичный запуск новой «фичи» выглядит следующим образом:
1. функционал разрабатывается и попадает в production релиз
2. через централизованную систему конфигурации функционал включается для небольшой части пользователей. Анализируется статистика активности пользователей, нагрузка на инфраструктуру
3. если предыдущий этап прошел успешно, функционал включается постепенно на все большей аудитории. Если в процессе запуска нам не нравится собранная статистика, либо непозволительно вырастает нагрузка на инфраструктуру, то функционал отключается, анализируются причины, исправляются ошибки, происходит оптимизация и все повторяется с 1-го шага
Best practices, tricks & tips
Специфика работы с СУБД:
• Мы используем как вертикальное, так и горизонтальное партиционирование, т.е. разные группы таблиц располагаются на разных серверах (вертикальное партиционирование), а данные больших таблицы дополнительно распределяются между серверами (горизонтальное партиционирование). Встроенный в СУБД аппарат партиционирования не используется — вся логика располагается на уровне бизнес сервисов.
• Распределенные транзакции не используются — все транзакции только в пределах одного сервера. Для обеспечения целостности, связанные данные помещаются на 1 сервер или, если это невозможно, дополнительно программируется логика восстановления данных.
• В запросах к БД не используются JOIN даже среди локальных таблиц для минимизации нагрузки на CPU. Вместо этого используется денормализация данных или JOIN происходят на уровне бизнес сервисов. В этом случае JOIN происходит как с данными из БД, так и с данными из кеша.
• При проектировании структуры данных не используются внешние ключи, хранимые процедуры и триггеры. Опять же для снижения нагрузки на CPU серверов БД.
• SQL операторы DELETE также используются с осторожностью — это самая тяжелая операция из DML. Стараемся не удалять данные лишний раз или используем удаление через маркер — запись сначала отмечается как удаленная, а потом удаляется фоновым процессом из таблицы.
• Широко используются индексы. Как обычные, так и кластерные. Последние для оптимизации наиболее частых запросов в таблицу.
Кеширование:
• Используются кеш сервера нашей собственной разработки, реализованные на Java. Некоторые наборы данных, как например профили пользователей, социальный граф, и т.п. целиком хранятся в кеше.
• Данные партиционируются на кластер кеш серверов. Используется репликация партиций для обеспечения надежности.
• Иногда требования к быстродействию настолько велики, что используются локальные короткоживущие кеши данных полученных с кеш серверов, расположенные непосредственно в памяти серверов бизнес логики.
• Кеш сервера, кроме обычных операций ключ-значение, могут выполнять запросы по данным, хранящимся в памяти, минимизируют таким образом передачу по сети ненужных данных. Используется map-reduce для выполнения запросов и операций на кластере. В особо сложных случаях, например для реализации запросов по социальному графу, используется язык C. Это помогает повысить производительность.
• Для хранения больших объемов данных в памяти используется память вне кучи Java (off heap memory) для снятия ненужной нагрузки с Java GC.
• Кеши могут использовать локальный диск для хранения данных, что превращает их в высокопроизводительный сервер БД.
Оптимизация скорости загрузки и работы страницы
• Кешируем все внешние ресурсы (Expires и Cache-Control заголовки). CSS и JavaScript файлы минимизируем и сжимаем (gzip).
• Для уменьшения количества HTTP запросов с браузера, все JavaScript и CSS файлы объединяются в один. Маленькие графические изображения объединяются в спрайты.
• При загрузке страницы скачиваются только те ресурсы, которые на самом деле необходимы для начала работы.
• Никаких универсальных CSS селекторов. Стараемся не использовать типовые селекторы (по имени тэга).
• Если необходимы CSS expressions, то пишем «одноразовые». По возможности избегаем фильтров.
• Кешируем обращения к DOM дереву, а так же свойства элементов, приводящие к reflow. Обновляем DOM дерево в «оффлайне».
• В GWT используем UIBinder и HTMLPanel для создания интерфейсов.
Как защитить аккаунт в «Одноклассниках» на пять с плюсом
Рассказываем, какие настройки безопасности и публичности могут вам пригодиться в социальной сети «Одноклассники».
Находить школьных друзей, обмениваться «классами» и подарками, получать пятерки за фотки, без сомнения, приятно. Вот только некоторые используют «Одноклассники» — одну из самых популярных соцсетей в России — совсем иначе: чтобы писать едкие комментарии, забрасывать честных пользователей рекламой, а то и разводить их на деньги.
Чтобы спамеры, тролли, взломщики и прочие неприятные люди не испортили вам жизнь, профиль в «Одноклассниках» нужно защищать. Рассказываем, какие настройки безопасности и конфиденциальности предлагает соцсеть.
Как защитить свой профиль в «Одноклассниках» и данные в нем
Открыть настройки безопасности и конфиденциальности в «Одноклассниках» можно несколькими способами:
Любое из этих действий приведет вас на нужную страницу.
Где искать настройки безопасности и публичности в «Одноклассниках»
Теперь поговорим о том, что же здесь можно настроить.
Как защитить аккаунт в «Одноклассниках» от взлома
Основа безопасности любого аккаунта — надежный пароль. Если у вас он выглядит как 12345, ваше имя транслитом или какое-то существующее слово вроде pirozhok, советуем его поменять. Для этого нужно открыть вкладку Основные и нажать Пароль. О том, как придумать по-настоящему надежный пароль и не забыть его, мы написали отдельный пост. Если коротко, то чем длиннее пароль — тем лучше.
Как изменить пароль в «Одноклассниках»
Что такое двойная защита в «Одноклассниках»
Увы, иногда даже лучшие пароли воруют злоумышленники. Поэтому мы рекомендуем подстраховаться и включить двойную защиту — так в «Одноклассниках» называют двухфакторную аутентификацию.
При включенной двойной защите соцсеть будет присылать вам одноразовый код в SMS каждый раз, когда вы (или кто-то другой) попытаетесь войти в аккаунт с нового устройства. Чтобы залогиниться, нужно будет не только ввести пароль, но и указать этот код. Взломщику это помешает, а вы вовремя узнаете, что кто-то хочет войти в учетную запись, и сможете поменять украденный пароль на новый.
Если вы не хотите получать одноразовый код в сообщении, «Одноклассники» позволяют подключить к профилю специальное приложение для генерации этих кодов, например Google Authenticator. Это даже надежнее: SMS, к сожалению, не так уж сложно перехватить.
Чтобы включить двойную защиту, откройте вкладку настроек Основные и нажмите Двойная защита.
Как настроить в «Одноклассниках» двойную защиту (двухфакторную аутентификацию)
Как узнать, кто входил в мой аккаунт в «Одноклассниках»
Убедиться в том, что в ваш профиль не входили посторонние, можно на вкладке История посещений. Там указано, когда и откуда в ваш аккаунт логинились за последний месяц. Если вы уже год не выезжали за границу, а в списке внезапно обнаружите Бангкок, как можно быстрее смените пароль.
Также в Истории посещений можно закрыть доступ к аккаунту на всех устройствах, кроме текущего. Эта опция пригодится, если в учетку вошел кто-то посторонний или вы сами открывали ее с чужого компьютера и забыли разлогиниться.
Как узнать, кто входил в аккаунт в «Одноклассниках», и запретить доступ к аккаунту с незнакомых устройств
Как настроить публичность в «Одноклассниках»
Защититься от взломщиков — это только полдела, ведь злоумышленники могут досаждать вам в «Одноклассниках» и без доступа к вашему аккаунту. Например, заваливать вас спамом в личных сообщениях или оставлять под вашими постами и фото комментарии со ссылками на сомнительные ресурсы. Запретить им это можно с помощью настроек публичности — так в «Одноклассниках» называют приватность.
Как скрыть от посторонних информацию профиля в «Одноклассниках»
По умолчанию вся информация в вашем профиле открыта для всех. Не хотите, чтобы посторонние знали, сколько вам лет, в каких группах вы состоите, на кого подписаны и в какие игры играете? «Одноклассники» позволяют ограничить видимость этих данных и сделать их доступными только друзьям или вообще никому, кроме вас.
От совсем чужих глаз вы также можете спрятать и свое семейной положение. А вот друзья в любом случае будут видеть эту информацию, если она есть в профиле.
Чтобы ограничить видимость личных данных, откройте вкладку Публичность и выберите нужные настройки в блоке Кто может видеть. В списке больше данных, чем мы тут упомянули, но некоторые из них могут спрятать только пользователи с закрытым профилем.
Как скрыть информацию профиля в «Одноклассниках»
Как сделать, чтобы меня не нашли в «Одноклассниках»
Если не хотите, чтобы посторонние могли найти вас в «Одноклассниках», ограничьте возможность поиска вашего профиля. Например, соцсеть позволяет скрыть его из раздела Люди сейчас на сайте, где отображаются все активные пользователи. Тогда спамеры и назойливые представители противоположного пола будут реже вас беспокоить.
Вы можете также запретить находить вас через поисковики. Тогда ваша страница в «Одноклассниках» не попадет в поисковую выдачу, если кто-то поищет ваше имя в Яндексе или Google. Если это сделать, то количество случайных посетителей и незваных гостей сильно уменьшится.
Чтобы воспользоваться этими настройками, откройте вкладку Публичность и найдите блок Дополнительно.
Как убрать из поиска страницу в «Одноклассниках»
Как скрыть мои комментарии от друзей в «Одноклассниках»
По умолчанию ваши друзья видят в ленте все комментарии, которые вы оставили, — в том числе в группах, где они не состоят, и на страницах пользователей, с которыми они не знакомы. Если, просто для примера, вы не хотите, чтобы родственники узнали, что вы продаете унаследованный от бабушки сервиз в какой-нибудь группе-барахолке, вы можете запретить показ обсуждений в лентах друзей.
Это тоже делается на вкладке Публичность в блоке Дополнительно. Нужно снять галочку напротив пункта Показывать обсуждения, в которых я участвую, друзьям, которые не дружат с автором обсуждения или не являются участниками группы.
Как скрыть свои комментарии из лент друзей в «Одноклассниках»
Как скрыть фото в «Одноклассниках» от посторонних
Если у вас есть фото, которыми вы не хотите делиться со всеми подряд, вы можете показывать их только друзьям или задать список пользователей, которым они видны. А если вы выложили их в соцсеть просто на хранение и не хотите, чтобы их кто-то увидел, то «Одноклассники» позволяют скрыть их вообще от всех.
Эти настройки задаются для каждого фотоальбома отдельно. Откройте альбом, нажмите Редактировать и выберите подходящий вариант в строчке Просматривать могут под его названием. Ограничить доступ можно ко всем альбомам, кроме Личных фото. Но в последнем вы можете оставить только аватарку (по правилам соцсети она должна быть общедоступной) или вообще ничего не хранить.
Как скрыть фотографии в «Одноклассниках»
Как избавиться от ненужных отметок в «Одноклассниках»
Вы можете запретить другим пользователям «Одноклассников» упоминать вас в своих публикациях. Если вы не хотите, чтобы вас отмечали на фото, видео, в заметках и комментариях, можете запретить это делать на вкладке Публичность в блоке Разрешить.
Как запретить отмечать вас в постах, на фото и видео в «Одноклассниках»
Также рекомендуем запретить самим «Одноклассникам» автоматически отмечать вас на всех фотографиях и видео, где соцсеть вас узнает. Это можно сделать на вкладке Публичность в блоке Дополнительно. Если же вы не против, чтобы вас отмечали, но только если фотография действительно хорошая, то там же включите проверку отметок перед публикацией.
Как запретить автоматические отметки на фото и видео в «Одноклассниках»
Как избавиться от спама в «Одноклассниках»
Надоел спам в «Одноклассниках»? Вы можете запретить посторонним приглашать вас в группы, отправлять вам бесплатные подарки, писать сообщения и комментарии, а также искать вас в мессенджере «ТамТам». Все это делается на вкладке Публичность в блоке Разрешить.
Как защититься от спама в «Одноклассниках»
Как закрыть профиль в «Одноклассниках»
Как и в остальных социальных сетях, в «Одноклассниках» можно и полностью закрыть свой профиль — тогда указанная в нем информация будет доступна только вашим друзьям. Однако в отличие от многих других ресурсов здесь эта настройка платная. Купить ее можно за несколько десятков ОКов — это внутренняя валюта соцсети. На момент написания статьи 1 ОК стоил примерно 1,7–1,8 рубля. Сама цена закрытого профиля неодинакова для разных пользователей.
Если вы готовы заплатить за конфиденциальность своих данных, выберите в настройках вкладку Закрыть профиль или нажмите на свою аватарку в правом верхнем углу экрана и выберите Закрыть профиль.
Как закрыть профиль в «Одноклассниках»
Удалите лишнее
Лучший способ позаботиться о том, чтобы ваши данные не попали не в те руки — вообще их не публиковать. В частности, список родственников в «Одноклассниках» по умолчанию доступен всем, и управлять им в настройках публичности нельзя.
Между тем этой информацией могут воспользоваться злоумышленники. Например, вытягивать деньги из ваших близких, рассказывая им о том, что вы якобы попали в неприятности. Так что советуем посмотреть на свою страницу и подумать: возможно, какую-то информацию оттуда лучше просто удалить?
Как просматривать чужие страницы в «Одноклассниках» анонимно
Социальная сеть позволяет пользователям видеть, кто заходил на их страницы. Если вы не хотите, чтобы другие знали, что вы просматривали их профиль, можете купить Невидимку. Как и закрытый профиль, это платная функция. Один день анонимности стоит 40 ОКов, 30 дней — 199 ОКов.
Также «Одноклассники» позволяют оформить подписку на «Невидимку» с трехдневным бесплатным периодом. По истечении этого времени неделя пользования функцией будет стоить 45 ОКов, а месяц — 189 ОКов.
Опция включить «Невидимку» есть практически на любой странице в «Одноклассниках», кроме чужих профилей и сообществ.
Как включить «Невидимку» в одноклассниках
Проверьте настройки безопасности и конфиденциальности в других аккаунтах
Теперь вы знаете, какие настройки безопасности и приватности помогут вам защитить учетную запись в «Одноклассниках» и данные в ней. Самое время вспомнить о профилях в других соцсетях — у нас есть инструкции по настройке «ВКонтакте», Instagram, Facebook и Twitter.