Python CMS для создания видео сайта, такого как youtube? Python cms на

python - Python CMS для создания видео сайта, такого как youtube?

Кто-нибудь знает о CMS с открытым исходным кодом, написанный на питоне, с помощью которого я могу создать такой сайт, как YouTube?

задан Jumbo 18 нояб. '10 в 18:25 источник поделиться

Django - хорошая Python Framework, а также CherryPy и Pylons. Однако структура не является CMS.

Видео с открытым исходным кодом CMS будет: Media Core

Ниже приведена информация о том, как создается YouTube:

(источник: Google Video)

Платформа:

Apache
Python
Linux (SuSe)
MySQL
psyco, динамический компилятор python- > C
lighttpd для видео вместо Apache

WebServers:

NetScalar используется для балансировки нагрузки и кэширования статического содержимого.
Запустите Apache с mod_fast_cgi.
Запросы маршрутизируются для обработки сервером приложений Python.
Сервер приложений взаимодействует с различными базами данных и другими источниками информации, чтобы получить все данные и форматировать html-страницу.

Обычно можно масштабировать веб-уровень, добавляя больше машин.
Веб-код Python обычно НЕ является узким местом, он большую часть времени блокирует RPC.
Python обеспечивает быструю гибкую разработку и развертывание. Это важно, учитывая конкуренцию, с которой они сталкиваются.
Обычно время обслуживания страницы менее 100 мс.
Используйте psyco, динамический компилятор python- > C, который использует подход компилятора JIT для оптимизации внутренних циклов.
Для высокоинтенсивных операций, таких как шифрование, они используют расширения C.
Некоторые предварительно сгенерированные кэшированные HTML для дорогостоящих рендеринговых блоков.
Кэширование уровня строки в базе данных.
Полностью сформированные объекты Python кэшируются.
Некоторые данные вычисляются и отправляются каждому приложению, поэтому значения кэшируются в локальной памяти. Это недостаточно используемая стратегия. Самый быстрый кеш находится на вашем сервере приложений, и не требуется много времени для отправки предварительно рассчитанных данных на все ваши серверы. Просто иметь агента, который следит за изменениями, предсказывает и отправляет.

Обслуживание видео:

Расходы включают в себя пропускную способность, аппаратное обеспечение и энергопотребление.
Каждое видео, размещенное мини-кластером. Каждое видео обслуживается несколькими машинами.
Использование кластера означает:
- Больше дисков, обслуживающих контент, что означает большую скорость.
- Габаритная высота. Если машина опускается, другие могут взять верх.
- Существуют онлайн-резервные копии.
Серверы используют веб-сервер lighttpd для видео:
- У Apache было слишком много накладных расходов.
- Использование epoll для ожидания нескольких фс.
- Переключение с одного процесса на несколько конфигураций процессов для обработки большего количества подключений.
Самый популярный контент перемещается в CDN (сеть доставки контента):
- CDN воспроизводят контент в нескольких местах. Там больше вероятность того, что контент будет ближе к пользователю, с меньшим количеством переходов, а контент будет работать в более дружественной сети.
- CDN-машины в основном служат из памяти, потому что контент настолько популярен там, что в нем не хватает содержимого и не хватает памяти.
Менее популярный контент (1-20 просмотров в день) использует серверы YouTube на разных сайтах colo.
- Там длинный хвост. У видео может быть несколько пьес, но воспроизводится много видео. Доступ к блокам случайных дисков.
- Кэширование не приносит большого успеха в этом сценарии, поэтому тратить деньги на большее количество кеша не имеет смысла. Это очень интересный момент. Если у вас длинное кэширование продуктов, вы не всегда будете спасителем производительности.
- Настройте RAID-контроллер и обратите внимание на другие проблемы нижнего уровня, чтобы помочь.
- Настройте память на каждом компьютере, чтобы там не было слишком много и не слишком мало.

Обслуживание ключевых точек видео:

Держите его простым и дешевым.
Сохраняйте простой сетевой путь. Не слишком много устройств между контентом и пользователями. Маршрутизаторы, коммутаторы и другие устройства могут не справиться с такой нагрузкой.

Использовать аппаратное обеспечение. Более дорогое оборудование приобретает все более дорогое, что все еще получает (контракты на поддержку). Вы также менее вероятно найдете помощь в сети.
Используйте простые общие инструменты. Они используют большинство инструментов для сборки в Linux и накладываются поверх них.
Обрабатывать случайные запросы хорошо (SATA, твики).

Обслуживание миниатюр:

Удивительно сложно сделать эффективно.
Для каждого видео есть как 4 миниатюры, поэтому есть больше миниатюр, чем видео.
Эскизы размещены на нескольких машинах.
Проблемы с пилой, связанные с обслуживанием множества мелких объектов:
- Много проблем с дисками и проблемы с кэшами inode и кэшами страниц на уровне ОС.
- Ran в лимит на файл каталога. Ext3 в частности. Переместился в более иерархическую структуру. Недавние улучшения в ядре 2.6 могут улучшить обработку больших каталогов Ext3 до 100 раз, но хранение большого количества файлов в файловой системе по-прежнему не является хорошей идеей.
- Большое количество запросов/сек, так как веб-страницы могут отображать 60 эскизов на странице.
- При таких высоких нагрузках Apache работал плохо.
- Используется squid (обратный прокси) перед Apache. Это работало некоторое время, но по мере увеличения нагрузки производительность в конечном итоге уменьшалась. Прошло от 300 запросов/сек до 20.
- Пробовал использовать lighttpd, но с одной резьбой он застопорился. Запуск в проблемы с многопроцессорным режимом, потому что каждый из них будет хранить отдельный кеш.
- С таким количеством изображений, которые были установлены на новом компьютере, заняло более 24 часов.
- Перезагрузка машины заняла 6-10 часов для кеша, чтобы разогреться, чтобы не перейти на диск.
Чтобы решить все свои проблемы, они начали использовать Google BigTable, распределенное хранилище данных:
- Предотвращает проблему с небольшим файлом, поскольку он объединяет файлы вместе.
- Быстрая, отказоустойчивая. Предполагается, что он работает над ненадежной сетью.
- Более низкая латентность, поскольку использует распределенный многоуровневый кеш. Этот кеш работает на разных сайтах коллокации.

Базы данных:

Ранние годы
- Используйте MySQL для хранения метаданных, таких как пользователи, теги и описания.
- Передача данных с монолитного тома RAID 10 с 10 дисками.
- Жизнь с кредитных карт, поэтому они арендовали оборудование. Когда им потребовалось больше оборудования для обработки нагрузки, потребовалось несколько дней для заказа и доставки.
- Они прошли общую эволюцию: один сервер, перешли к одному хозяину с несколькими подчиненными подчиненными, затем разделили базу данных, а затем остановились на осколочном подходе.
- Страдает от отставания в репликах. Мастер имеет многопоточность и работает на большой машине, поэтому он может обрабатывать много работы. Ведомые устройства однопоточные и обычно работают на меньших машинах, а репликация является асинхронной, поэтому ведомые устройства могут значительно отставать от мастера.
- Обновления вызывают ошибки кэша, которые идут на диск, где медленный ввод-вывод вызывает медленную репликацию.
- Используя репликационную архитектуру, вам нужно потратить много денег на добавочные бит производительности записи.
- Одним из их решений был приоритет трафика путем разделения данных на два кластера: пул видеонаблюдения и общий кластер. Идея состоит в том, что люди хотят смотреть видео, чтобы функция получала максимум ресурсов. Социальные сетевые функции YouTube менее важны, поэтому их можно перенаправить в менее эффективный кластер.
В последующие годы:
- Перешел к разделению базы данных.
- Разделить на осколки с пользователями, назначенными для разных осколков.
- Спреды записывают и читают.
- Значительно лучше, чем локализация кэша, что означает меньше IO.
- Результатом было снижение производительности на 30%.
- Уменьшено отставание реплики до 0.
- Теперь можно масштабировать базу данных практически произвольно.

Стратегия центра обработки данных

Сначала используется управление хостинг-провайдерами. Жизнь с кредитных карт, так что это был единственный способ.
Управляемый хостинг не может масштабироваться с вами. Вы не можете контролировать оборудование или создавать благоприятные сетевые соглашения.
Итак, они пошли в расположение колока. Теперь они могут настроить все и договориться о своих собственных контрактах.

Используйте 5 или 6 центров обработки данных плюс CDN.
Видео выходят из любого центра обработки данных. Не самый близкий матч или что-то еще. Если видео достаточно популярно, оно переместится в CDN.
Зависимость от полосы пропускания видео, не зависящая от латентности. Может поступать из любого colo.
Для латентности изображений, особенно когда у вас есть 60 изображений на странице.
Изображения копируются в разные центры обработки данных с помощью BigTable. Код смотрит на разные показатели, чтобы узнать, кто ближе.

источник поделиться

Django и Pylons являются двумя самыми популярными фреймворками Python, которые позволят вам быстро создавать свои собственные CMS и YouTube, как хостинг для видео.

Джанго http://www.djangoproject.com/

Пилоны http://pylonshq.com/

Создание собственного сайта вместо того, чтобы полагаться на CMS действительно будет вашим лучшим выбором, потому что вам нужно будет найти множество других вещей, например, как конвертировать загруженное видео в FLV, которое не будет частью ядро CMS. Есть много других соображений, таких как использование облачного CDN для доставки вашего видеоконтента, который просто не существует из коробки в любых рамках, о которых я могу думать, даже тех, которые написаны на разных языках.

ответ дан LLBBL 18 нояб. '10 в 18:34 источник поделиться

qaru.site

Python на облачном хостинге Infobox Jelastic: запускаем Django CMS

Posted by: robot 4 years, 1 month ago http://habrahabr.ru/company/infobox/blog/233793/

Jelastic — многоязыковая платформа как сервис. Сначала была добавлена поддержка Java, затем PHP и Ruby, но на этом разработчики не остановились. Месяц за месяцем вытачивалась новая для Jelastic платформа — Python. В этой статье будет рассказано, как развернуть Django CMS на Infobox Jelastic.

В конце статьи информация о том, как получить 300 рублей на счет для экспериментов с Infobox Jelastic.

ЧаВо по Python в Jelastic

В Jelastic поддерживается веб-сервер Apache для хостинга приложений Python. Реализована поддержка Apache + mod_wsgi. Вы можете воспользоваться одной из 3х версий Python: Все версии предустановлены в контейнеры Python. Пользователь может выбрать необходимую версию при создании окружения и изменить, при необходимости, в процессе работы.

Развертывание приложений

Вы можете просто развернуть приложение Python:

1. с помощью архива или ссылки

2. Через GIT/SVN

Вы можете развернуть только одно Python приложение на окружение. Оно будет развернуто в ROOT по умолчанию. Конечно, вы можете воспользоваться и SSH для развертывания приложения.

Когда вы разворачиваете пакет, его корень должен содержать следующие файлы:

requirements.txt с именами всех модулей Python, необходимых приложению;
application – скрипт точки входа для запуска вашего приложения с Apache mod_wsgi

Управление пакетами/модулями

Для успешного развертывания и запуска приложения Python могут потребоваться некоторые дополнительные модули или другие пакеты. Управление требуемым ПО организовано через pip, популярную систему управления пакетами Python.

Для загрузки и установки модулей Python есть два способа:

Написать список требуемых модулей в requirements.txt и положить файл в корень пакета с проектом. Скрипт развертывания прочитает файл и установит необходимые модули с помощью pip автоматически;

Соединиться с вашим контейнером через SSH и использовать следующие команды:

pip install {package_name} – для установки необходимого модуля;pip uninstall {package_name} – для удаления установленного модуля;pip install –upgrade{package_name} – для обновления конкретного модуля до последней версии;pip install -r requirements.txt – для установки всех модулей из requirements.txt;pip list — для просмотра уже установленных модулей.

Используя дополнительные команды и их параметры вы можете указать предпочитаемые модули и версии, настроить разрешение зависимостей, показать информацию об установленных модулях или поискать необходимый в репозитории PyPI. Для дальнейшего ознакомления с pip рекомендуем руководство пользователя.

Мониторинг логов

Jelastic создает следующие файлы логов, доступные в Python WSGI:

access_log-{дата}
error_log-{дата}

Вы можете посмотреть логи, кликнув на кнопку Log на контейнере Apache в вашем окружении. Здесь вы можете проследить все действия, выполняемые с вашим окружением Python.

Доступные фреймворки

В настоящий момент Jelastic поддерживает следующие фреймворки на Python: Вы можете развернуть различные приложения Python, основанные на этих фреймворках. Ниже мы покажем, как разворачивать DjangoCMS, а в следующей статье посмотрим на Quokka CMS (основанной на Flask).

Развертывание DjangoCMS

Django – фреймворк с открытыми исходными текстами для приложений Python. Он помогает упростить процесс создания сложных веб-приложений, каждое из которых может состоять из набора подключаемых модулей. Давайте посмотрим на преимущества использования Django в Infobox Jelastic и связки Apache + mod_wsgi на примере организации хостинга приложения на Django CMS.

Создание окружения

Создадим окружение для Python в Infobox Jelastic. Зарегистрируйте аккаунт на http://infobox.ru/hosting/cloud/ (бесплатно активируется пробная версия), залогиньтесь в панель управления и нажмите кнопку «Создать окружение».

Перейдите к вкладке «Python». Apache будет выбран автоматически. Укажите минимальный и максимальный лимиты доступных ресурсов (с Python работает автомасштабирование Jelastic, позволяющее оплачивать за потребляемые ресурсы по факту без необходимости резервирования ресурсов), введите имя окружения (например «django») и нажмите Create.

Вы можете также выбрать одну из предоставляемых версий Python: 2.7, 3.3, 3.4. Выбирая, учитывайте информацию о совместимости Django.
Если вы развертываете большое и посещаемое приложение, мы рекомендуем добавить отдельный контейнер с базой данных для вашего приложения. В остальных случаях можно использовать встроенную базу данных SQLite, которая будет размещена внутри контейнера приложений.

В течение минуты будет создано окружение в вашей панели управления.

Теперь мы можем непосредственно приступить к развертыванию DjangoCMS одним из следующих способов:

построение и развертывание нового приложения;
развертывание существующего приложения.

Построение и развертывание Django CMS

1. Сгенерируйте и добавьте публичный SSH ключ в вашу панель управления.

2. Установите соединение по SSH с контейнером Apache вашего окружения.

3. После входа в контейнер, убедитесь, что вы находитесь в домашней директории вашего пользователя:

cd ~ 4. Вы должны создать виртуальное окружение вашего приложения внутри контейнера. Это позволит вам изолировать окружение Python и устанавливать пакеты без необходимости получения привилегий администратора.virtualenv virtenv 5. Активируйте и переключитесь на созданное виртуальное окружение.source virtenv/bin/activate 6. Теперь, давайте установим набор модулей, требуемых Django.pip install django django-cms djangocms_video djangocms_teaser djangocms_picture djangocms_link django-reversion djangocms_inherit djangocms_googlemap djangocms_flash djangocms_file djangocms_column djangocms-installer djangocms_text_ckeditor djangocms_style Через несколько минут операция завершится. 7. Сотрите предустановленное приложение по умолчанию и создайте новое для Django CMS.rm -rf ROOT; djangocms -p . ROOT 8. После выполнения вышеприведенной команды вам зададут несколько дополнительных вопросов по настройке нового приложения. Уделите особое внимание настройке базы данных:

Если вы выбрали использование отдельной базы данных (MySQL контейнер при создании окружения Jelastic), укажите строку подключения:mysql://mysql-{env_name}.app.jelasticloud.com, где {env_name} – имя контейнера базы данных.
Если вы предпочитаете использовать встроенную базу данных SQLite, введите следующую строку:sqlite://localhost/ROOT/project.db

Завершите оставшиеся шаги мастера установки вводом необходимых параметров или оставив параметры по умолчанию (отображаются в конце строки в квадратных скобках).

9. Когда приложение настроено, у вас спросят имя пользователя, пароль и адрес электронной почты для CMS.

10. Введите следующую команду для создания нового файла и указания точки входа для mod_wsgi модуля:

vim ROOT/application Нажмите «i» для перехода в режим редактирования и вставьте следующие строки:import os,sys virtenv = os.environ['OPENSHIFT_PYTHON_DIR'] + '/virtenv/' virtualenv = os.path.join(virtenv, 'bin/activate_this.py') try: execfile(virtualenv, dict(__file__=virtualenv)) except IOError: pass sys.path.append('/opt/repo') sys.path.append('/opt/repo/ROOT') os.environ['DJANGO_SETTINGS_MODULE'] = 'ROOT.settings' import django.core.handlers.wsgi application = django.core.handlers.wsgi.WSGIHandler() Сохраните изменения и закройте Vim, нажав Esc и написав ":wq".

12. Введите команду:

vim ROOT/settings.py В открывшемся файле найдите и замените строку:STATICFILES_DIRS = ( os.path.join(BASE_DIR, ‘ROOT’, ‘static’), ) следующим содержанием:STATICFILES_DIRS = ( os.path.join(BASE_DIR, ‘ROOT’, ‘static_local’), ) Сохраните изменения и закройте Vim.

Создайте новую поддиректорию для статического контента:

mkdir ROOT/static_local и, наконец, запустите синхронизацию ресурсов:./manage.py collectstatic Введите «yes», если система запросит подтверждения.

Это все! Теперь вы можете кликнуть «Открыть в браузере» и насладиться Django CMS.

Вы увидите экран приветствия.

Для доступа к панели администрирования Django CMS добавьте /admin в конец URL окружения. Для доступа используйте введенные вами при установке Django CMS учетные данные суперпользователя.

Развертывание существующего приложения Django

Если вы заранее собрали и упаковали приложение Django, процедура развертывания может быть выполнена всего за несколько шагов, как показано ниже.

Не забудьте про необходимость наличия requirements.txt и application файлов в пакете. Пример в предыдущем разделе.

1. Загрузите пакет с приложением Django в Диспетчер дистрибутивов.

2. Нажмите «Развернуть в...» и выберите необходимое окружение.

3. Подождите минутку окончания развертывания и нажмите «Открыть в браузере».

Это все! Приятной работы с приложением на Django.

Заключение

Мы очень счастливы представить Вам поддержку Python в Infobox Jelastic с обеспечением возможности гибкого масштабирования приложений и автоматизациями Jelastic. Мы постарались упростить разработку и запуск приложений Python на платформе Infobox Jelastic без Vendor–lock на быстром и надежном оборудовании.

Попробуйте сейчас и получите 300 рублей на счет Infobox Jelastic. Зарегистрируйтесь и по окончании триала нажмите кнопку «Перейти на платную версию». Заполните информацию о себе. Пришлите ваш логин нам и мы начислим вам бонус (из статей бонус можно получить 1 раз на 1 аккаунт).

Успешного использования Infobox Jelastic!

Share on Twitter Share on Facebook

news.shamcode.ru

запускаем Django CMS / Django / Сообщество InfoboxCloud

Jelastic с точки зрения архитектуры — многоязыковая платформа. Сначала была добавлена поддержка Java, затем PHP и Ruby, но на этом разработчики не остановились. Месяц за месяцем вытачивалась новая для Jelastic платформа — Python. В этой статье будет рассказано, как развернуть Django CMS на Infobox Jelastic.

В конце статьи информация о том, как получить 300 рублей на счет для экспериментов с Infobox Jelastic.

ЧаВо по Python в Jelastic

В Jelastic поддерживается веб-сервер Apache для хостинга приложений Python. Реализована поддержка Apache + mod_wsgi.

Вы можете воспользоваться одной из 3х версий Python:

Все версии предустановлены в контейнеры Python. Пользователь может выбрать необходимую версию при создании окружения и изменить, при необходимости, в процессе работы.

Развертывание приложений

Вы можете просто развернуть приложение Python:

1. с помощью архива или ссылки

2. Через GIT/SVN

Когда вы разворачиваете пакет, его корень должен содержать следующие файлы:

requirements.txt с именами всех модулей Python, необходимых приложению;
application – скрипт точки входа для запуска вашего приложения с Apache mod_wsgi

Управление пакетами/модулями

Для загрузки и установки модулей Python есть два способа:

Написать список требуемых модулей в requirements.txt и положить файл в корень пакета с проектом. Скрипт развертывания прочитает файл и установит необходимые модули с помощью pip автоматически;
Соединиться с вашим контейнером через SSH и использовать следующие команды:

Мониторинг логов

Jelastic создает следующие файлы логов, доступные в Python WSGI:

access_log-{дата}
error_log-{дата}

Доступные фреймворки

В настоящий момент Jelastic поддерживает следующие фреймворки на Python:Вы можете развернуть различные приложения Python, основанные на этих фреймворках. Ниже мы покажем, как разворачивать DjangoCMS, а в следующей статье посмотрим на Quokka CMS (основанной на Flask).

Развертывание DjangoCMS

Создание окружения

Давайте создадим окружение для Python в Infobox Jelastic. Зарегистрируйте аккаунт на http://infobox.ru/hosting/cloud/, залогиньтесь в панель управления и нажмите кнопку «Создать окружение».

Вы можете также выбрать одну из предоставляемых версий Python: 2.7, 3.3, 3.4. Выбирая, учитывайте информацию о совместимости Django.
Если вы развертываете большое и посещаемое приложение, мы рекомендуем добавить отдельный контейнер с базой данных для вашего приложения. В остальных случаях можно использовать встроенную базу данных SQLite, которая будет размещена внутри контейнера приложений.

В течение минуты будет создано окружение в вашей панели управления.

Теперь мы можем непосредственно приступить к развертыванию DjangoCMS одним из следующих способов:

построение и развертывание нового приложения;
развертывание существующего приложения.

Построение и развертывание Django CMS

1. Сгенерируйте и добавьте публичный SSH ключ в вашу панель управления.

2. Установите соединение по SSH с контейнером Apache вашего окружения.

3. После входа в контейнер, убедитесь, что вы находитесь в домашней директории вашего пользователя:

cd ~

4. Вы должны создать виртуальное окружение вашего приложения внутри контейнера. Это позволит вам изолировать окружение Python и устанавливать пакеты без необходимости получения привилегий администратора.

virtualenv virtenv

5. Активируйте и переключитесь на созданное виртуальное окружение.

source virtenv/bin/activate

6. Теперь, давайте установим набор модулей, требуемых Django.

pip install django django-cms djangocms_video djangocms_teaser djangocms_picture djangocms_link django-reversion djangocms_inherit djangocms_googlemap djangocms_flash djangocms_file djangocms_column djangocms-installer djangocms_text_ckeditor djangocms_style Через несколько минут операция завершится.

7. Сотрите предустановленное приложение по умолчанию и создайте новое для Django CMS.

rm -rf ROOT; djangocms -p . ROOT

8. После выполнения вышеприведенной команды вам зададут несколько дополнительных вопросов по настройке нового приложения. Уделите особое внимание настройке базы данных: