Показано с 1 по 14 из 14

Тема: Как улучшить просмотр ВОДов с сайта

  1. #1
    Новичок
    Регистрация
    24.03.2011
    Сообщений
    20

    Lightbulb Как улучшить просмотр ВОДов с сайта

    День добрый, пишу сюда, так как более подходящее место моему вопросу/обсуждению/предложению не найдено, если промахнулся извиняюсь.

    Есть отличный ресурс http://tv.sc2tv.ru/ на который заливаются все воды, с недавнего времени эти воды можно смотреть онлайн через Watch online при новостях.
    Но стриминг видео не настроен и пока видео не прогрузится до нужного момента, перемотать видео невозможно! То есть людям, чей интернет имеет свойство прирываться возможности посмотреть практически нет.
    Вы используете nginx для раздачи статики - отлично, в нем также есть весь функционал, чтобы подружить его с видео стримами, а именно:

    - включаем модуль flv в nginx
    - http://h264.code-shop.com/trac/wiki/...Nginx-Version2 забираем отсюда модуль для H264
    - добавляем в конфиг файл nginx`а, отвечающий за http://tv.sc2tv.ru/, следующие строчки
    location ~ \.mp4$ {
    mp4;
    }
    location ~ \.flv$ {
    flv;
    }
    и все мы(пользователи sc2tv.ru) начинаем наслаждаться просмотром ВОДов с возможность перемотки видео на любой момент без ожидания загрузки.

    Спасибо за внимание, надеюсь нужные люди не пройдут мимо темы.

    P.S. под нагрузкой ваш сервер сам иногда сбрасывает соединение, стоит обратить внимание и посмотреть логи
    wget --continue http://tv.sc2tv.ru/SC2WOL/moondolf/2...ondolf2-20.mp4
    --2011-06-27 18:35:27-- http://tv.sc2tv.ru/SC2WOL/moondolf/2...ondolf2-20.mp4
    Преобразование адреса tv.sc2tv.ru... 92.46.32.186
    Устанавливается соединение с tv.sc2tv.ru|92.46.32.186|:80... соединились.
    Запрос HTTP послан, ожидание ответа... 200 OK
    Длина: 1341307107 (1,2G) [application/octet-stream]
    Saving to: «2011-06-26_moondolf2-20.mp4»

    27% [===============================> ] 371*326*976 --.-K/s в 15m 23s

    2011-06-27 18:50:51 (393 KB/s) - Соединение закрыто, позиция 371326976. Продолжение попыток.

    --2011-06-27 18:50:52-- (попытка: 2) http://tv.sc2tv.ru/SC2WOL/moondolf/2...ondolf2-20.mp4
    Устанавливается соединение с tv.sc2tv.ru|92.46.32.186|:80... соединились.
    Запрос HTTP послан, ожидание ответа... 206 Partial Content
    Длина: 1341307107 (1,2G), 969980131 (925M) осталось [application/octet-stream]
    Saving to: «2011-06-26_moondolf2-20.mp4»

    41% [++++++++++++++++++++++++++++++++===============> ] 550*502*400 --.-K/s в 8m 3s

    2011-06-27 18:58:56 (363 KB/s) - Соединение закрыто, позиция 550502400. Продолжение попыток.

    --2011-06-27 18:58:58-- (попытка: 3) http://tv.sc2tv.ru/SC2WOL/moondolf/2...ondolf2-20.mp4
    Устанавливается соединение с tv.sc2tv.ru|92.46.32.186|:80... соединились.
    Запрос HTTP послан, ожидание ответа... 206 Partial Content
    Длина: 1341307107 (1,2G), 790804707 (754M) осталось [application/octet-stream]
    Saving to: «2011-06-26_moondolf2-20.mp4»

    51% [++++++++++++++++++++++++++++++++++++++++++++++++== ========> ] 685*506*560 --.-K/s ост 25m 32s
    Последний раз редактировалось BIT; 27.06.2011 в 18:14.

  2. #2
    Активный участник Аватар для shr
    Регистрация
    17.05.2010
    Сообщений
    4,347
    Кинул ссылку сервер-админу. Спасибо. Посмотрят.

  3. #3
    Активный участник
    Регистрация
    17.05.2010
    Сообщений
    306
    насколько я знаю, это будет реализовано на новом сервере, на текущем не хватает скорости винтов ((
    ждите, новый сервер уже проходит растоможку.

    ЗЫ
    За помощь спасибо

  4. #4
    Новичок
    Регистрация
    24.03.2011
    Сообщений
    20
    Цитата Сообщение от rentgen Посмотреть сообщение
    насколько я знаю, это будет реализовано на новом сервере, на текущем не хватает скорости винтов ((
    ждите, новый сервер уже проходит растоможку.

    ЗЫ
    За помощь спасибо
    извините за нескромный вопрос, но как это вообще связано?
    Если углубиться в то, что я описал выше... это всего лишь позволяет nginx`у понимать перменные типа video1.flv?start=24
    Где переменная start намекает нам, что нас интересует видео с 24 секунды и если все правильно реализовать - это может даже разгрузить канал/винты немножко, так как проблемы с выкачиванием полного контента, если интересует какая-то часть, больше не будет.
    Последний раз редактировалось BIT; 27.06.2011 в 20:29.

  5. #5
    Активный участник Аватар для Anton_K
    Регистрация
    25.07.2010
    Сообщений
    2,963
    Это не проблема nginx, а проблема flash-плеера, который сейчас используется, со старым работало. Я просто смотрю воды через WMP, они там нормально перематываются и без полной закачки. Работает, правда, только с mp4, но другие плееры, возможно, и flv могут. Хотя большинство водов сейчас и в mp4.
    Последний раз редактировалось Anton_K; 27.06.2011 в 20:51.
    Лучший стрим на SC2TV
    (на самом деле нет)

  6. #6
    Активный участник Аватар для Panasonic1
    Регистрация
    17.05.2010
    Сообщений
    322
    Спасибо за совет, но это уже тестировалось осенью.
    С .flv есть проблема - нам нужно не только включить модуль в nginx, но и включить метаданные в сам файл .flv (для этого тратится примерно 30 минут на гигабайтный файл).
    При включении .mp4 возрастает нагрузка на жесткие диски примерно в 2 раза, при этом скорость отдачи сервера не повышается (тоесть как был поток 200-300 мегабит, так он и остается)

    Планируется реализовать это на новом сервере, так как у нас там имеется массив из 16 дисков (скорее всего будет RAID6), хотя возможно будет что-то типа RAID5+5+5+5, пока еще не решил.

    Насчет разрыва соеденений - возможно в этот момент были винты перегружены и не хватило времени отклика.
    Проверил по логам - никаких подозрительных аллертов и ерроров не нашел. worker connection и ulimit хватает.
    Последний раз редактировалось Panasonic1; 27.06.2011 в 21:21.

  7. #7
    Освоившийся Аватар для jnk
    Регистрация
    07.12.2010
    Сообщений
    1,355
    чем чреват переход на новые мощности (и на .mp4 в частности, кроме возможности просмотра с любого момента) для конечного пользователя? если есть желание раскрыть планы, а не озвучивать мечты, конечно).

  8. #8
    Активный участник Аватар для Panasonic1
    Регистрация
    17.05.2010
    Сообщений
    322
    Меньше лагов, больше скорость, меньше моментов просядания при масс-ф5. У нас увечилится оперативная память в 2 раза (с 12 гб до 24) соответственно больше данных будут лежать в кэшах и тп.

  9. #9
    Активный участник Аватар для Terrens
    Регистрация
    17.05.2010
    Адрес
    Лаборатория
    Сообщений
    26,283
    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    меньше моментов просядания при масс-ф5. У нас увечилится оперативная память в 2 раза
    И можно будет снова открыть сервер Майнкрафта =))
    Только Варвар! ТОЛЬКО ХАРДКОР!
    #savedonbasspeople

  10. #10
    Новичок
    Регистрация
    24.03.2011
    Сообщений
    20
    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    С .flv есть проблема - нам нужно не только включить модуль в nginx, но и включить метаданные в сам файл .flv (для этого тратится примерно 30 минут на гигабайтный файл).
    В самые популярные дни по кол-ву стримов получается часов 6-8 видео, это примерно(2 часа ~ 1гб) 3-4гб = 2-3 часа загрузки 1 ядра, для нескольких ядер можно и за час управится, например по крону в 4-5 утра.(это всего лишь мое предложение, которое может не пройти критику, так как я всю подноготную вашей системы не знаю и ночами возможно ресурсы используются под другие вещи)

    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    При включении .mp4 возрастает нагрузка на жесткие диски примерно в 2 раза, при этом скорость отдачи сервера не повышается (тоесть как был поток 200-300 мегабит, так он и остается)
    первый раз слышу о таком, возможно еще осенью сам плагин был кривоват, его тоже постоянно пилят, где-то есть еще документированные случаи с подобной проблемой?
    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    Планируется реализовать это на новом сервере, так как у нас там имеется массив из 16 дисков (скорее всего будет RAID6), хотя возможно будет что-то типа RAID5+5+5+5, пока еще не решил.
    raid6 для хранения видео контента?
    Не думали в сторону raid10: проще восстановить, да и организовать можно и с упором на скорость чтения или на скорость записи, вообщем-то под проблему

    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    Насчет разрыва соеденений - возможно в этот момент были винты перегружены и не хватило времени отклика.
    Проверил по логам - никаких подозрительных аллертов и ерроров не нашел. worker connection и ulimit хватает.
    Спасибо за то, что так быстро проверили.
    Если не секрет, то какая у вас ОС стоит и файловая система? И для php какой opcode кешер используете xcache/apc?
    Просто постоянно сижу, смотрю стримы, и хотелось бы помочь знаниями, вдруг получится.
    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    Меньше лагов, больше скорость, меньше моментов просядания при масс-ф5. У нас увечилится оперативная память в 2 раза (с 12 гб до 24) соответственно больше данных будут лежать в кэшах и тп.
    Не пробовали с масс ф5 бороться тем, что на уровне движка отслеживать кол-во обращений к главной странице(или вообще любой), и при этом имея информацию, что сервер выдерживает только 100 r/s, то как только число становится >90, тогда весь сайт в ob_start и переменную в memcache, а nginx постоянно пытается сайт отдать из мемкеша и если там не находит страницу, то начинает уже обрабатывать php, и как только r/s снижается, то сайт чистит переменную в мемкеше. Костыль, но обеспечит небольшой антиддос при пике.
    P.S. приятно понимать, что тех часть проекта на адекватных людях
    Последний раз редактировалось BIT; 28.06.2011 в 03:43.

  11. #11
    Активный участник Аватар для Panasonic1
    Регистрация
    17.05.2010
    Сообщений
    322
    Цитата Сообщение от BIT Посмотреть сообщение
    В самые популярные дни по кол-ву стримов получается часов 6-8 видео, это примерно(2 часа ~ 1гб) 3-4гб = 2-3 часа загрузки 1 ядра, для нескольких ядер можно и за час управится, например по крону в 4-5 утра.(это всего лишь мое предложение, которое может не пройти критику, так как я всю подноготную вашей системы не знаю и ночами возможно ресурсы используются под другие вещи)
    Видео кодируется на стороне стримера, у нас есть централизованная заливка файла (через http, с помощью модуля nginx_upload_module-2.2.0) на сервер, но она еще не введена в строй.

    Цитата Сообщение от BIT Посмотреть сообщение
    первый раз слышу о таком, возможно еще осенью сам плагин был кривоват, его тоже постоянно пилят, где-то есть еще документированные случаи с подобной проблемой?
    Вполне может быть, я последний раз собирал nginx_mod_h264_streaming-2.2.7 на dev сервере, но так и не успел проверить, так как на сервере сгорел процессор... =)

    Цитата Сообщение от BIT Посмотреть сообщение
    Если не секрет, то какая у вас ОС стоит и файловая система? И для php какой opcode кешер используете xcache/apc?
    Просто постоянно сижу, смотрю стримы, и хотелось бы помочь знаниями, вдруг получится.
    На сервере водов стоит Fedora 13, файловая система XFS
    На сервере сайта Centos 5.6, в качестве php стоит php-fpm, с eacelerator


    Цитата Сообщение от BIT Посмотреть сообщение
    Не пробовали с масс ф5 бороться тем, что на уровне движка отслеживать кол-во обращений к главной странице(или вообще любой), и при этом имея информацию, что сервер выдерживает только 100 r/s, то как только число становится >90, тогда весь сайт в ob_start и переменную в memcache, а nginx постоянно пытается сайт отдать из мемкеша и если там не находит страницу, то начинает уже обрабатывать php, и как только r/s снижается, то сайт чистит переменную в мемкеше. Костыль, но обеспечит небольшой антиддос при пике.
    У нас стоит друпал и этим всё сказано....
    Последний раз редактировалось Panasonic1; 28.06.2011 в 04:52.

  12. #12
    Новичок
    Регистрация
    24.03.2011
    Сообщений
    20
    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    Видео кодируется на стороне стримера, у нас есть централизованная заливка файла (через http, с помощью модуля nginx_upload_module-2.2.0) на сервер, но она еще не введена в строй.
    дак в чем проблема в гайд для стримеров запихнуть нужную инфу по метаданным?

    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    На сервере водов стоит Fedora 13, файловая система XFS
    вам бы лучше gentoo воткнуть и ext4 ( Для водов был бы самый самолет, заточить все под hw, показатели гораздо выше и про дефрагментацию - все фигня, воды мертвый груз, туда сюда никто не перетаскивает ведь.

    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    На сервере сайта Centos 5.6, в качестве php стоит php-fpm, с eacelerator
    APC любят даже фейсбуковцы http://www.scribd.com/doc/88689/ApcFacebook
    еще и внутренний контейнер для хранения информации, по скорости выигрывает у memcache, так как не использует tcp стек для коннекта, если нет необходимости в доступе к кешу с разных машин, то мемкеш очень уступает apc

    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    У нас стоит друпал и этим всё сказано....
    друпал тоже писали люди и писали на php с возможностью расширения, у меня как раз есть 2 недели свободного времени перед отпуском, я могу этот плагин попробовать накидать для друпала(про антиддос налету по тому примеру, что описывал выше), если он вам такой действительно нужен, мне нужна только команда от вас, что да помощь нужна и контейнер типа memcache/apc для кеша при подсчете r/s

  13. #13
    Активный участник Аватар для Panasonic1
    Регистрация
    17.05.2010
    Сообщений
    322
    Цитата Сообщение от BIT Посмотреть сообщение
    вам бы лучше gentoo воткнуть и ext4 ( Для водов был бы самый самолет, заточить все под hw, показатели гораздо выше и про дефрагментацию - все фигня, воды мертвый груз, туда сюда никто не перетаскивает ведь.
    Нам важна стабильность, а не скорость (в плане операционной системы). Я много раз собирал генту и знаю что значить пересобирать мир и тп.. Темболее при какой-либо ошибки и не возможности стартануть сервер - бежать в датацентр не получится. А XFS в больших файлах выигрывает в производительности у EXT4, а так-же лучше хранит данные на диске. Раньше тоже стояла ext4, потом перешел на XFS.
    http://cacti.garage999.kz/export/graphs/graph_19_4.png - осенью поставил XFS, результат налицо


    Цитата Сообщение от BIT Посмотреть сообщение
    друпал тоже писали люди и писали на php с возможностью расширения, у меня как раз есть 2 недели свободного времени перед отпуском, я могу этот плагин попробовать накидать для друпала(про антиддос налету по тому примеру, что описывал выше), если он вам такой действительно нужен, мне нужна только команда от вас, что да помощь нужна и контейнер типа memcache/apc для кеша при подсчете r/s
    Такой костыль конечно хорошо.. но мы сейчас больше ищем оптимизаторов, которые могли бы подправить нужное, так как у меня желания копаться в этом нет...

  14. #14
    Новичок
    Регистрация
    24.03.2011
    Сообщений
    20
    Цитата Сообщение от Panasonic1 Посмотреть сообщение
    Такой костыль конечно хорошо.. но мы сейчас больше ищем оптимизаторов, которые могли бы подправить нужное, так как у меня желания копаться в этом нет...
    оптимизаторов? что именно оптимизировать нужно?
    а то я как раз этим и занимаюсь... оптимизированием клиенской части или серверной

Информация о теме

Пользователи, просматривающие эту тему

Эту тему просматривают: 1 (пользователей: 0 , гостей: 1)

Метки этой темы

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
  •