[хочу всё знать] Бинарные протоколы для мобильных клиентов

psm-home

kokoc88

protobuf

pilot

kill-still

pilot

istran

А что, архивирование json/xml на уровне http уже отменили?

kill-still

psm-home

А что, архивирование json/xml на уровне http уже отменили?

pilot

kill-still

kokoc88

И как, 30% имеет смысл?

pilot

kokoc88

Почему?

pilot

kokoc88

Странный ответ, непонятно каким образом относящийся к 30% ускорению от protobuf.

Все равно нагуглилась разница с protobuf ~30% по размеру.

И как, 30% имеет смысл?

На мобильных платформах - имеет, и ещё какой.

artimon

pilot

psm-home

pilot

kill-still

kokoc88

Пока что не читал ты, и после "и еще какой" опять не можешь ответить на вопрос "так какой?"

pilot

kokoc88

Ссылку дай плз.

pilot

okis

kokoc88

Не нашел там ни одной циферки, только твои фантазии
сколько мс экономят твои фантазии?

Все равно нагуглилась разница с protobuf ~30% по размеру.

И как, 30% имеет смысл?

На мобильных платформах - имеет, и ещё какой.

Потому что на мобильниках медленная и часто мигающая связь, медленные процессоры, и куча других проблем.

на мобильниках медленная и часто мигающая связь

медленная и часто мигающая связь

pilot

kokoc88

Только в тупого майка: так сколько мс экономят твои фантазии? Сколько это процентов времени обработки запроса?

Все равно нагуглилась разница с protobuf ~30% по размеру.

разница с protobuf ~30% по размеру.

~30% по размеру

по размеру

размеру

pilot

kill-still

kokoc88

Совсем упоролся? (

нахрена нужно экономить 30%

pilot

pilot

kill-still

kokoc88

Гнобить майка - давняя традиция

kokoc88

Там опять нет циферок о том нахрена это надо. Не тупи.

kokoc88

Вы задрали. Нет бы Марину обсудить - нет, им важнее посраться.

pilot

psm-home

о каких клиентах идет речь?

kokoc88

Зачем молчать-то? Твои бредовые фантазии будут казаться разумным ответом, не интересно, да и баттхерт твой неплох.

pilot

okis

kokoc88

Да где блин неправ-то?

Я вообще ничего не утверждал, только спросил что же улучшится и насколько.

6yrop

kill-still

девица

kokoc88

Вроде, ты пишешь, что на времени отклика это не будет заметно.

kill-still

Даже форум до сих пор имеет режим SL

stm5872449

Время отклика, то есть получения ответа от сервера, вполне может сократиться на те же 30%.

pilot

pilot

kokoc88

Anyway, в итоге для пользователя насколько будет отличаться время?

pilot

kill-still

Dasar

А ты как думаешь, насколько в среднем отличается время отправки и получения данных, объём которых на 30% меньше?

pilot

kokoc88

Один из вариантов - не насколько, если оба размера умудряются влазить в один сетевой пакет.

kokoc88

На полпроцента

pilot

kill-still

stm5872449

Anyway, в итоге для пользователя насколько будет отличаться время?

pilot

С чего ты взял? Взять вот хотя бы MMO/MOBA/FPS игры - они очень интенсивно с клиентом обмениваются.

Dasar

Ок, мне просто интересно, насколько по-твоему отличается время отправки и получения таких данных, если они влазят в один пакет?

kill-still

kill-still

1мкс

pilot

Почему?

pilot

Мобильные приложения тебе только как один из примеров того, где критичен язык обмена данными привели. Не надо только на нём зацикливаться.

Dasar

wat?

pilot

До полусекунды для 3G.

kill-still

kokoc88

Допустим размер данных 50 и 70 байт. Ответ мобильный клиент получит вместо 30мс (что уже только при очень хорошей связи) для 50 байт и за 30мс и 1мкс для 70 байт.

kokoc88

Пока ты не начал вредничать, я задавал вопрос без подтекста

Странный ответ, непонятно каким образом относящийся к 30% ускорению от protobuf.

katrin2201

kokoc88

Пользователь этого никогда не заметит

katrin2201

В реальном мире в рамблере была как раз такая история, как описана мной выше, где экономия на ускорении обработки какой-то части странички в 2 раза давала в результате полпроцента ускорения для пользователя, а разработчики носились с идеей оптимизации, рассказывая как она нас спасет.

pilot

В реальном мире ты сидишь и вдупляешь в профайлер. И вдупление в него, это такое полунаучное гадание на кофейной гуще, потому что он или семплит (причем криво) или слишком большой оверхед интродьюсит, или все сразу, и понять, что из того, что он показывает, действительно проблема - заранее почти невозможно.
Поэтому ты идешь, и как честная обезьянка переписываешь или отрезаешь на время профайлинга все вылезшие места. И каждое дает тебе микроскопический в целом выигрыш. Снова идешь в профайлер, там теперь новые места вылезли, снова переписываешь. И так через несколько итераций глядь, и количество выделяемой памяти с гигабайт в секунду упало до мегабайт в секунду, гц заткнулся и не вылазит, попугаи скакнули вверх, а в профайлере наконец-то, после облезания всей шелухи, вылезла часть, которая создает 50% общей нагрузки на цпу.

pilot

katrin2201

podluchaya

kokoc88

И требовать от рядового инженера знание деталей работы CPU/mmu/GC/VM/компилятора/OS достаточно абсурдно. Тем более странно это требовать от джавера.

podluchaya

kokoc88

надо потратить много времени на забатывание всей этой мути и еще пару лет поработать перфомансником

podluchaya

kill-still

300 мс это 3 секунды что-ли?

podluchaya

katrin2201

6yrop

Ну и, как сказали выше, джаверу знать, что есть gc, что у него там дженерейшены есть, понимать какие операции для гц наиболее тяжелы, какие очень дешевы - надо (не в мире _Но_, конечно). Иначе количество ошибок в оценке прироста от оптимизации, описанное _Но_, будет стремиться к 100%.

katrin2201

поколения GC говоришь, я вот сколько работаю они ни разу не понадобились

6yrop

Заключать из этого, что тюнить гц вообще никому никогда не должно быть нужно

katrin2201

Только сначала нужно найти кому это реально нужно. Ну или играться за чужой счет.

luna89

Разумеется. Главное, чтобы не получалось так, как у меня сейчас, например: стандартными внутренними тулзами (а-ля мавен) наш проект в облаке собирается полчаса. У меня локально с моими хаками этих тулов 30 секунд.

Dasar

Если у метода есть дженерик параметр и в теле этого метода используется лямбда, то вызов этого метода медленнее рефлекшена.

katrin2201

pilot

выигрыш от бинарного формата вместо json не очень большой и локально практически не виден.

Тем более, что всегда можно завести два ендпоинта - один с бинарным форматом для прода, и второй такой же, но с хьюман ридбл json для дебага

yroslavasako

pilot

katrin2201

katrin2201

pilot

Просто ты предпочел все остальные примеры, включая пример идущий следующим предложением, не заметить.

Ты просто так и говори честно - нам пефоманс не важен, то, что наши разработчики пишут с первого прохода нам good enough.

katrin2201

Примеры плохая штука, всякие идиоты пытаются приводить в пример какой-нибудь фэйсбук, хотя очевидно что случай совсем не типичный. Поэтому больше была бы интересна статистика.

> Ты просто так и говори честно - нам пефоманс не важен, то, что наши разработчики пишут с первого прохода нам good enough.
No> Не возводи в абсолют, и, я тебе уже писал в какой-то теме раньше, у меня к тебе вообще вопросов не будет.

Dasar

Ответ был, что в 99% случаях быстрее (специально для тебя: "экономически выгоднее" ) найти потенциальный хотспот в профайлере, пофиксить его, посмотреть на результат, сделать выводы и двинуться дальше.

katrin2201

6yrop

это не так.

Creating a delegate pointing to generic virtual method time is 1000x.
http://tips.x-tensive.com/2008/10/method-call-performance.ht...

direct call 13ms

generic 729ms

fixed generic 40ms

reflection 190ms

  

 

using System;

using System.Diagnostics;



namespace ConsoleApplication9

{

    class Program

    {

        static void Main

        {

            const int iterations = 500000;



            Method2<string>

            Method2<string>



            Method3<string>

            Method3<string>



            Method1;

            Method1;



            var methodInfo = typeof(Program).GetMethod("Method1");



            methodInfo.Invoke(null, new object[] { });

            methodInfo.Invoke(null, new object[] { });



            {

                var stopwatch = new Stopwatch;

                stopwatch.Start;

                for (int i = 0; i < iterations; i++)

                {

                    Method1;

                    Method1;

                }

                stopwatch.Stop;

                Console.WriteLine("direct call " + stopwatch.ElapsedMilliseconds + "ms");

            }



            {

                var stopwatch = new Stopwatch;

                stopwatch.Start;

                for (int i = 0; i < iterations; i++)

                {

                    Method2<string>

                    Method2<string>

                }

                stopwatch.Stop;

                Console.WriteLine("generic " + stopwatch.ElapsedMilliseconds + "ms");

            }



            {

                var stopwatch = new Stopwatch;

                stopwatch.Start;

                for (int i = 0; i < iterations; i++)

                {

                    Method3<string>

                    Method3<string>

                }

                stopwatch.Stop;

                Console.WriteLine("fixed generic " + stopwatch.ElapsedMilliseconds + "ms");

            }



            {

                var stopwatch = new Stopwatch;

                stopwatch.Start;

                for (int i = 0; i < iterations; i++)

                {

                    methodInfo.Invoke(null, new object[] { });

                    methodInfo.Invoke(null, new object[] { });

                }

                stopwatch.Stop;

                Console.WriteLine("reflection " + stopwatch.ElapsedMilliseconds + "ms");

            }

        }



        public static bool Method1

        {

            Func<string> func1 =  => string.Empty;

            Func<Type> func2 =  => null;

            func1;

            func2;

            return true;

        }



        public static bool Method2<T>

        {

            Func<string> func1 =  => string.Empty;

            Func<Type> func2 =  => null;

            func1;

            func2;

            return true;

        }



        public static bool Method3<T>

        {

            return Class1<T>.Method2;

        }



        private static class Class1<T>

        {

            public static bool Method2

            {

                Func<string> func1 =  => string.Empty;

                Func<Type> func2 =  => null;

                func1;

                func2;

                return true;

            }

        }

    }

}

 

Dasar

А я и сам на это натолкнулся еще в 2011 году. Результат на .NET Framework 4.5.1:

    public static bool Method2<T>

    {

      Func<string> func1;

      Func<Type> func2;

      Funcs(out func1, out func2);

      func1;

      func2;

      return true;

    }



    private static void Funcs(out Func<string> func1, out Func<Type> func2)

    {

      func1 =  => string.Empty;

      func2 =  => null;

    }

direct call 8ms

generic 7ms

fixed generic 17ms

reflection 185ms

6yrop

т.е. проблема в декларации делегатов внутри generic method-ов, а не в самих generic-ах

Creating a delegate pointing to generic virtual method time is 1000x.
 

kokoc88

Короче, напиши, что ты был не прав, или ты неадекват.

Если у метода есть дженерик параметр и в теле этого метода используется лямбда, то вызов этого метода медленнее рефлекшена.

6yrop

Есть разница между использованием и созданием?

A lambda expression is an anonymous function that you can use to create delegates or expression tree types.
http://msdn.microsoft.com/en-us/library/bb397687.aspx
  

Dasar

это и написано в моем посте: Creating a delegate pointing to generic virtual method time is 1000x.

    public static bool Method2<T>

    {

      Func<string> func1 = Func1;

      Func<string> func2 = Func2<string>;

      func1;

      func2;

      return true;

    }



    private static Func<string> Func1

    {

      return   => string.Empty;

    }



    static Type Func2<Type>

      where Type : class

    {

      return null;

    }

direct call 7ms

generic 14ms

fixed generic 19ms

reflection 180ms

Dasar