[soft] benchmarking
есть что-нибудь лучше?
Нет ничего хуже!
Уж ПСМарк лучше используй - хоть какие-то реальные результаты...
Что ты разумеешь под реальными приложениями? Приложений много, какие ты собираешься использовать?
Офис, Фотошоп, например.
>Нет ничего хуже!
мде? наверное, есть и аргументы?.. и ссылки?...
мде? наверное, есть и аргументы?.. и ссылки?...
Какова цель?
мде? наверное, есть и аргументы?..
Хочешь покажу, что сандра показывает в случае двухпроцессорного компа? Мне лично одного этого хватает... + непонятно, ЧТО она делает. Попугаи получаются совершенно абстрактные - так что говорить об упоре на реальные приложения в этом случае просто бессмысленно.
Если хочешь работать в Фотошопе - то и тестируй фотошопом. Два метода:
1. Не совсем корректный - использование сценариев PSBench (могу их тебе залить).
2. Более корректный, но и более геморройный - замерять время запуском фильтров и разных других действий ручками. На больших картинках, есессно. С перезагрузкой после каждого запуска
Еще можно тестить АутоКАДом, 3DSMax - да много чем еще. Кодированием МП3, МПЕГ4, архиватором (подсистему памяти офигительно бенчмаркит - на все изъяны чутко реагирует).
>Хочешь покажу, что сандра показывает в случае двухпроцессорного компа?
Не хочу, видел...
(но в последней они про это сами честно написали в факе)
Скажем так - для данного фикс. компа отношения производительности при разных СИСТ. настройках она показывает, ИМХО, довольно правильно
P.S.[no offense] Ты слишком подробно пишешь, кстати... Могут подумать, что не отец
Не хочу, видел...
(но в последней они про это сами честно написали в факе)Скажем так - для данного фикс. компа отношения производительности при разных СИСТ. настройках она показывает, ИМХО, довольно правильно
P.S.[no offense] Ты слишком подробно пишешь, кстати... Могут подумать, что не отец
А чего за PSBench и почему это некорректно?
Не хочу, видел... (но в последней они про это сами честно написали в факе)В люьом случае, человек просил реальных бенчей, а не абстрактных.
Скажем так - для данного фикс. компа отношения производительности при разных СИСТ. настройках она показывает, ИМХО, довольно правильно
А чего за PSBench и почему это некорректно?Вот:
При тестировании я не пользовался пакетами тестов вроде WinStone и скриптами (т.е. «экшенами) для Photoshop по следующим причинам.
Во-первых, тестовые пакеты включают в себя не только бенчмарки собственно в Photoshop и, соответственно, под Photoshop не оптимизируются. Это приводит к тому, что набор функций и фильтров Photoshop, с помощью которых получают результаты, является во всех вариантах далеко не полным, а во многих случаях еще и неоптимальным. Кроме того, создатели тестовых пакетов всегда стремятся, чтобы их детище смогло запуститься и выдавать корректные результаты на совершенно различных аппаратно-программных конфигурациях. А как Вы понимаете, эти конфигурации могут быть очень различными. Так как тестовые пакеты проектируются так, чтобы работать не только на самом современном оборудовании, то все бенчмарки этих пакетов усредняются и приводятся к общему “аппаратному” знаменателю. Например, по объему памяти в 64Mb. Таким образом уменьшается исходный файл, над которым и проводятся все операции Photoshop, заложенные в тестовый пакет. А уменьшение файла ведет к уменьшению времени, затрачиваемого на выполнение операций, что на быстрых современных системах ведет к тому, что влияние погрешностей в измерении становится недопустимо высоким. Например, увеличение изображения с 1Mb до 25Mb занимает на современных платформах с частотой процессора от 1 GHz и выше всего около одной (!) секунды. Однако для корректного выполнения такой операции требуется значительный объем памяти – не менее 512Mb. А так как я выше говорил о том, что все комплексные бенчмарки оптимизируются под гораздо меньший объем памяти, то, следовательно, аналогичное действие, то есть изменение размера, будет проводиться не над одномегабайтным файлом в двадцатипятимегабайтный, а скорее всего из 100Kb в 1Мb. На современных платформах эта операция займет меньше одной десятой доли секунды – прибавьте сюда погрешность и Вы поймете, почему Pentium III 1GHz сможет запросто обогнать в тестовом пакете гораздо более мощный Athlon 1.33GHz по результатам в Photoshop. И этот “феномен” будет объясняться вовсе не какой-то тайной оптимизацией, а простой ошибкой, вызванной наложением погрешности на несопоставимо малое время самого действия. Кстати, сказав слово “погрешность” необходимо добавить, что сам Photoshop является очень нестабильным бенчмарком, то есть выдает весьма разные результаты на одной и той же аппаратной конфигурации в зависимости от того, какие действия были произведены до тестирования непосредственно в Photoshop. Другими словами, если корректный результат в 3DMAX получить совершенно не сложно, то тестирование в Photoshop напоминает те самые пляски с бубном, а именно - перезапуск перед каждым тестом и повторение каждого теста по 2-3 раза, с усреднением результата. В противном случае разброс до 20% на больших файлах гарантирован. На маленьких же файлах тестирование новейших платформ совершенно не имеет смысла, так как временной размер погрешности будет превосходить время, затрачиваемое на выполнение самых сложных операций в разы.
Итак, я объяснил, почему нельзя серьезно воспринимать результаты систем в Photoshop, полученные с помощью тестовых пакетов. Однако, помимо тестовых пакетов существуют так называемые скрипты, то есть записанные последовательности действий операций Photoshop. По сравнению с комплексными тестировочными пакетами скрипты имеют большое преимущество – они оптимизированы именно под Photoshop, так как предусматривают тестирование только в этой программе. Вы без труда можете найти скрипты с любым объемом исходного изображения, наиболее продвинутые скрипты также выполняют действия многократно. Однако все скрипты производят все свои операции без единой перезагрузки, потому что при создании скриптов Photoshop нельзя добавить такое “событие” как перезагрузка системы. А без перезагрузки оперативная память очень быстро оказывается в прямом смысле «загаженной» остатками прошлых событий, и для всех последующих действий получается неверный результат. В этом очень просто убедиться лично - создайте максимальный по размеру файл, которым можно оперировать на Вашей системе без обращения к жесткому диску и примените последовательно фильтр Gaussian Blur (с любыми настройками Undo, снова Gaussian Blur (c теми же настройками снова Undo, и так, к примеру, 5 раз. Вы увидите, что время выполения второго цикла меньше, чем первого, а третьего – меньше чем второго. Это значит, что Photoshop частично сохраняет, то есть частично кеширует результаты действий, производимых пользователем. Именно поэтому нет никакого смысла проводить несколько “одинаковых” замеров без перезагрузок, что часто встречается в скриптах для тестирования Photoshop. Однако, это еще не все. Если кеширование действий, которое производит Photoshop положительно сказывается на времени выполнения точно такого же действия, то время выполнения любого другого действия только увеличивается вследствии того, что, во-первых, на кеширование тратится память, и ее может просто не хватить для выполнения следующего действия, а во-вторых, должно тратиться время на упорядочивание уже закешированных данных и их обновления. Это не будет очень заметно на небольших файлах, однако продолжительная работа со среднего размера файлами может ввести систему в настоящий ступор, когда значительная часть используемой памяти окажется виртуальной, т.е. гораздо более медленной нежели оперативная. То есть объема оперативной памяти хватает с лихвой для однократного действия над файлом среднего размера, но серия действий приводит к постепенному забиванию большой части памяти кешированными данными и переходу на своп-файл. Именно поэтому большинство профессионалов, работающих с большими файлами регулярно очищают память с помощью специальных программ, и именно поэтому никакого практического смысла результаты тестирования скриптами не имеют. В этом также очень легко убедиться, скачав любой скрипт и прогнав его несколько раз, убедившись в разнице результатов. Еще раз повторюсь, что особенно остро эта проблема получения корректных результатов стоит при тестировании современных систем.
Взято
отсюда
Если вкратце то проблема в кэшировании.
то проблема в кэшировании.Оставить комментарий
Hastya
Люди, нужна хорошая программа для бенчмарков. С упором на реальные приложения, процессор+память+диск. Я слышал только про Сандру, есть что-нибудь лучше?