Курсовая работа: Методы организации сложных экспертиз компьютерных систем

1) показатель производительности процессоров на операциях с данными целочисленного типа (integer) MIPS (MillionInstructionPerSecond - миллион машинных команд в секунду) - отношение числа команд в программе к времени ее выполнения;

2) показатель производительности процессоров на операциях с данными вещественного типа (floatpoint) MFLOPS (миллион арифметических операций над числами с плавающей точкой всекунду).

С понятием MIPS связывалась ранее и другая метрика, основанная на производительности вычислительной системы DECVAX 11/780. Еще одно определение MIPS используется пользователями и производителями техники IBM, когда за норму выбирается одна из моделей RS/6000. При этом 1 MIPSIBM = 1.6 MIPSDEC.

При всей кажущейся простоте критерия оценки (чем больше MIPS (MFLOPS), тем быстрее выполняется программа) его использование затруднено вследствие нескольких причин:

1. Процессоры разной архитектуры (особенно RISC) имеют различный набор команд. Так, совмещенная операция умножения и сложения векторов в процессоре POWER 2 существенно сокращает число операций. Кроме того, можно выделить "быстрые" (например, сложение, вычитание) и "медленные" (например, деление) операции, а в результате рейтинг MFLOPS для разных программ окажется разным.

2. Применение математических сопроцессоров и оптимизирующих компиляторов увеличивает производительность системы, однако рейтинг MIPS может уменьшиться, так как время выполнения команд для операций над данными с плавающей точкой значительно больше и за единицу времени может быть выполнено меньшее число команд, нежели при выполнении соответствующих этим командам подпрограмм.

3. Научные приложения в основном связаны с интенсивными вычислениями над вещественными числами с плавающей точкой, коммерческие и офисные – с целочисленной арифметикой и обработкой транзакций баз данных. Графические приложения критичны и к вычислительным мощностям, и к параметрам графической подсистемы.

Ещё более сложные проблемы появляются при необходимости оценок многопроцессорных систем, в частности SMP (SymmetricMultiProcessing – симметричная мультипроцессорная обработка) к МРР(MassivelyParallelProcessing - обработка с массовым параллелизмом). В целом показатели MFLOPS и MIPS зависят от архитектуры процессора и типа выполняемой программы. Такое положение привело к разработке и использованию ряда тестов, ориентированных на оценку вычислительных систем с учетом специфики их предполагаемого использования. Поэтому оценка процессоров с разной архитектурой основана на создании тестовой смеси из типовых операторов, влияющих на их производительность.

1.1 Тесты DHRYSTONE , LINPACK и "ЛИВЕРМОРСКИЕ ЦИКЛЫ"

Для работы с показателями MIPS и MFLOPS чаще всего используются системы тестов Dhrystone, LINPACK и "Ливеморские циклы".

Тестовая смесьDhrystone состоит из 100 команд: 53 - операторы присвоения, 32 - управления и 15 - вызова функций. Результатом работы этого теста является число Dhrystone в секунду. При этом на системе DECVAX 11/780 результат составлял 1757 Dhrystone, и поэтому считалось, что 1 DECMIPS равен 1757 Dhrystone. Сейчас Dhrystone практически не применяется.

Тесты LINPACK и "Ливерморские циклы" появились в середине 60-х гг.

"Ливерморские циклы" состоят из фрагментов программ для решения численных задач на языке Фортран, имеющих реальное хождение в Ливерморской национальной лаборатории им. Лоуренса в США. В этих фрагментах используются различные вычислительные алгоритмы: сеточные, последовательные, волновые, что существенно относительно соответствия вычислительных и аппаратных структур. Соответствие этих структур друг другу должно обеспечить максимальную эффективность вычислений. При проведении тестовых испытаний может использоваться либо набор из 14 циклов (малый набор), либо набор их 24 циклов (большой набор). При использовании векторных и параллельных машин важным фактором, определяющим эффективность работы для конкретного приложения, является коэффициент векторизуемости алгоритма. На "Ливерморских циклах" этот коэффициент составляет от 0 до 100 % , что подтверждает возможность их применения для широкого круга вычислительных систем.

LINPACK включает набор программ на Фортране, предназначенных для решения систем линейных алгебраических уравнений. Важность этого тестового набора, так же как и "Ливерморских циклов", определяется практической значимостью и применимостью этих алгоритмов для решения реальных задач. В основе используемых в LINPACK алгоритмов лежит метод декомпозиции: исходная матрица представляется в виде произведения двух матриц стандартной структуры, к которому собственно и применяется алгоритм нахождения решения. Важная особенность системы LINPACK - ее структурированность. В частности, выделяется базовый уровень системы, обеспечивающий реализацию элементарных операций над векторами, куда входят подпрограммы умножения векторов на скаляр и сложения векторов, а также скалярного произведения векторов. Этот уровень называется BLAS (BasicLinearAlgebraSubprograms). Все операции выполняются над вещественными числами двойной точности, а результат измерения выражается в М FLOPS.

В настоящее время используются два уровня теста: LINPACKDP- для исходной матрицы размером 100x100 и LINPACK ТРР - для матрицы размером 1000x1000. Для многих современных вычислительных систем первый уровень этого теста может дать заведомо превосходящие возможности системы результаты за счет того, что исходная матрица размером 100x100 может быть целиком размещена в кэш-памяти. Использование теста LINPACK ТРР пока снимает эту проблему, однако даже и этот тест для систем с массовым параллелизмом не может быть использован. Для таких систем рекомендуется тест LINPACKHPC (HighlyParallelComputing), который позволяет полностью загрузить вычислительные ресурсы МРР-системы, увеличивая размеры матрицы. При этом следует иметь в виду, что для параллельных систем (SMP и МРР) применяются специальные варианты этого теста, обеспечивающие распараллеливание вычислений.

1.2 Методика SPEC

Ведущие производители компьютерных систем в 1988 г. создали некоммерческую корпорацию SPEC (StrandardPerformanceEvaluationCorporation), призванную дать объективную оценку производительности вычислительных систем. Корпорация SPEC является разработчиком тестов, проводит тестирование и публикует результаты в специальном бюллетене "TheSPECNewsletter", который размещается на WWW-сервере www.SPEC.com. Оценки, публикуемые комитетом SPEC, являются официальными, признаваемыми всеми разработчиками тестов.

Основным набором в SPEC был тест SPECint89 для оценки процессора на операциях с данными целочисленного типа и SPECfp89 для оценки при работе с данными вещественного типа. Появление в начале 90-х гг. нового поколения RISC-процессоров (PowerPC, РА-7200, MIPS, Rxxxx) сделало невозможным использование этого набора из-за резкого уменьшения времени выполнения и влияния на производительность оптимизирующихкомпиляторов. Тестовый набор был преобразован в смеси SPECint92 и SPECfp92, учитывающие эффективность работы с памятью. Производительность тестируемой системы измерялась в условных единицах относительно базовой DECVAX 11/780.

Комплексный показатель качества по методике SPEC определяется как среднегеометрическое времени выполнения программ, входящих в тестовую смесь. При этом использовалось среднее значение дли всех тестов, образуемых SPECint92 и SPECfp92. С разработкой нового поколения оптимизирующих компиляторов для RISC-процессоров консорциум SPEC в 1994 г. внес новые поправки-требования к используемым компиляторам. Тесты получили название SPECbase_int92 и SPECbase_fp92 и применялись для оценки работы в однозадачном режиме. Известно, что некоторые однопроцессорные системы способны выполнить одну задачу быстрее многопроцессорных, однако этот факт не дает полной картины интегрального поведения системы в целом, так как многопроцессорные комплексы могут выполнять больше заданий в единицу времени, поэтому в режиме многозадачности оценка производительности основана не на вычислении времени выполнения тестовой смеси, а на пропускной способности системы, измеряемой количеством заданий выполненных за единицу времени.

Если один процессор за минуту выполняет одну работу, а система из четырех процессоров делает это за две, то многопроцессорная система работает в два раза медленнее, но имеет загрузку в два раза больше, чем однопроцессорная. Загрузка находится в прямой зависимости от размера кэш-памяти, скорости шины емкости оперативной памяти.

Набор тестовых программ для оценки пропускной способности SPECrate полностью аналогичен наборам SPECint92 и SPECftp92 - этоте же программы, но размноженные на несколько одновременно запускаемых копий. Результирующее значение по методике SPECrate вычисляется по формуле:

SPECrate = число_копий * ref_const * cpu_const / общее_время.

Число одновременно выполняемых задач может выбиратьсяпроизвольным образом. Очевидное решение - число, равное количеству процессоров, однако для каждойконкретной архитектуры возможны свои особенности. Величины ref_const и cpu_const для каждого теста являются постоянными коэффициентами. Общее время - время завершения последней из всех запущенных работ.

В методике используется принцип одноразрядной загрузки (тестовая смесь SPECint92 и SPECftp92), а в качестве конечного результата выступает среднее значение по всем тестам. При работе в мультипрограммной системе может варьироваться количество запускаемых копий, а время фиксироваться по завершении выполнения последней копии. Оценки по данной методике называются SPECrate_int92 и SPECrate_ftp92.

Cоктября 1995 г. для оценки производительности процессоров, оперативной памяти и компиляторов был объявлен новый тестовый комплект, включающий SPECint95 для операций с данными целочисленного типа и SPECftp95 - для операций с данными вещественного типа. Эти тестовые наборы предъявляют следующие ограничения и требования: достаточно большой размер кода и данных, чтобы он гарантированно не размещался целиком в кэш-памяти; увеличения времени выполнения тестов с секунд до минут; реалистичность используемых фрагментов программ; применение усовершенствованного способа измерения времени; реализация более удобных инструментальных средств; стандартизация требований к компиляторам и методов вызова. Оценка систем проводится после пересчета результатов измерений по итоговому рейтингу— ранжировке систем относительно производительности базового процессора в соответствии с комплексным показателем. Подчеркивается, что задача комплексной оценки вычислительной системы в целом, включая периферийное оборудование, графическую подсистему, сетевое оборудование, ввод-вывод данных, остается за рамками тестов SPECint95 и SPECftp95.

В табл. 3.1 приведены результаты тестирования некоторых процессоров.

Таблица 3.1 Результаты тестирование микропроцессоров

Микропроцессор	Разрядность	Частота, МГц	SPECint95	SPECftp95
Alpha 21164	64	433	12,4	17
PentiumPro	32	233	9.3	7.4
UltraSPARC	64	200	6.5	11
Alpha 21164	64	466	13	18
MIPS R10000	64	275	12	24
UltraSPARC-II	64	250	8.5	15
POWER2 Super	32	133	5.5	15

Кроме собственно тестового набора комитетом SPEC разработан и инструментарий, использование которого является обязательным;

• средства оценки, основанные на вычислении среднего времени из серии запусков, исключающие внесение какого-либо дополнительного пользовательского кода или использование произвольной выборки из серии запусков тестовых программ. В отчете присутствует "базовое" время (Referencestime) — времявыполнения теста на эталонной машине, в качестве которой используется SPARCstation 10/40 в конфигурации с кэш-памятью второго уровня. В отчет включается также относительное время выполнения тестов по сравнению со временем отработки тестов на эталонной машине; Эта оценка является основной для данного набора;