Оценочные системы

Отметим, что не все критерии могут допускать объективную оценку, хотя все критерии должны быть измеримыми.
В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объектов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально-числовых шкал.

Естественно, что такие критерии, как "объем продукции", "себестоимость производства", "срок окупаемости", могут быть отнесены к объективным. В то же время такие критерии, как "гудвилл", связанный с оценкой интеллектуальной собственности, "имидж фирмы", "социальная значимость проекта" и другие, могуг быть измерены лишь субъективно.

Отметим в то же время, что многие из объективных критериев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объемы производства продукции, которые станут возможными после реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания является формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к совокупности критериев, включаемых в состав оценочной системы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную процедуру. Это могут быть 2—3-туровые экспертизы, когда предварительно сформулированный перечень критериев уточняется экспертами .

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим может быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной системой.
К. этой проблеме, нередко возникающей при формировании оценочной системы, примыкает и проблема формирования иерархически упорядоченной совокупности критериев. Иерархическая структура критериев отражает, как правило, иерархическую структуру целей, стоящих перед ЛПР, методы формирования которой были обсуждены нами ранее.

Конечно, структурирование целей и критериев можно продолжать, формируя все новые и новые более низкие иерархические уровни, соответствующие большей степени детализации целей и критериев.

Однако и здесь следует помнить, что в конечном счете формируемая оценочная система лишь удобный инструментарий, позволяющий осуществлять оценку полезности объектов по многим критериям.

Поэтому чрезмерная детализация может привести к противоположному результату — усложнить процесс оценки, что, в свою очередь, не способствует получению адекватной оценки объекта.

Во многих случаях целесообразным при определении состава критериев является использование наряду с методами экспертного оценивания методов, соединяющих возможности экспертного оценивания и формализованные математико-статистичеекие подходы.

К числу таких математико-статистических подходов могут быть отнесены факторный и корреляционный анализы.

Дополнительные возможности при определении состава критериев, предназначенных для оценки объектов, возникают при эффективном сочетании методов экспертного оценивания и многомерного неметрического либо метрического шкалирования.

Завершать процедуру формирования перечня критериев должен содержательный анализ полученной совокупности критериев, предназначенных для формирования оценочной системы объектов, представляемых на экспертизу.

Определение сравнительной важности критериев

Когда альтернативы оцениваются не по одному, а по нескольким факторам, признакам, критериям, сложность анализа и обработки результатов экспертиз существенно возрастает.

Более трудоемким становится определение их сравнительной предпочтительности, предполагающее знание того, какие критерии и в какой степени влияют на оценку альтернатив при выработке и принятии управленческих решений как при сравнительных оценках альтернатив, имеющих явно выраженный количественный характер, так и при их качественных оценках.

После выявления критериев, определяющих оценки альтернатив, часто возникает задача формирования обобщенного критерия, с помощью которого можно рассчитать оценки альтернатив по оценкам значений частных критериев.

Далее будут более детально рассмотрены методы формирования линейных обобщенных критериев и обобщенных критериев более сложного вида, В их основе лежат различные предположения о природе обобщенных критериев и характере анализируемой информации.