После проведения опроса группы экспертов осуществляется обработка результатов. Исходной информацией для их обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.
Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Поэтому возникают следующие основные задачи обработки экспертных оценок:
· построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
· построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;
· определение коэффициентов весомости объектов;
· определение согласованности мнений экспертов;
· оценка надежности результатов обработки.
В соответствии с поставленными задачами математико-статистические методы обработки экспертных оценок подразделяются на следующие подгруппы методов:ранжирование, непосредственное оценивание, сопоставление (последовательное сопоставление и парные сравнения).
Метод рангов (ранжирования) предусматривает ранжирование (упорядочение) исследуемых объектов в зависимости от их относительной значимости (предпочтительности), осуществляемое экспертом.
Ранжирование применяется в следующих ситуациях:
· когда необходимо упорядочить какие-либо объекты во времени или пространстве;
· когда необходимо упорядочить объекты в соответствии с каким-либо измеримым качеством, но при этом не требуется производить его точное измерение;
· когда какое-либо качество в принципе измеримо, однако в настоящий момент не может быть измерено по причинам практического или теоретического характера.
Сущность процедуры ранжирования заключается в следующем: наиболее предпочтительному объекту присваивают ранг 1, а наименее предпочтительному – последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Результирующие ранги объектов ранжирования по данным опросов определяются как суммы рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний – тому, у которого оказалась наибольшая сумы рангов, т.е. наименее значимому объекту.
Коэффициенты весомости каждого из объектов ранжирования b i ранг (при условии, что сумма всех коэффициентов весомости b i ранг от 1 до n равна единице) рассчитывается по формуле
b i ранг = (n – r n + 1)/S n
где n – число исследуемых объектов; r n – результирующий ранг исследуемого объекта; S n – сумма результирующих рангов.
Точность и надежность этого метода в значительной степени зависят от количества объектов. Чем меньше объектов, тем выше их различимость с точки зрения эксперта, а следовательно, тем более надежно можно установить ранг объекта. Количество ранжируемых объектов не должно быть больше 20, а наиболее надежна эта процедура, когда количество ранжируемых объектов меньше 10.
Метод непосредственного оценивания (балльный метод) представляет собой упорядочение исследуемых объектов в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Наиболее распространенными диапазонами шкалы оценок являются: от 0 до 1,0; от 0 до 5,0; от 0 до 10,0; от 0 до 100.
Результирующие оценки объектов оценивания по данным опросов определяются как суммы баллов для каждого объекта. Затем по результатам оценок определяется ранг. При этом первый ранг присваивается тому объекту, который получил наибольшую сумму баллов, а последний – тому, у которого оказалась наименьшая сумма баллов, т.е. наименее значимому объекту. Коэффициенты весомости каждого исследуемого объекта определяют по формуле
где В i – коэффициент весомости оцениваемого объекта (i =1,2,3, … , n ), рассчитанный на основании оценок экспертов (j = 1,2,3, … ,k ); А ij – оценка в баллах данная i -му объекту j –м экспертом.
Метод сопоставления позволяет осуществлять парное или последовательное сопоставление.
При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный. Все возможные пары объектов эксперт представляет в виде записи каждой из комбинаций (объект 1 – объект 2, объект 2 – объект 3 и т.д.) или в форме матрицы (табл. 4.4).
Таблица 4.4 . Индивидуальная матрица оценки объектов методом парного сравнения
Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме. Экспертные оценки формируются в процессе проведения экспертизы-исследования определенного объекта индивидуумом или группой компетентных специалистов с целью формирования информации об интересующих характеристиках, свойствах объекта, используемой при принятии решений. Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обобщенных данных и новой информации. Экспертные методы широко используются при синтезе процессов управления сложных систем, в менеджменте, при разработке и принятии решений, для получения различного рода оценок. Например, качества труда, надежности банка, ситуаций на финансовых рынках, исследовании систем управления и других случаях.
Известны различные формы организации проведения экспертиз: индивидуальные и коллективные, одноуровневые и многоуровневые, с обменом информацией между экспертами и без него, анонимные, открытые и т. д. При всем широком многообразии типовых схем проведения экспертиз, практика часто ставит задачи, решение которых требует применения нетрадиционных, оригинальных подходов специалистами-организаторами по проведению экспертиз.
Для успешного решения указанных задач специалисты по проведению экспертизы должны владеть и умело руководствоваться на практике принципами рациональной организации и проведения экспертиз, методами получения, анализа и обработки экспертной информации, методами анализа результатов экспертизы. Для обеспечения получения высокоточных результатов экспертизы необходимо сформировать экспертную комиссию, включающую специалистов-профессионалов по исследуемым характеристикам, свойствам и аспектам рассматриваемого объекта, создать аналитическую группу специалистов-профессионалов по проведению экспертиз, организовать процесс корректной обработки и анализа информации, получаемой в процессе экспертизы.
Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов. Широта решаемой проблемы, определяемая количеством различных аспектов, связана с установлением нижней границы количественного состава экспертной комиссии, то есть количество экспертов должно быть в комиссии таковым, чтобы каждый аспект, направление исследования было закреплено как минимум за конкретным специалистом. Достоверность оценок связана с уровнем знаний экспертов и их количеством. При соответсвующем уровне знаний увеличение количества членов экспертной комиссии должно приводить к возрастанию достоверности результатов экспертизы. Величину располагаемых ресурсов на проведение экспертизы с учетом пропорциональности количеству привлекаемых экспертов следует использовать при определении верхней границы количественного состава экспертной комиссии. Таким образом, указанные ориентиры в конкретных случаях позволяют определиться с количественным составом экспертной комиссии.
Характеристики группы экспертов, включаемых в экспертную комиссию, определяются на основе индивидуальных их характеристик, а именно: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, коллективизма, самокритичности.
Компетентность – это обладание определенными знаниями, позволяющее индивидуму высказывать суждения по определенному кругу вопросов. Степень компетентности может характеризоваться коэффициентом компетентности. Известны различные методы определения значений коэффициентов компетентности. Их подразделяют на априорные, апостериорные и тестовые.
В априорных методах оценки качества эксперта не используется информация о его суждениях, имевших место в предшествовавших экспертизах. К этой группе методов относятся:
метод самооценки с использованием балльной шкалы (3-балльной, 5-балльной и т. д.);
метод самооценки с использованием вербально-числовых шкал, в которых наряду с содержательно описываемыми наименованиями их градаций содержатся соответствующие им численные значения или их диапазоны;
дифференциальный метод самооценки, в котором рассчитывается комплексная самооценка как полусумма самооценки степени знакомства эксперта с основными источниками информации в рассматриваемой области и взвешенной с учетом коэффициента сравнительной весомости самооценки знакомства эксперта с изучаемым объектом;
методы взаимной оценки экспертов, основанные на получении различными способами взаимооценок экспертов (формирование списков компетентных специалистов, формирование матриц взаимооценок экспертов в баллах, в числовых оценках предпочтительности компетентности I-го эксперта над_j-тым и т. д.) и их последующей обработки с целью получения оценок компетентности каждого эксперта, входящего в состав экспертной комиссии;
документационный метод, предлагающий ориентироваться на объективные характеристики эксперта, а именно: стаж работы, наличие ученой степени, занимаемая должность, количество научных трудов и т. д.
Апостериорные методы оценки качества эксперта базируются на использовании информации о его суждениях, имевших место в экспертизах, проведенных с его участием. К таким методам относятся:
метод оценки качества эксперта на основе его ответов, базирующийся на анализе результатов парных сравнений, выполняемый с целью выявления нелогичностей (противоречий) и вычислении коэффициента компетентности с учетом количества выявленных нелогичностей в суждениях испытуемого эксперта;
метод расчета коэффициента отклонения суждений эксперта, базирующийся на сравнении расстояния от индивидуальной оценки эксперта до результирующей с максимально возможным расстоянием.
Тестовые методы оценки качества эксперта нацелены на распознавание профессиональной пригодности испытуемого, а также выявление наличия необходимых навыков и опыта для эффективного участия в работе экспертной комиссии. Для успешного проведения тестового эксперимента необходимо выполнение следующих условий: целенаправленность содержания теста на конкретные объекты экспертизы; наличие шкалы, позволяющей оценить степень точности оценок эксперта; максимальная приближенность тестовых оценок эксперта их истинным значениям; возможность установления допустимых пределов отклонений оценок эксперта от их истинных значений; минимальная вероятность случайного угадывания экспертом истинной оценки.
Если оценка компетентности экспертов может носить количественный характер, то такие характеристики как креативность (способность решения творческих задач), конформизм (подверженность влиянию суждений авторитетов), отношение к экспертизе, конструктивность мышления, коллективизм, самокритичность имеют, как правило, качественный характер.
Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость формирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой. В качестве такой интегральной оценки, получаемой альтернативным путем, возможно применение значения достоверности суждений эксперта, определяемого как отношение числа случаев выданных экспертом рекомендаций, приемлемость которых подтверждена практикой, к общему числу случаев участия эксперта в выработке рекомендаций.
Опрос экспертов является одним из значимых этапов процесса организации и проведения экспертизы. В ходе реализации этого этапа осуществляется выявление и констатация суждений экспертов по существу исследуемого объекта. Форма проведения опроса фактически является основой, определяющей вид метода организации и проведения экспертизы. Основными формами опроса являются: анкетирование, инрервьюирование, метод Дельфы, мозговой штурм, дискуссия.
В ходе анкетирования осуществляется опрос экспертов в письменной форме с помощью анкет. Анкета – составляемый организаторами проведения экспертизы список вопросов, предъявляемый экспертам, ответы которых служат исходными эмпирическими данными для обобщений и выводов. В процессе разработки анкеты организаторы экспертизы, ориентируясь на ее цели и задачи, должны составить перечень вопросов, тщательно отрабатывая их содержание, выбирая форму и последовательность. При этом следует избегать вопросов, на которые невозможно ответить или отвечать не требуется.
По содержанию вопросы подразделяют на три группы, а именно: объективные характеристики эксперта (фамилия, имя, отчество, год рождения, образование, специальность, стаж работы по специальности и т. д.); характеристики исследуемых аспектов объекта, сведения вспомогательного характера об источниках информации, располагаемой экспертом, о процессе аргументации суждений эксперта и т. п.
По форме вопросы бывают открытые, закрытые и с веером ответов. Открытые вопросы допускают возможность ответа в произвольной форме. Достоинством их является возможность взглянуть на рассматриваемые аспекты объекта с различных сторон, выявить широту мнений экспертов по исследуемым аспектам объекта экспертизы. В качестве недостатка следует отметить затруднения в их обработке, например, с точки зрения их интерпретирования, построения таблиц, графиков и т. п. Закрытые вопросы предполагают ответ эксперта в форме «да» – истина, «нет» – ложь, «не знаю» – затрудняюсь ответить. Эта форма вопросов эффективна при необходимости выявления мнения большинства экспертов по каким – либо аспектам исследуемого объекта, то есть при необходимости проведения «голосования» экспертов. Достоинством их является простота обработки, недостатком – узкий спектр их применения. Вопросы с веером ответов предоставляют возможность эксперту делать выбор из совокупности подготовленных ответов. Обычно такие вопросы готовят в ситуациях с наличием нескольких направлений в исследуемом аспекте объекта, с целью выявления наиболее перспективного направления для его реализации.
Последовательность включения вопросов в анкету также является важным элементом разработки анкеты. Вопросы должны включаться в анкету в логической последовательности. Вначале следует разместить вопросы, характеризующие объективные данные об эксперте, затем последующие вопросы должны пробудить интерес, честолюбие экспертов блеснуть профессионализмом по исследуемым аспектам объекта. При этом рекомендуется учитывать последовательное увеличение степени трудности задаваемых вопросов. При многотуровом анкетировании в условиях сложности объекта и неопределенности информации об объекте исследования рекомендуется начальные туры проводить на основе открытых вопросов, а последующие – на основе вопросов с веером ответов и закрытых.
Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы. Для успешного проведения интервью интервьюер должен тщательно его спланировать, проработать состав и очередность задаваемых вопросов с учетом приведенных выше рекомендаций, заранее сообщить испытуемым (экспертам) тему опроса, не знакомя их с конкретным перечнем вопросов. Опрос следует проводить динамично, задавать прямые и уточняющие вопросы с целью получения достоверной и достаточно полной информации. Результаты опроса интервьюер может дополнить своими личными наблюдениями. Живой контакт с испытуемым (испытуемыми) позволяет интервьюеру быстрее выявить полезные сведения об исследуемом объекте, формулируя очередные вопросы с учетом полученных ответов на уже заданные. Однако, при этом не следует забывать и о возможности негатива, связанного с влиянием интервьюера на ответы экспертов, с возрастанием вероятности неточных ответов, из-за ограниченного времени на продумывание ответов, с возможной неоправданно большой продолжительностью опроса при групповом исследовании.
Метод Дельфы (Дельфы – древнегреческий город располагавшийся у подножия горы Парнас, где находился так называемый дельфийский оракул) на сегодня представляет собой совокупность способов организации проведения экспертизы, опроса экспертов, обработки и оценки их результатов, получения группового заключения, удовлетворяющих определенным общим требованиям. Сущность метода заключается в организации итерационного (многотурового) процесса выявления суждений экспертов по возможным альтернативам исследуемого объекта с последовательным сужением размаха в оценках экспертов соответствующих альтернатив на основе предоставления им дополнительной информации на второй и последующих итерациях с целью выявления одной или нескольких обоснованных точек зрения экспертной комиссии по исследуемому объекту. При реализации метода должны выполняться следующие требования: анонимность каждого включенного в Проведение экспертизы эксперта и информации по сути исследуемого объекта, сгенерированной конкретным экспертом в процессе проведения экспертизы; наличие обратной связи в процессе проведения экспертизы, выражающейся в передаче на последующем шаге (туре) другим экспертам анонимной информации, сгенерированной конкретными экспертами на предшествующем шаге, для принятия решения по уточнению своих оценок; получение групповой оценки на основе обработки индивидуальных оценок членов группы. При этом значимым является обеспечение возможности давать экспертам ответы на поставленные вопросы преимущественно в количественной форме, организация достаточной информированности экспертов, системное обоснование своих точек зрения экспертами.
Экспертизы по методу Дельфы, как правило, проводят в несколько туров. Число туров определяется в ходе анализа результатов очередного тура и часто лежит в пределах от трех до пяти. В качестве формы опроса экспертов в основном применяется анкетирование, хотя и не исключаются и другие формы индивидуального опроса. В первом туре экспертов знакомят с целью проведения экспертизы, информируют о сущности рассматриваемого объекта, предъявляют перечень вопросов, ответы на которые обрабатываются, анализируются аналитиками с целью выявления крайних значений оценок – верхней и нижней границы, а также их обоснований, высказанных определенными экспертами. Находится среднее значение или медиана по результатам высказываний членов экспертной группы. Устанавливается величина разброса экспертных оценок, на основе которой делается заключение о согласованности точек зрения экспертов. Полученные результаты первого тура доводятся до экспертов с указанием расположения их собственных оценок. Во втором и последующих турах эксперты либо аргументируют свои оценки сильно отклоняющиеся от средних значений, либо корректируют их, находя новые доводы в пользу изменения их значений с учетом поступившей к ним дополнительной информации. Полученные данные вновь обрабатываются, анализируются с доведением результатов до экспертов. Анализ проводится в том числе и на предмет принятия решения о продолжении или прекращении проведения следующих туров, в случае получения достаточной степени согласованности мнений экспертов по альтернативам исследуемого объекта.
Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей. Организация проведения мозгового штурма достаточно подробно изложена в разделе 7.2.
Дискуссия как форма опроса экспертов проводится в виде открытого обсуждения рассматриваемой проблемы, с целью нахождения наиболее адекватных путей ее решения, выявления наиболее значимых факторов, влияющих на ее возникновение и развитие, системной оценки достоинств и недостатков результатов реализации возможных способов ее разрешения. Для организации и управления проведением дискуссии формируется группа управления с целью четкой формулировки сущности обсуждаемых задач, определения требований к экспертам и осуществления их подбора, разработки методики и регламента проведения дискуссии. Существенная роль в дискуссии отводится ведущему в создании творческой благоприятной обстановки для свободного изложения конструктивных идей выступающими по существу дискутируемых вопросов, в умении кратко и емко резюмировать выступления, в организации генерации эффективных коллективных идей, направленных на разрешение дискутируемых проблем. В ходе выступлений участников дискуссии разрешается критика, могут иметь место перерывы в процессе проведения дискуссии, предполагаются кулуарные обсуждения во время перерывов, способствующие достижению положительного эффекта во время дальнейшего продолжения дискуссии. Выступления фиксируются одним или несколькими возможными способами, анализируются по окончании дискуссии с целью обобщения и классификации основных результатов, высказанных участниками дискуссии. Основные результаты дискуссии могут быть скорректированы с учетом дополнительной информации экспертов, получаемой примерно через сутки после окончания дискуссии.
Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем:
определении обобщенной оценки исследуемых объектов или рассматриваемого объекта по ряду свойств, показателей и относительной их значимости;
оценки согласованности и зависимости мнений экспертов;
оценки достоверности полученных расчетных величин.
Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.
Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп. Алгоритмы получения обобщенной оценки зависят от применяемых разновидностей методов субъективного измерения экспертами предпочтительности оцениваемых объектов или их свойств. Если результаты применяемых методов субъективных измерений представляют собой числа или баллы, то построение групповой оценки заключается в определении среднего значения (математического ожидания) или медианы (наиболее вероятной оценки). В другом случае, если результаты представляют собой ранги, то задачей обработки является построение обобщенной ранжировки объектов на основании наилучшего способа согласования индивидуальных ранжировок экспертов в виде медианы, сумма расстояний от которой результатов индивидуальных ранжировок является минимальной.
Упорядочив полученные результаты обобщенных оценок объектов по убыванию их значимости можно судить об их относительной важности. Дополнительными показателями, уточняющими относительную важность исследуемых объектов, являются: частота высших (максимально возможных) оценок для объекта , сумма рангов объекта . Частота максимально возможных оценок для j-го объекта определяется по формуле:
где – количество максимально возможных оценок, полученных j-тым объектом;
– количество экспертов, оценивающих j-ый объект исследования.
Указанный показатель целесообразно использовать для установления очередности объектов в случае получения равных значений результатов обобщенных оценок.
Сумма рангов объекта исследования определяется по формуле:
где – ранг оценки j-м экспертом j-го объекта.
Если среди оценок данных j-m экспертом, есть одинаковые, то им назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда. При оценке относительной важности объектов понаиболее важным следует считать объект, характеризующийся его наименьшим значением.
Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения. При этом, индивидуальные оценки рассматриваемого объекта, высказанные экспертами, представляются в виде точек в некотором пространстве, в котором имеется понятие расстояния. Используя понятие компактности можно трактовать степень согласованности мнений экспертов, то если указанные оценки расположены на небольшом расстоянии друг от друга, образуя компактную группу, то можно говорить о хорошей согласованности мнений экспертов, иначе – о невысокой. Если оценки экспертов образуют в пространстве две или более компактные группы, то это означает, что в экспертной группе существуют соответствующие коалиции с существенно отличающимися точками зрения на оценку объектов. Многообразие предлагаемых в литературе способов оценки согласованности мнений экспертов обуславливается использованием для оценки объектов различных субъективных методов измерения, результатами которых могут быть числа, баллы или ранги, а также различные меры степени согласованности (например, мерой согласованности оценок экспертов может быть отношение среднеквадратического отклонения к математическому ожиданию случайной величины; сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат; количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания ко всему количеству точек и т. д.). Некоторые методы определения согласованности количественных оценок на основе понятия компактности рассмотрены в разделе 11.4.
В качестве показателей степени согласованности мнений экспертов применяют: коэффициент вариации, коэффициент парной ранговой корреляции (Спирменаили Кендалла), коэффициент конкордации (дисперсионный или энтропийный).
Коэффициент вариации (Vj) оценок, данных j-му объекту определяется по формуле:
где – оценка в баллах i-м экспертом j-гo объекта;
– среднестатистическое значение величины оценки объекта в баллах, определяемое по формуле:
где mj – количество экспертов, оценивающих j-ый объект.
Чем меньше значение этого коэффициента, тем выше степень согласованности мнений экспертов.
Коэффициент парной ранговой корреляции Спирмена для двух экспертов α и β определяется по
где – ранговые оценки j-гo объекта экспертов α и β;
п – количество оцениваемых объектов;
– показатели связанных (равных) рангов оценок экспертов α и β, вычисляемые следующим образом:
если все n рангов оценок, назначенных i-м экспертом различны, то Тi = 0, иначе для равных рангов:
где L – количество групп связанных рангов;
t1 – количество связанных рангов в 1-й. группе.
Значение коэффициента указывает на полную согласованность мнений экспертов α и β; значение – о полной противоположности мнений экспертов; значение – об отсутствии связи между мнениями экспертов.
Для оценки степени согласованности мнений всей группы экспертов в целом применяется коэффициент конкордации. Коэффициент конкордации определяется в следующей последовательности: вначале вычисляется среднее арифметическое сумм рангов оценок всех объектов:
затем вычисляются отклонения dj суммы рангов оценок, полученных j-м объектом от :
после этого подсчитываются показатели Ti связных (равных) рангов ранговых оценок, назначенных i-м экспертом; в конечном итоге рассчитывается коэффициент конкордации:
где m1 – количество экспертов, оценивших хотя бы один объект.
Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов. Небольшое значение коэффициента конкордации может быть обусловлено либо действительно невысокой степенью согласованности мнений экспертов, либо существованием групп с высокой согласованностью противоположных мнений.
Оценки объектов, получаемые в результате обработки экспертных оценок представляют собой случайные величины. Поэтому необходимо оценивать надежность (достоверность, уровень значимости) результатов экспертизы. Для определения уровня значимости используется так называемый критерий согласия «хи-квадрат» . Последовательность определения уровня значимости по данному критерию состоит в следующем:
рассчитывается значение по формуле:
где т – количество экспертов,
затем вычисляется количество степеней свободы (r = n – 1, где n – количество исследуемых объектов).
По таблице значений для определенного числа степеней свободы и найденного значения определяется вероятность Р случайного появления рассчитанного значения показателя согласованности мнений. Затем фиксируется некоторое пороговое значение вероятности – Po (обычно Рo = 0,05 или 0,01), называемое уровнем значимости. Если Р оказывается меньше Рo, тогда гипотеза о случайном происхождении конкретного значения показателя согласованности мнений отвергается, то есть этот показатель считается значимым, а группа экспертов репрезентативной. В другом случае, если гипотеза о случайном происхождении конкретного значения показателя согласованности мнений принимается, тогда этот показатель считается незначимым, а группа экспертов непрезентативной.
Рассмотрим пример применения экспертных оценок для определения влияния интегрированных автоматизированных информационных систем управления (ИАИСУ) на статьи затрат себестоимости выпускаемой продукции производственным предприятием.
В качестве экспертов, как показывает практика, должны участвовать специалисты, которые проектируют ИАИСУ, а также группа специалистов, которые эксплуатируют эту систему. Перед началом экспертизы все ее участники получают исходную информацию о внедряемых локальных АИСУ и перечень статей затрат себестоимости, на которые они могут влиять в виде таблицы, где по горизонтали располагается перечень статей затрат себестоимости, а по вертикали – внедряемые локальные АИСУ. От специалистов-разработчиков должно быть не менее четырех экспертов. В качестве экспертов могут выступать начальник отдела i-ой локальной АИСУ, ведущий специалист по разработке i-ой локальной АИСУ (задаче, комплексу АИСУ организационного управления), экономист отдела АИСУ и т. п. В свою очередь от специалистов, занимающиихся эксплуатацией системы, должно быть не менее шести экспертов.
Качество экспертных оценок, их надежность и обоснованность в значительной степени зависит от выбранной методики сбора и обработки экспертных мнений. Индивидуальный метод, который мы применяем для выявления влияния i-x локальных АИСУ на статьи затрат себестоимости продукции, включает проведение анкетного опроса, отбор и обработку полученных заключений. В этом случае информационным массивом служат заполненные специалистами таблицы (анкеты) экспертных оценок. Применительно к решению нашего вопроса мы используем метод экспертных оценок, изложенный выше и в работе . При составлении таблиц экспертных оценок должны быть выполнены три условия:
получены количественно определенные ответы на предлагаемые вопросы;
получены формализованные сведения о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта;
получены от экспертов количественно определенные оценки степени их знакомства с областью, к которой относятся предлагаемые вопросы.
В целях удовлетворения первого условия вопросы должны быть сведены к оценке относительной важности влияния 1-х локальных АИСУ на статьи затрат себестоимости продукции. Каждому эксперту предлагается дать оценку (по стобалльной системе) относительной важности влияния указанных АИСУ на статьи затрат себестоимости продукции. Анкета в виде таблицы (табл. 10, стр. 298), выдается каждому эксперту, где по вертикали содержатся сведения о перечне проектируемых задач (комплексов), локальных АИСУ, а по горизонтали перечень статей затрат себестоимости продукции , на часть из которых они могут повлиять.
Таблица 9
Анализ оценки относительной важности влияния i-x
локальных АИСУ на статьи затрат себестоимости продукции
В качестве примера в табл. 9 приведен перечень пяти задач АИС О У по фазам управления-планирования, учета, контроля, анализа и регулирования для одного и того же объекта управления. Дается две задачи, решаемые в АИСУ проектированием (САПР) и приводится два типа АИСУ ТП, а также отмечено по стобалльной системе мнение одного из экспертов. В соответствии с его мнением наибольшее предпочтение отдано АИСУ ТП механообработкой. Аналогичным образом осуществляется опрос остальных экспертов, после чего начинается процесс обработки отобранных анкет. Их обработку можно проводить с помощью специально разработанной программы на ПЭВМ.
Для достижения второго условия необходимо сформировать анкету, которую можно составить на основании данных таблиц (см. табл. 10, 11, стр. 298). Эти таблицы по вертикали содержат источники аргументации, а по горизонтали оценку степени влияния на мнение экспертов источников аргументации.
Табл. 11 уже имеет определенные числовые значения компетентности эксперта. По источникам аргументации она соответствует табл. 10.
Таблица 10
Анкета оценки степени влияния на мнение экспертов источников аргументации
Таблица 11
Анкета количественной оценки степени влияния на
мнение экспертов источников аргументации
После этого в клетки табл. 10, отмеченные экспертами знаком « + » заносятся числовые значения соответствующих клеток табл. 11, сумма которых дает коэффициент аргументированности (Kai). Следует отметить, что табл. 11 разрабатывается в соответствии с проводимыми исследованиями и с учетом следующих выводов:
значение коэффициента аргументированности
значению Kai = 1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации;
значению соответствует низкая степень влияния на мнение эксперта всех источников аргументации.
В целях удовлетворения третьему условию каждому эксперту предлагается сделать отметку на шкале (от 0 до 10), соответствующую, по его мнению, степени его знакомства с обсуждаемой проблемой. Следует отметить, что вероятность правильного и точного заполнения анкеты больше у эксперта с большим временем работы в данной области.
После того как собран материал заполненных анкет экспертных оценок, вводятся показатели, характеризующие обобщенное мнение группы экспертов и компетентность экспертов по предложенным вопросам. Методика статистической обработки материалов таблиц экспертных оценок зависит от характера поставленных вопросов.
Показателями обобщенного мнения группы экспертов для данного типа вопросов являются показатели относительной важности влияния i-х локальных АИСУ на статьи затрат себестоимости продукции. Такими показателями могут быть: среднестатистическое значение оценки направления (j) в баллах (Mj) и частота высших (максимально возможных) оценок направления , которые определяются исходя из стобалльной оценки . Формулы расчета указанных показателей приведены выше.
– коэффициент степени знакомства с обсуждаемой проблемой.
Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для произведенной им оценки и равен сумме численных значений, вписанных в табл. 12.
Коэффициент степени знакомства учитывает степень знакомства эксперта с рассматриваемой проблемой и равен нормированному (умноженному на 0,1) значению соответствующей оценки, данной экспертом. Каждый эксперт отмечает степень своего знакомства на шкале, имеющей вид:
Таблица 12
Коллективная экспертная оценка
Коллективная экспертная оценка может проводиться с учетом и без учета компетентности экспертов. В первом случае значения Сij умножаются на значение коэффициента компетентности. Затем оценивается степень согласованности мнений экспертов и показатель репрезентативности экспертных оценок по формулам, приведенным выше. Целесообразно представить результаты обработки экспертных оценок в виде соответствующих таблиц.
Экспертные оценки представляют собой точки зрения (мнения, суждения) высококвалифицированных специалистов в определенных предметных областях – экспертов, сформулированные в виде оценок объекта в содержательной, качественной или количественной форме.
Сущность метода экспертных оценок состоит в надлежащей организации специалистами-организаторами экспертиз проведения конкретной экспертизы с целью получения информации о суждениях экспертов по рассматриваемым объектам и ее последующей обработки для генерации обощенных данных и новой информации.
В соответствии с главной целью технологии экспертных оценок – принятие эффективного решения по итогам проведения экспертизы следует решить определенные задачи:
обеспечить адекватную оценку объекта экспертизы;
выработать эффективные альтернативные варианты решений достижения поставленных целей;
выбрать из них единственный оптимальный (наиболее рациональный) вариант.
Вопрос формирования состава экспертной комиссии является весьма важным. Количественный и качественный состав экспертной комиссии должен формироваться с учетом широты проблемы, достоверности оценок, затрат ресурсов и характеристик экспертов.
Поскольку при подборе экспертов используется определенное множество характиристик, имеющих различные значения и различную значимость, то возникает необходимость сформирования интегральной оценки эксперта, то есть решения многокритериальной задачи с известной ее проблематикой.
Интервьюирование как процесс получения информации интервьюером во время проведения по заранее намеченному плану беседы, опроса эксперта или группы экспертов является одной из разновидностей форм сбора информации в ходе экспертизы.
Мозговой штурм представляет собой совокупность способов группового обсуждения с целью генерации альтернативных нетрадиционных вариантов решений по исследуемым объектам, формирования новых, оригинальных идей.
Определение обобщенной оценки исследуемых объектов осуществляется при групповой экспертной оценке на основе применения методов осреднения индивидуальных оценок экспертов с учетом предположения о том, что они являются достаточно точными «измерителями» и их оценки образуют одну или несколько компактных групп.
Количественная оценка согласованности мнений экспертов необходима в том случае, если мнения экспертов расходятся по рассматриваемым объектам для более обоснованной интерпретации их расхождения.
Коэффициент конкордации изменяется в пределах от 0 до 1. Увеличение значения коэффициента конкордации соответствует увеличению степени согласованности мнений экспертов.
Литература
Евланов Л.Г. Теория и практика принятия решений. – М: Экономика, 1984.
Карданская Н.Л. Принятие управленческого решения. – М.:ЮНИТИ, 1999.
Литвак Б.Г. Экспертная информация. Методы получения и анализа. – М.: Радио и связь, 1982.
Методика (основные положения) определения потребности народного хозяйства в продукции отрасли (с учетом нормативов для отдельных групп продукции). – М.: ЦНИИ ИиТЭИ приборостроения, средств автоматизации и систем управления, 1982.
Растригин Л.А. Современные принципы управления сложными объектами. – М.: Советское радио, 1980.
Трояновский В.М. Математическое моделирование в менеджменте. – М.: Экономика, 1999.
В большинстве рассмотренных видов исследовании предметом изучения является точка зрения потребителей (частных или корпоративных). Однакосуществуют также исследования, которые проводятся с учетом всех факторов, оказывающих влияние на тот или иной рынок, - это конкуренция, аффилированность, общие тенденции, изменения в законодательстве, текущие и запланированные проекты игроков, отраслевое регулирование, риски и т. д. И ни в публикации, ни в отраслевую статистику эти исследования не попадают. Здесь как элемент могут применяться и кабинетное исследование, и потребительские опросы, но основной инструмент в данном случае экспертные интервью с игроками рынка, независимыми аналитиками, руководителями ассоциаций, журналистами, людьми, занимающимися конкурентной разведкой, и т. д.
Метод экспертной оценки - это разновидность исследования, в котором респондентами являются эксперты - специалисты в определенной области деятельности.
Основное назначение метода экспертной оценки - выявление сложных аспектов исследуемой проблемы, повышение надежности информации, выводов.
Отличительная особенность метода состоит в том, что он предполагает компетентное участие экспертов (экспертизу) в анализе и решении проблем исследования.
Экспертиза - процедура получения информации от экспертов. Экспертные оценки - это суждения экспертов о различных сферах человеческой деятельности, предполагающие процедуру сравнения объектов и их свойств по выделенным критериям.
Специфика опроса экспертов состоит в следующем.
Нет необходимости применять в анкете косвенные или контрольные вопросы.
Программа опроса экспертов не детализирована и носит концептуальный характер.
В анкете предпочтительней использовать открытые вопросы с полной свободой выбора формы ответа.
Основные нормативные требования к проведению экспертной оценки :
тщательность подбора экспертов;
оценка надежности представленной экспертами информации;
создание условий для продуктивного использования экспертов в ходе исследования;
учет факторов, влияющих на суждения экспертов;
сохранение информации экспертов без искажения на всех этапах исследования.
Качество и надежность экспертных оценок снижает неупорядоченный подбор экспертов.
Критерии подбора экспертов таковы:
степень компетентности, показателями которой могут служить наличие у эксперта ученой степени, ученого звания, стаж работы по специальности, служебное положение, число опубликованных работ и т. д.;
способность ориентироваться в последних достижениях современной науки в тех областях, которые являются предметом экспертизы;
сочетание узкой специализации и общего кругозора эксперта;
способность к анализу и синтезу изучаемых проблем,
умение перерабатывать и усваивать качественно новую информацию;
высокие моральные качества;
сочетание психологически приемлемых друг для друга в группе экспертов различного возраста, различных научных школ и т. д.
Экспертная группа не может быть многочисленной. Методы отбора экспертов выделим объективный - использование специальных методик отбора - и субъективный - привлечение к процедуре отбора самих потенциальных экспертов.
Объективный подход имеет два варианта :
а) документальный метод - подбор экспертов на основе социальнодемографических данных.
б) экспериментальный метод - отбор на основе тестирования кандидата.
Субъективный подход также имеет несколько вариаций ;
а) аттестация - подбор экспертов осуществляется с помощью открытого или тайного голосования потенциальных членов будущей экспертной группы (может проводиться в несколько туров);
б) метод взаимной оценки в баллах или ранжированием;
в) метод самооценки компетентности.
Экспертный опрос может иметь разные формы :
разовый индивидуальный опрос (анкетирование или интервью);
однократный коллективный опрос (совещания, мозговой штурм);
индивидуальный опрос в несколько туров (дельфийская техника);
коллективный опрос в несколько туров (дискуссия, совещание, многоступенчатый отбор).
Еще одна форма экспертного опроса - традиционная дискуссия - метод беседы с небольшой группой экспертов на тему исследования. Целью дискуссии является выработка группового коллективного мнения. Предпосылкой успешной групповой дискуссии является четкая формулировка предмета дискуссии и знакомство с ней подавляющего большинства участников.
В значительной мере успех дискуссии зависит от культуры, подготовки, проведения и оформления коллективного мнения экспертов.
Метод «отнесенной оценки» - повторение нескольких циклов дискуссии с выявлением сущности наметившихся разногласий и постепенной выработкой единого мнения всех или большинства участников экспертизы, при этом за несогласными остается право на частное заключение.
Методы экспертизы при коллективной работе ее участников имеют много явных преимуществ, но одновременно обладают и рядом недостатков. Главный недостаток связан с воздействием экспертов друг на друга. Этот недостаток преодолевается с помощью индивидуального опроса в несколько туров. Заочный вариант метода «отнесенной оценки» приобрел название метода Дельфи, или дельфийской техники (от названия древнегреческого города, получившего известность как центр предсказаний оракулов).
Дельфийская техника гарантирует соблюдение анонимности респондентов: эксперты друге другом не встречаются, они заполняют анонимные анкеты или подключаются непосредственно к работе с компьютером.
После первого тура эксперты знакомятся с итоговыми характеристиками позиции группы в целом. Во втором туре они получают возможность либо сблизить свое мнение с позицией большинства, либо изучить причину отклонения. В третьем туре новая информация открывает возможность еще раз пересмотреть свою точку зрения.
Упрощенные вариации дельфийской техники («мини дельфи») позволяют
собрать экспертные оценки по 2-3 турам за несколько часов или дней.
К недостатки метода Дельфи относятся :
сложность подготовки, проведения и обработки результатов,
сравнительно большие затраты времени и средств.
Несмотря на недостатки, дельфийская техника получила значительное распространение; По масштабам применения во многих странах она оказалась в первой пятерке наиболее популярных методов социального прогнозирования.
Экспертный опрос в современном виде часто строится на совместном использовании различных методов, форм и процедур. Так, на основе использования дельфийской техники построена одна из американских систем прогнозирования - «Паттерн», которая позволяет создать систему информационных моделей в виде дерева целей. Работа по созданию системы начинается с создания сценария, т. е. описания состояния и направления развития исследуемого объекта. На следующем этапе строится дерево целей, для всякой цели разрабатываются необходимые и достаточные подцели, являющиеся условием достижения общей цели. На третьем этапе определяются коэффициенты относительной важности критериев и целей на всех уровнях. Далее определяются конкретные виды необходимых работ, ресурсы и сроки их осуществления. Самая длинная цепочка есть время исполнения всего комплекса работ.
Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .
Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .
Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.
1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.
2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.
В анкете могут использоваться следующие типы вопросов:
открытые – ответы на данные вопросы могут быть сформулированы в любой форме;
закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.
Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа
3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.
Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.
Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.
Процедура многокритериального выбора включает в себя следующие этапы:
Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;
Определение способа количественной оценки показателей;
Определение допустимых границ изменения показателей;
Выбор метода поиска наилучшего варианта;
Решение задачи и анализ результатов.
В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:
или
,
(2.18)
где
-
весовые коэффициенты, характеризующие
значимость критерия
.
Численные значения
определяются экспертами, при этом,
желательно соблюдение следующего
условия:
.
(2.19)
Если
критерии
имеют различные единицы измерения, то
их необходимо привести к единому
безразмерному масштабу так, чтобы
выполнялись следующие неравенства:
(2.20)
(2.21)
Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:
валовый внутренний (региональный) продукт;
уровень занятости населения;
среднемесячная заработная плата.
Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.
Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:
Агропромышленного комплекса;
Предприятий пищевой промышленности;
Отраслей социально-культурной сферы;
Жилищного строительства.
Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.
Таблица 2.2
Результаты экспертной оценки
Таблица 2.3
Ожидаемые значения основных социально-экономических
показателей развития региона
Необходимо определить наиболее целесообразную программу развития региона.
Решение:
Определим значения весовых коэффициентов:
;
;
.
Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:
Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:
Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:
На заключительном этапе определим значение целевой функции для предложенных программ:
Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.
Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.
Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.
1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.
Метод коллективной генерации идей предполагает реализацию следующих этапов:
1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.
2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.
3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.
4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.
5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.
6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.
Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.
2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.
Особенности метода "Дельфи":
а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;
в) статистическая характеристика группового мнения.
3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.
Метод экспертных комиссий может быть организован в одной из следующих форм:
Как показала практика, метод «комиссий» имеет существенные недостатки:
большое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;
нежелание экспертов публично отказываться от ранее высказанных ими мнений;
при работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.
4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.
Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.
Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.
Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.
Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.
Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.
Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.
Основными операциями экспертной оценки являются формирование рабочей и экспертной групп, классификация продукции, построение схемы показателей качества , подготовка анкет и пояснительных записок для экспертов, опрос экспертов и обработка экспертных оценок.
Применяемая обычно стандартная математическая обработка экспертных оценок коэффициентов значимости (3, не гарантирует достоверность Кк, поскольку мнения экспертов встраиваются в заведомо упрощенную математическую структуру показателей (3.14), (3.15), (3.16), не соответствующую истинным взаимосвязям полезности продукции со значениями её частных свойств.
Для того чтобы определить значимость символов, используют один из наиболее широко распространенных и доступных методов экспертного опроса и обработки экспертных оценок - оперирование матрицей предпочтений (парных сравнений). При помощи этой матрицы определяют сравнительные (весовые) оценки символов (табл. 25).
Д. Анализ и обработка экспертных оценок.
Основные математические задачи анализа экспертных оценок . При анализе мнений экспертов можно применять самые разнообразные статистические методы но описывать их - значит описывать практически всю прикладную статистику . Тем не менее можно выделить следующие основные широко используемые в настоящее время методы математической обработки экспертных оценок проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) усреднение мнений экспертов внутри согласованной группы".
Этап 7. Обработка экспертных оценок.
Эксперты привлекаются для уточнения целей прогноза и параметров, подлежащих экспертной оценке уточнения формулировок вопросов в экспертных таблицах. Экспертам рассылаются анкеты и таблицы экспертных оценок . Они привлекаются для консультации после обработки экспертных оценок по вопросам, требующим дополнительного обсуждения.
Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.
Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем
Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.
Проводится статистическая обработка экспертных оценок. Каждому Y. присваивается новый номер таким образом, что разряду с наименьшей суммой баллов присваивается номер 1 и т. д.
Этот метод успешно применяется в маркетинге. Его используют для того, чтобы произвести экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.
Творческий этап - разработка конкретных способов решения задач , сформулированных на предыдущем этапе. На этом этапе исследуются варианты упрощения и удешевления конструкции изделия и технологии следующими способами изменение принципа действия, формы, компоновки, массы, применяемых материалов, способов их обработки, сочленения, крепления, регулировки, управления действием. Изучаются возможности совмещения нескольких функций в одном узле, детали и агрегате, устранение излишних функций и их материальных носителей. Организация такой работы должна способствовать максимальному использованию творческого потенциала и квалификации бригады инженеров. Принимаются все предложения. Их обсуждение может проводиться всеми методами экспертной оценки и анализа (мозговой атаки , мозгового штурма , Дельфы и др.).
Параметры уравнения определяются методом наименьших квадратов . Этот метод не является, конечно, единственным способом определения искомых параметров производственной функции (возможен, например, метод максимального правдоподобия или метод экспертных оценок). Однако метод наименьших квадратов наиболее разработан и, пожалуй, самый обоснованный из математико-стати-стических приемов обработки исходной информации . С помощью этого метода и решена наша конкретная задача.
Экспертный способ, известный под названием метода экспертных оценок , применительно к предпринимательскому риску может быть реализован путем обработки мнений опытных предпринимателей или специалистов. Наиболее желательно, чтобы эксперты дали свои оценки вероятностей возникновения определенных уровней потерь, по которым затем можно было бы найти средние значения экспертных оценок и с их помощью построить кривую распределения вероятностей.
Как отмечается в работе , использование полученных при обработке статистических данных параметров в расчетах по прогнозам прироста запасов газа неправомерно, так как означает формальный перенос закономерностей прошлых лет на будущее. Наиболее приемлем для прогнозирования таких параметров после статистического анализа их за прошлый период метод эвристического прогнозирования . Экспертные оценки прогнозируемых величин даются группой экспертов-геологов, разработчиков и экономистов, после чего проводится их математическая обработка.
Как исследовательская дисциплина кросс-культурный менеджмент начинает формироваться на рубеже 1960-1970-х годов. Первые статьи пишут профессиональные консультанты в области управления, и они являются итогом их личных наблюдений , опыта и экспертных оценок . Со второй половины 1970-х годов научные исследования в области кросс-культурного менеджмента приобретают более регулярный характер. Осуществляется сбор и систематизация солидных объемов социологической информации. Проводится их математическая обработка. При этом используются два основных метода исследования
Данный метод, являющийся наиболее гибким и всеохватывающим, применяется в сочетании с другими (особенно с методами аналогий и структуризации целей) и характеризуется многообразием форм реализации. В первую очередь к ним относятся осуществление диагностического анализа особенностей, анализ проблем, узких мест в системе управления действующей производственно-хозяйственной организацией или в организациях, аналогичных вновь создаваемой, с тем, чтобы предусмотреть организационное решение выявленных проблем в разрабатываемой структуре управления . Сюда же относятся проведение экспертных опросов руководителей, а также сотрудников организации для выявления и анализа отдельных характеристик построения и функционирования аппарата управления , обработка полученных экспертных оценок статистико-математическими методами (ранговая корреляция , факторный анализ , обработка списков и др.).
IV. Команда, работающая над четвертой проблемой, разрабатывает предложения по совершенствованию форм морального стимулирования (положительною, отрицательного, в процессе труда, по результатам труда), составляет их перечень. Члены команды индивидуально оценивают по 5-оалльчой системе значимость и состояние каждой ьз рассматриваемых форм морального стимулирования . На основании обработки экспертных оценок определяются наиболее значимые формы (по наибольшему количеству баллов).
Оценки важности и приоритетности различных программ получают с помощью обработки экспертных оценок. Инструментом формирования оценок приоритетности становится т. н. дерево целей , отражающее соподчинённость и взаимосвязи всех социалыю-экопо-мич. задач. Его построение позволяет обеспечить наиболее полное удовлетворение обществ, потребное-
Для этого используется система балльных оценок , как правило, 5- или 10-балльная. Каждый эксперт дает сначала оценку важности подпроблемы, затем - важности задач, потом - важности средств достижения или конкретных вариантов решения. Балльные оценки сводятся в соответствующие таблицы (по уровням). В процессе обработки экспертных оценок определяются следующие величины Л/. - среднее статистическое значение по j-му направлению S - сумма рангов поу -му направлению kw - количество максимальных оценок , данных экспертами данному направлению поу -му направлению V. - коэффициент вариации (согласованность мнений экспертов по у -му направлению).
Аналитические расчеты подобного типа могут делаться как на основе общего индекса цен, так и на основе индивидуальных индексов . К сожалению, достоверной статистики подобных индексов в более или менее оперативном режиме в России нет. Поэтому основным реальным инструментом планирования являются экспертные оценки индексов цен, полученные каким-либо из известных методов оценивания (предпочтительнее методы групповой экспертной оценки), например, методом Деяьфи. Информационным обеспечением экспертных оценок могут служить инвентаризационные описи, на основе которых можно рассчитать динамику и индексы цен по используемой на предприятии номенклатуре сырья, материалов, товаров. Каждый эксперт, получив исходные данные, делает свой прогноз индивидуальных индексов цен. Далее эксперты в ходе общей дискуссии, выдвигая аргументы за и против, приходят к общему решению. Более точное описание приведенных процедур и аппарат статистической обработки полученных результатов приводится в литературе по Метод Дельфи (по названию древнегреческого города Дельфы, известного своими предсказателями) является самым распространенным методом экспертной оценки будущего. Суть этого метода состоит в организации систематического сбора мнений экспертов и их обобщения. Выработаны специальные матема-тико-статистические приемы обработки различных оценок в сочетании со строгой процедурой обмена мнениями, обеспечивающей по возможности беспристрастность суждений. Ученые предложили способ, повышающий эффективность метода путем его комбинации с методами сетевого планирования.