Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок .

Краткий ликбез

Методы экспертных оценок являются частью обширной области теории принятия решений , а само экспертное оценивание - процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, - к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Существует две группы экспертных оценок:

1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

Способы измерения объектов

1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
3. Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

a ij - оценка признака экспертом. n - количество признаков, m - количество экспертов.
Затем, подсчитывается S i - среднее значение важности признака.

Метод задания весовых коэффициентов (a ij)

1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Метод последовательных сравнений заключается в следующем:

1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
3. сравнивает значение первого признака с суммой всех последующих.

В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
При использовании метода чаще всего составляется матрица размером n x n, где n – количество сравниваемых объектов.

При сравнении объектов матрица заполняется элементами a ij следующим образом (может быть предложена и иная схема заполнения):

• 2, если объект i предпочтительнее объекта j (i > j),
• 1, если установлено равенство объектов (i = j),
• 0, если объект j предпочтительнее объекта i (i < j).

Непосредственная оценка . Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10 . Именно поэтому метод непосредственной оценки иногда именуют также балльным методом .

А теперь, самое вкусное...

Анализ результатов экспертных оценок

Для анализа результатов применяются различные методы математической статистики . Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

Формирование обобщенной оценки

Итак, пусть группа экспертов оценила какой-либо объект, тогда x j – оценка j-го эксперта, где m – число экспертов.
Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины . Например, медиана , за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
Определение относительных весов объектов
Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
А так же
Существует огромное множество возможных методов обработки оценок.
Как вариант, использовать систему рейтинга Эло для метода парных сравений .

Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация .
Итак, способы вычисления меры разбрса :
Вариационный размах

Среднее линейное отклонение

Среднеквадратическое отклонение

Дисперсия

Коэффициента ранговой корреляции Спирмэна

Коэффициент (величина ) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
x ij – ранг (важность ), присвоенный i-му объекту j-ым экспертом, x ik – ранг, присвоенный i-му объекту k-ым экспертом, d i – разница между рангами, присвоенными i-му объекту.

Коэффициент конкордации Кенделла
Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

Вычисление

Определяется средний ранг совокупности признаков:

Вчисляется отклонение d j среднего ранга j-го признака от среднего ранга совокупности:

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t q .
Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:

где

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы - с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек - вот вам

Оценка экспертная - это название целой системы диагностических методов, которые чрезвычайно широко применяются в менеджменте, экономическом анализе, психологии, маркетинге и других сферах. Эти методы позволяют охарактеризовать, классифицировать, присвоить определенный ранг или оценку событиям и понятиям, которые не поддаются количественному измерению.

В каких случаях необходима экспертная оценка

В ходе какого-либо исследования на любом из его этапов может быть применен метод В управленческой деятельности он может пригодиться:

• На стадии определения целей и задач исследовательского процесса.
• Во время построения или проверки гипотезы.
• Для разъяснения проблемной ситуации. Для интерпретации происходящих процессов и событий.
• Чтобы обосновать адекватность применяемого инструментария.
• Для генерации рекомендаций, а также для реализации многих других целей.

Проведение экспертной оценки оправдано в тех случаях, когда нельзя принять решение, основываясь на точных расчетах (для составления психологического портрета, рабочей характеристики, оценки экономической неопределенности и рисков).

Чаще всего применение таких оценок становится важным в ситуации выбора одного или нескольких вариантов из предложенного множества:

• Запуск в серийное производство одного из разработанных вариантов продукции.
• Подбор космонавтов из многочисленных претендентов.
• научной работы, который будет профинансирован.
• Выбор предприятия, которое получит экологический кредит.
• Определение инвестиционного проекта для вложения финансовых средств.

Кто такие эксперты, и как они работают

Как следует из названия метода, экспертная оценка предполагает привлечение одного или нескольких специалистов-экспертов, компетентных для вынесения оценок лиц, а также обработку их мнения. Подбор экспертов осуществляют с учетом адекватности их суждений и опыта в данной области.

Оценка экспертная может быть выражена как количественно, так и качественно. Данные экспертных исследований нужны руководителям, менеджерам и сотрудникам управляющего звена как основание для принятия решений.

Разработка экспертной оценки чаще всего проводится путем создания рабочей группы, которая занимается организацией деятельности эксперта (или нескольких экспертов). Если приходится задействовать более одного человека, их объединяют в экспертную комиссию.

Сколько экспертов потребуется?

В зависимости от специфики задания и возможностей предприятия, для проведения экспертной оценки может быть приглашен один или несколько экспертов. При этом оценка экспертная называется индивидуальной или коллективной.

Индивидуальной становится оценка, которой преподаватель характеризует глубину знаний студента. Также к этому типу относят диагноз, поставленный одним врачом. Однако при спорных или сложных ситуациях (серьезное заболевание, постановка вопроса об отчислении учащегося), прибегают к коллективному решению вопроса. Здесь необходимы симпозиумы врачей и организация комиссии преподавателей.

Такой же алгоритм действует и в армии: чаще всего решение принимается командующим единолично, однако при необходимости собирают военный совет.

Последовательность процедуры оценивания

Последовательность формирования актуальной и объективной экспертной оценки представляет собой такие этапы:

1. Проведение которую требуется исследовать.
2. Подбор экспертов для проведения процедуры.
3. Изучение существующих способов, с помощью которых будет выполнен замер экспертных оценок.
4. Проведение самой процедуры оценивания.
5. Сведение и анализ информации, полученной в ходе оценивания.

При этом может потребоваться выполнение проверки входных данных, на которых будет основана оценка экспертная. В некоторых случая рабочей группе приходится менять состав экспертной группы или прибегать к повторному замеру тех же вопросов (с целью сопоставить в дальнейшем полученную оценку с объективными данными из других источников).

Ход оценивания: характеристика этапов

Большое значение для успешного проведения процедуры имеет компетентное решение организационных вопросов:

• Планирование затрат на мероприятие (оплата услуг экспертов и специалистов по анализу полученных данных, расходы на аренду помещения, покупка канцтоваров).
• Подготовка необходимых материалов (составление и распечатка бланков, обеспечение инвентарем).
• Выбор и инструктаж модератора мероприятия.

В процессе работы эксперты должны руководствоваться выделенным регламентом, так как дополнительное время на принятие решения не влияет на его точность.

Когда будут получены ответы всех специалистов, выполняется оценка экспертного заключения. При этом учитывается степень согласованности всех мнений. Если однозначного согласия нет, рабочая группа должна выяснить причину разногласий, зафиксировать образование нескольких групп мнений и отсутствие согласованности как результат экспертной оценки. Затем оценивается ошибка исследования и выполняется построение модели на основании тех данных, которые были получены. Это необходимо, чтобы впоследствии можно было провести аналитическую экспертизу.

Методы, применяемые для проведения индивидуальной экспертной оценки: что такое интервью

Среди самых действенных и часто применяемых методик можно назвать:

• Аналитический способ.
• Метод написания сценария.
• Интервью.

В согласии с методикой проведения интервью, прогнозист беседует с экспертом, задавая ему вопросы. Предметом разговора становятся перспективы развития объекта или явления, о котором идет речь. Программа опросника разрабатывается заранее.

Эффективность и качество экспертной оценки напрямую зависят от того, сможет ли эксперт в условиях ограниченного времени предоставить заключение.

Проведение экспертизы аналитическим методом

Выбирая аналитический метод для осуществления оценки, специалист-эксперт должен подготовиться к тщательному выполнению самостоятельной работы. Ему предстоит анализировать тенденции, оценивать состояние и возможные пути развития объекта, по отношению к которому применяется прогнозирование.

Система экспертных оценок предусматривает изучение всей информации об объекте, которая доступна эксперту. Результат оформляется как

Основным преимуществом аналитического метода становится то, что специалист может проявить все свои индивидуальные способности.

Правда, этот способ не подходит для анализа крупных и сложных систем, так как эксперту может не доставать знаний из смежных областей.

Осуществление экспертизы путем написания сценариев

Строго говоря, этот метод не должен быть отнесен только к категории индивидуальных способов оценивания, так как он с успехом применяется для работы в группе.

Чтобы использовать этот метод, эксперту следует определить логику изучаемых процессов и явлений относительно времени и разных комбинаций условий. Затем он сможет установить предположительную последовательность событий (их развитие, переход от ситуации в данный момент к прогнозируемому состоянию). Сценарий отражает все ступени решения задачи, а также предусматривает возникновение возможных препятствий.

Коллективная экспертиза: метод «мозгового штурма»

Для оценки сложных, масштабных, многоуровневых систем не обойтись без привлечения нескольких специалистов-экспертов.

Порученное задание они могут выполнить, применяя один из методов:

• Коллективную генерацию идей («мозговая атака»).
• Метод «635».
• Метод Дельфи.
• Оценку комиссий.

Благодаря коллективным усилиям и особенной организации, эксперты могут эффективно провести самые сложные процедуры, такие как экспертная оценка рисков для инвестиционного проекта или прогнозирование деятельности различных систем.

«Мозговой штурм» позволяет в полной мере раскрыть творческие данные экспертов. На первом этапе специалисты активно генерируют идеи, затем применяют деструктурирование (подвергают их критике, разрушают), выдвигают контридеи и вырабатывают согласованную точку зрения.

Главным условием становится отсутствие критики вначале и высказывание всех спонтанно возникающих идей.

Специфика метода «635»

Такое название метод получил из-за приема, который применяют эксперты при его использовании: каждый из шести экспертов записывает на листе бумаги три спонтанно возникших идеи за период, равный пяти минутам.

В чем особенность метода Дельфи

Целью разработки этого способа экспертного оценивания стала необходимость в более строгой и обоснованной процедуре, которая могла бы дать объективный и максимально полезный результат.

Его применяют эксперты, приглашенные в научные и технические институты, инвестиционные и страховые компании, а также в ряде других случаев.

Суть метода в том, что проводят многотуровые индивидуальные опросы (зачастую с помощью анкет). Затем выполняется компьютерный анализ экспертных оценок для формирования коллективного мнения. При этом выявляют и обобщают аргументы для защиты каждого суждения.

На следующем этапе полученные результаты передают экспертам для корректировок. Их несогласие с коллективным суждением должно быть письменно обосновано. В результате многократного возвращения оценки на корректировку рабочая группа добивается сужения диапазона и выработки согласованного суждения, касающегося перспектив развития исследуемого объекта.

Чем хорош метод:

1. Эксперты, принимающие участие в оценке, не знают друг друга и не общаются. Таким образом, исключено их взаимодействие.
2. Результаты предыдущих туров также представляют интерес и ценность для рабочей группы.
3. Представляется возможность получения статистической характеристики группового мнения.

Несмотря на относительно высокую затратность и продолжительность, этот метод становится лучшим способом предопределения развития долгосрочных ситуаций проблемного характера.

Нередко оценка выполняется специально организованной комиссией (метод комиссий), которые за «круглым столом» рассматривают все аспекты проблемы и принимают согласованное решение. Недостатком становится влияние участников друг на друга и искажение результатов. Примером может служить экспертная преподавателей и врачей.

Другие методы

Выше были перечислены самые распространенные методы выполнения экспертизы, но в практике производственных, научных и исследовательских организаций применяются и другие.

В зависимости от специфики ситуации, которую требуется спрогнозировать, а также от ресурсов и возможностей предприятия, могут быть применены:

• Деловая игра. Она позволяет смоделировать необходимое количество ситуаций для изучения особенностей системы управления или других процессов.
• «Суд» - инсценировка судебного процесса, при котором некоторые эксперты защищают варианты решений, другие пытаются их опровергнуть.
• Метод доклада - после проведения анализа, эксперт выражает свое мнение в виде аналитической записки или доклада. Это актуально при необходимости проведения относительно несложной работы (например, экспертная оценка автомобиля для страхования, налогообложения или возмещения ущерба).

В качестве итога можно отметить, что существование большого количества методов и способов проведения экспертной оценки позволяет руководителю предприятия и рабочей группе выбрать наиболее эффективный вариант для решения конкретной проблемы.

Экспертный метод - это решение задач на основе суждения (мнения) высококвалифицированных специалистов в соответствующей области знаний (наука, техника, экономика и т.д.). При экспертной оценке событий (явлений) необходимо: четко сформулировать цель исследования; правильно определить время свершения событий; разработать организацию опроса (интервью) и анкетирования; сформировать группу экспертов; обеспечить взаимную независимость их суждений, отсутствие авторитета должности или личности, влияющих на выбор альтернатив, и обобщить полученные результаты.

Сущность экспертных методов прогнозирования заключается в выработке коллективного мнения группы специалистов в данной об­ласти. Метод экспертных оценок состоит в проведении экспертами анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов считается решением проблемы.

Экспертное ранжирование . Ранжирование применяется в случаях,

когда невозможна или нецелесообразна непосредственная оценка. При этом

«ранжирование объектов содержит лишь информацию о том, какой из них

более предпочтителен, и не содержит информации о том, насколько или во

сколько раз один объект предпочтительнее другого.

Метод ранжирования альтернатив: Сущн-ть метода закл-ся в упорядочивании сравниваемых альтернатив по степени предпочтительности определ-го риска.Если таких альтернатив значительно немного (не>20), то эксперту предъявл-ся весь набор альтер-х вариантов, и он указывает наиболее предпочт-й среди них. Затем эксперт опред-т наиболее предпочтительный вариант из оставшихся. И так далее пока все оцениваемые альтерн-вы не будут проранжированны.Если оценив-х вариа-в больше, то сначала произв-ся их разбиение на упорядочен-е по предпочтен-ю группы с момощью метода экспертой классиф-каи, а затем ранжированием внутри группы.

25. Сущность экспертных методов. Метод ранжирования альтернатив

Экспертные методы принятия решений – методы сбора и обработки мнений экспертов (специалистов, респондентов) по рассматриваемой проблеме с целью принятия необходимых решений. Экспертами в зависимости от задачи

могут быть как специалисты, так и потребители.Эти методы применяются для решения слабоструктурированных и не­

структурированных задач, когда математическое описание задачи невозможно или отсутствует необходимая статистическая информация. Эти методы основаны на опыте, знаниях и интуиции специалистов (экспертов); информация, полученная от экспертов, обрабатывается статистическими методами.

Экспертные методы применяются для решения следующих задач:- разработка и оценка альтернатив решения проблем;- упорядочение списка альтернатив (различных объектов) и выбор одной или нескольких лучших альтернатив по одному или нескольким критериям;- оценка влияния факторов на некоторый показатель или ситуацию;- присвоение числовых значений качественным показателям;- прогнозирование развития рассматриваемой ситуации.

Экспертными методами оцениваются качество и конкурентоспособность товаров, конкурентоспособность предприятия, рынки, предпочтения потребителей, конкуренты и поставщики, риски, факторы, влияющие на решение и т.д. Для применения экспертного метода создаются экспертная группа и рабочая группа для организации работ и подсчета баллов. В состав групп экспертов и рабочей группы включаются специалисты по данной проблеме. Оптимальное

количество экспертов от 5 до 12 человек. Сбор информации от экспертов осуществляется с помощью анкет.

Принятие решения на основе экспертных методов включает следующие

1. Определение объекта и цели экспертизы;

2. Формирование рабочей группы;

3. Выбор объектов и критериев их оценки;

4. Разработка шкалы оценок объектов по критериям и анкет опроса экс­

5. Формирование группы экспертов;

6. Разработка сценария и процедура экспертизы;

7. Сбор и анализ экспертной информации;

8. Обработка экспертной информации;

9. Анализ результатов экспертизы;

10.Принятие решений.

Экспертные методы классифицируются по следующим признакам:

количество экспертов:- индивидуальные;- коллективные;количество критериев:- однокритериальные;- многокритериальные.количество этапов:- одноэтапные;- многоэтапные.

Метод ранжирования применяется , когда надо упорядочить некоторые

объекты (решения, показатели, факторы) по некоторому критерию и выбрать из

них один или несколько лучших или наиболее важных.

Данный метод применяется, если количество альтернатив не слишком ве­

лико и используется один критерий для упорядочения альтернатив. Метод при­

меняется также для упорядочения нескольких факторов по степени их влияния

на рассматриваемый показатель или ситуацию при недостатке статистических

Сущн-ть метода закл-ся в упорядочивании сравниваемых альтернатив по степени предпочтительности определ-го риска.Если таких альтернатив значительно немного (не>20), то эксперту предъявл-ся весь набор альтер-х вариантов, и он указывает наиболее предпочт-й среди них. Затем эксперт опред-т наиболее предпочтительный вариант из оставшихся И так далее пока все оцениваемые альтерн-вы не будут проранжированны.Если оценив-х вариа-в больше, то сначала произв-ся их разбиение на упорядочен-е по предпочтен-ю группы с момощью метода экспертой классиф-каи, а затем ранжированием внутри группы.

Метод парных сравнений

Является одним из наиболее распространенных методов оценки сравнительной предпоч­тительности альтернативных вариантов.При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, для которых он должен указать более предпочтительный. Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравни­ваемые альтернативные варианты равноценными либо не­сравнимыми.После последовательного предъявления эксперту всех дар альтернативных вариантов определяется их сравнитель­ная предпочтительность по оценкам данного эксперта.
В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые альтернативные варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.
Если эксперт признал некоторые альтернативные вари анты несопоставимыми, то в результате будет получено лишь их частичноеупорядочение.В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта.В этих случаях необходимо проведение специального анализа результатов экспертизы.
Отметим также, что при достаточно большом числе оцениваемых альтернативных вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта. В этом случае целесообразно применение соответствующих модификаций метода парных сравнений.
Например, если предположить непротиворечивость оценок эксперта, то, практически, достаточно однократного предъявления каждого альтернативного варианта в паре с каким-либо другим.Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака. Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим.Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу,целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы.

Дина Соловьева

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, и лишь после этого ее можно рассматривать как решение поставленной задачи.

Маркетинговые явления и процессы в большинстве своем относятся к слабоструктурированным системам, которые невозможно однозначно описать и формализованно исследовать. При анализе и прогнозировании такого рода систем не обойтись без использования экспертов. Именно тут как нигде необходимы их глубокие в данной предметной области знания и одновременно интуиция, основанная на опыте. Большое значение имеет и эрудиция, т.е. широкие межпредметные знания экспертов.

Экспертные методы анализа и прогнозирования могут быть как неформализованными, творческими, поскольку процедуры анализа не имеют четких алгоритмов и часто сам эксперт не может "разложить их по полочкам", так и "мягкоформализованными", основанными на гибких алгоритмах.

Разумеется, экспертиза может быть реализована самим маркетологом-аналитиком при наличии достаточных знаний, но часто ответственность задачи или ее специфика требуют использования независимого мнения, а иногда и нескольких, что может быть достигнуто только привлечением сторонних экспертов. Во втором случае возникает необходимость решения следующих проблем:

Отбор квалифицированных экспертов;

Выбор эффективного способа взаимодействия исследовательской группы с экспертами, а при групповой экспертизе - экспертов между собой;

Определение метода обработки и интерпретации информации, полученной от экспертов.

Выбор экспертов

Для отбора экспертов необходимо, во-первых, сформулировать критерии отбора (ответить на вопрос "Кто может выступать в качестве эксперта по данной проблеме?"), во-вторых, определить процедуры отбора (ответить на вопрос "Как установить соответствие эксперта необходимым требованиям?"). В качестве основных критериев отбора можно назвать следующие:

1. Уровень компетентности эксперта в данной предметной области, показателями которого в совокупности являются:

· уровень и профиль образования,

· профиль работы (связь с данной предметной областью),

· опыт работы по профилю (общий стаж работы по профилю и стаж работы непосредственно в данной предметной области),

· уровень решаемых проблем (соответствие занимаемой должности характеру и уровню возникшей проблемы),

· количество и качество ранее выполненных экспертиз, например, сбывшиеся прогнозы.

2. Степень объективности и беспристрастности эксперта при анализе и оценке явлений в данной предметной области (незаинтересованность эксперта в принятии определенного решения).

3. Умение работать в команде (это особенно важно для группового экспертного опроса), т.е.:

· коммуникативные навыки,

· способность к совместному творчеству,

· гибкость ума и "незашоренность" взгляда,

· нонконформизм.

При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры:

1. Самооценка экспертов по объективным параметрам.

2. Взаимная оценка экспертов.

3. Оценка экспертов независимыми специалистами.

4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта).

Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз.

Организация взаимодействия экспертов

Организация взаимодействия экспертов с исследователями зависит от выбранного метода сбора экспертной информации. Методы экспертизы в этом контексте могут быть классифицированы следующим образом:

Индивидуальные методы экспертизы,

Групповые методы экспертизы.

Экспертные методы, относящиеся к первой группе, предполагают индивидуальную работу исследователей с каждым из привлеченных экспертов. При этом может быть задействован и один эксперт, если его квалификации достаточно для снятия информационной неопределенности по проблеме, однако обычно привлекают несколько экспертов для повышения надежности экспертизы.

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов.

2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.

3. Метод "индивидуального блокнота". Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям.

Групповые методы формирования экспертизы в зависимости от характера и направленности обсуждения подразделяют на аналитические и креативные. Аналитические методы нацелены преимущественно на исследование характеристик изучаемого объекта. Креативные имеют своей целью коллективную генерацию идей или выработку решения проблемы. Соответствующим образом классифицируют и экспертные группы:

Обсуждающие группы (основная цель работы аналитическая),

Созидательные группы (основная цель креативная).

Групповые методы формирования экспертизы весьма разнообразны, опишем основные из них:

1. Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

2. Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

3. Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

4. Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

5. Экспертное фокусирование. Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, "фокусируются" на ней. Основная цель - выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего "бреда".

6. Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования - стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число "точек согласия" и прийти к консенсусу.

7. Метод интеграции решений. Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации - либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

8. Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

9. Метод "суда". Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется "процесс над проблемой". Выбираются "адвокат", "прокурор", "суд", "присяжные" и др. участники "процесса". Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование "присяжных" и конкретизация решения "судьями".

10. "Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.

11. "Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

12. Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо".

Возможны варианты

При выработке экспертизы возможно использование как одного из названных методов, так и различных их сочетаний, что имеет смысл, если обсуждаемая проблема слишком сложна. Например, возможно следующее сочетание экспертных процедур:

1. Коллективный блокнот - ознакомление экспертов с проблемой, индивидуальное размышление над проблемой и подготовка экспертов к групповому обсуждению.

2. Групповое обсуждение (фокусирование, мозговой штурм и т.п.) - совместное изучение проблемы, выдвижение и рассмотрение гипотез, выбор наиболее приемлемой гипотезы.

3. Опрос по методу Дельфи - оценивание явления в рамках выбранной гипотезы.

Подытожим результаты

Информация, полученная в процессе экспертного опроса, не является готовой экспертизой, она должна быть обработана, систематизирована, оценена с точки зрения качества, подвергнута анализу и целенаправленной интерпретации, и лишь после этого ее можно рассматривать как решение поставленной задачи. Оценка качества собранной экспертной информации производится, исходя из традиционных требований, предъявляемых к маркетинговой информации, - это актуальность, полнота и достоверность. Качество экспертной информации в принципе можно повысить, если использовать групповые экспертные опросы в несколько туров (особенно с обоснованием мнений), которые позволяют постепенно сблизить оценки экспертов, уточнить и дополнить мнения. Считается, что достоверность экспертных оценок тем выше, чем меньше разброс мнений, что может быть определено путем вычисления среднеквадратичного отклонения. Можно определить достоверность оценок косвенно, исходя из устойчивости мнений экспертов. Если оценки экспертов резко меняются от одного тура к другому, то достоверность таких оценок невелика.

Одним из наиболее ответственных этапов обработки собранной информации является согласование экспертных мнений, что может быть сделано на основе одного из следующих правил:

Правило большинства - выбирается та оценка явления или то решение задачи, которых придерживается большинство экспертов (однако, надо заметить, нередки ситуации, когда эксперты, дающие более достоверные оценки, оказываются в меньшинстве);

Правило средней оценки - мнения экспертов приводятся к некому общему знаменателю. Для количественных оценок это сделать достаточно просто: определяется либо простая, либо взвешенная средняя оценка, для качественной информации такое согласование более сложно. При согласовании количественных оценок также может использоваться отбрасывание наименьшей и наибольшей оценок и усреднение оставшихся.

При согласовании экспертных мнений и выработке окончательной экспертизы важно соблюсти следующие требования: системность и взаимная непротиворечивость параметров экспертизы, обоснованность и логичность выводов, полнота решения поставленной задачи. Соблюдение этих требований и обеспечивает высокое качество экспертизы при условии, естественно, соответствующей компетентности экспертов.

В целом надежность сформированной экспертизы определяется двумя основными факторами. Во-первых, квалификацией экспертов, их способностью к решению задач данного уровня сложности. Во-вторых, квалификацией исследовательской команды, ее способностью отобрать компетентных экспертов, "извлечь" и аккумулировать экспертные знания о проблеме.

Маркетинговый анализ и прогнозирование с помощью экспертов имеют как несомненные достоинства, так и достаточно ощутимые "узкие места". Среди достоинств следует особенно подчеркнуть возможность получения уникальной информации, которая не может быть почерпнута ни из каких других источников. Проблемы же экспертных опросов заключаются в следующем:

1. Сложность организации экспертизы: отбора экспертов в достаточном количестве и "качестве" и проведения опроса.

2. Сложность формирования окончательной экспертизы: согласования полученных данных, их анализа и интерпретации.

3. Возможная субъективность экспертов: эксперты могут находиться в плену своих представлений и неохотно пересматривать свою точку зрения, даже если она неправильная.

4. Возможное влияние на результат выбранной формы проведения экспертного опроса (при открытом опросе высока опасность конформизма).

5. Высокая стоимость проведения опроса, т.к. высока как оплата труда экспертов, так и расходы на организацию и проведение экспертизы.

В связи с дороговизной и сложностью проведения экспертного опроса выбор этого метода должен быть строго оправданным. Имеет смысл привлекать экспертов только для решения нетривиальных масштабных задач, для которых требуется получение независимой, объективной оценки ситуации, а также для выработки решений, которые не могут быть получены никаким другим способом.