Реферат: Метод экспертных оценок. Обработка экспертных оценок

Основными операциями экспертной оценки являются формирование рабочей и экспертной групп, классификация продукции, построение схемы показателей качества , подготовка анкет и пояснительных записок для экспертов, опрос экспертов и обработка экспертных оценок.

Применяемая обычно стандартная математическая обработка экспертных оценок коэффициентов значимости (3, не гарантирует достоверность Кк, поскольку мнения экспертов встраиваются в заведомо упрощенную математическую структуру показателей (3.14), (3.15), (3.16), не соответствующую истинным взаимосвязям полезности продукции со значениями её частных свойств.

Для того чтобы определить значимость символов, используют один из наиболее широко распространенных и доступных методов экспертного опроса и обработки экспертных оценок - оперирование матрицей предпочтений (парных сравнений). При помощи этой матрицы определяют сравнительные (весовые) оценки символов (табл. 25).

Д. Анализ и обработка экспертных оценок.

Основные математические задачи анализа экспертных оценок . При анализе мнений экспертов можно применять самые разнообразные статистические методы но описывать их - значит описывать практически всю прикладную статистику . Тем не менее можно выделить следующие основные широко используемые в настоящее время методы математической обработки экспертных оценок проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) усреднение мнений экспертов внутри согласованной группы".

Этап 7. Обработка экспертных оценок.

Эксперты привлекаются для уточнения целей прогноза и параметров, подлежащих экспертной оценке уточнения формулировок вопросов в экспертных таблицах. Экспертам рассылаются анкеты и таблицы экспертных оценок . Они привлекаются для консультации после обработки экспертных оценок по вопросам, требующим дополнительного обсуждения.

Анализ и обработка экспертных оценок. При проведении анализа собранных экспертных данных в соответствии с целями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласованность действий экспертов и достоверность экспертных оценок.

Обработка экспертных оценок при групповой экспертизе имеет специфику в зависимости от характера информации, выражающей предпочтения экспертов и содержательное обоснование своих предпочтений, целей, назначения и других факторов проводимой экспертизы и заключается в следующем

Целью обработки экспертных оценок является получение обобщенных данных по исследуемым объектам, анализ которых позволяет получать дополнительную информацию об особенностях процесса оценки, позволяющую формулировать выводы о качестве проведенной экспертизы и причинах возможных расхождений мнений коалиций экспертов.

Проводится статистическая обработка экспертных оценок. Каждому Y. присваивается новый номер таким образом, что разряду с наименьшей суммой баллов присваивается номер 1 и т. д.

Этот метод успешно применяется в маркетинге. Его используют для того, чтобы произвести экспертное прогнозирование путем организации системы сбора и математической обработки экспертных оценок.

Творческий этап - разработка конкретных способов решения задач , сформулированных на предыдущем этапе. На этом этапе исследуются варианты упрощения и удешевления конструкции изделия и технологии следующими способами изменение принципа действия, формы, компоновки, массы, применяемых материалов, способов их обработки, сочленения, крепления, регулировки, управления действием. Изучаются возможности совмещения нескольких функций в одном узле, детали и агрегате, устранение излишних функций и их материальных носителей. Организация такой работы должна способствовать максимальному использованию творческого потенциала и квалификации бригады инженеров. Принимаются все предложения. Их обсуждение может проводиться всеми методами экспертной оценки и анализа (мозговой атаки , мозгового штурма , Дельфы и др.).

Параметры уравнения определяются методом наименьших квадратов . Этот метод не является, конечно, единственным способом определения искомых параметров производственной функции (возможен, например, метод максимального правдоподобия или метод экспертных оценок). Однако метод наименьших квадратов наиболее разработан и, пожалуй, самый обоснованный из математико-стати-стических приемов обработки исходной информации . С помощью этого метода и решена наша конкретная задача.

Экспертный способ, известный под названием метода экспертных оценок , применительно к предпринимательскому риску может быть реализован путем обработки мнений опытных предпринимателей или специалистов. Наиболее желательно, чтобы эксперты дали свои оценки вероятностей возникновения определенных уровней потерь, по которым затем можно было бы найти средние значения экспертных оценок и с их помощью построить кривую распределения вероятностей.

Как отмечается в работе , использование полученных при обработке статистических данных параметров в расчетах по прогнозам прироста запасов газа неправомерно, так как означает формальный перенос закономерностей прошлых лет на будущее. Наиболее приемлем для прогнозирования таких параметров после статистического анализа их за прошлый период метод эвристического прогнозирования . Экспертные оценки прогнозируемых величин даются группой экспертов-геологов, разработчиков и экономистов, после чего проводится их математическая обработка.

Как исследовательская дисциплина кросс-культурный менеджмент начинает формироваться на рубеже 1960-1970-х годов. Первые статьи пишут профессиональные консультанты в области управления, и они являются итогом их личных наблюдений , опыта и экспертных оценок . Со второй половины 1970-х годов научные исследования в области кросс-культурного менеджмента приобретают более регулярный характер. Осуществляется сбор и систематизация солидных объемов социологической информации. Проводится их математическая обработка. При этом используются два основных метода исследования

Данный метод, являющийся наиболее гибким и всеохватывающим, применяется в сочетании с другими (особенно с методами аналогий и структуризации целей) и характеризуется многообразием форм реализации. В первую очередь к ним относятся осуществление диагностического анализа особенностей, анализ проблем, узких мест в системе управления действующей производственно-хозяйственной организацией или в организациях, аналогичных вновь создаваемой, с тем, чтобы предусмотреть организационное решение выявленных проблем в разрабатываемой структуре управления . Сюда же относятся проведение экспертных опросов руководителей, а также сотрудников организации для выявления и анализа отдельных характеристик построения и функционирования аппарата управления , обработка полученных экспертных оценок статистико-математическими методами (ранговая корреляция , факторный анализ , обработка списков и др.).

IV. Команда, работающая над четвертой проблемой, разрабатывает предложения по совершенствованию форм морального стимулирования (положительною, отрицательного, в процессе труда, по результатам труда), составляет их перечень. Члены команды индивидуально оценивают по 5-оалльчой системе значимость и состояние каждой ьз рассматриваемых форм морального стимулирования . На основании обработки экспертных оценок определяются наиболее значимые формы (по наибольшему количеству баллов).

Оценки важности и приоритетности различных программ получают с помощью обработки экспертных оценок. Инструментом формирования оценок приоритетности становится т. н. дерево целей , отражающее соподчинённость и взаимосвязи всех социалыю-экопо-мич. задач. Его построение позволяет обеспечить наиболее полное удовлетворение обществ, потребное-

Для этого используется система балльных оценок , как правило, 5- или 10-балльная. Каждый эксперт дает сначала оценку важности подпроблемы, затем - важности задач, потом - важности средств достижения или конкретных вариантов решения. Балльные оценки сводятся в соответствующие таблицы (по уровням). В процессе обработки экспертных оценок определяются следующие величины Л/. - среднее статистическое значение по j-му направлению S - сумма рангов поу -му направлению kw - количество максимальных оценок , данных экспертами данному направлению поу -му направлению V. - коэффициент вариации (согласованность мнений экспертов по у -му направлению).

Аналитические расчеты подобного типа могут делаться как на основе общего индекса цен, так и на основе индивидуальных индексов . К сожалению, достоверной статистики подобных индексов в более или менее оперативном режиме в России нет. Поэтому основным реальным инструментом планирования являются экспертные оценки индексов цен, полученные каким-либо из известных методов оценивания (предпочтительнее методы групповой экспертной оценки), например, методом Деяьфи. Информационным обеспечением экспертных оценок могут служить инвентаризационные описи, на основе которых можно рассчитать динамику и индексы цен по используемой на предприятии номенклатуре сырья, материалов, товаров. Каждый эксперт, получив исходные данные, делает свой прогноз индивидуальных индексов цен. Далее эксперты в ходе общей дискуссии, выдвигая аргументы за и против, приходят к общему решению. Более точное описание приведенных процедур и аппарат статистической обработки полученных результатов приводится в литературе по Метод Дельфи (по названию древнегреческого города Дельфы, известного своими предсказателями) является самым распространенным методом экспертной оценки будущего. Суть этого метода состоит в организации систематического сбора мнений экспертов и их обобщения. Выработаны специальные матема-тико-статистические приемы обработки различных оценок в сочетании со строгой процедурой обмена мнениями, обеспечивающей по возможности беспристрастность суждений. Ученые предложили способ, повышающий эффективность метода путем его комбинации с методами сетевого планирования.

Сущность метода экспертных оценок заключается в рациональной организации проведения экспертами анализа проблемы с количественной оценкой суждений и обработкой их результатов.

В процессе решения проблем эксперты выполняют роль генератора идей, событий и явлений, решений, определения признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. и измерителя их характеристик (измерения достоверности событий и гипотез, важности целей, значений признаков и показателей, предпочтений решений).

Все множество проблем можно условно подразделить на два больших класса: с достаточным и недостаточным информационным потенциалом. Это означает, что для проблем первого класса имеется необходимый объем знаний и опыта по их решению. Поэтому по отношению к этим проблемам эксперты являются качественными источниками и достаточно точными измерителями информации. На основании этого обобщенное мнение группы экспертов определяется осреднением их индивидуальных суждений и является близким к истинному. В отношении проблем второго класса эксперты уже не могут рассматриваться как достаточно точные измерители.

Применение методов осреднения, допустимых для «хороших измерителей», в данном случае может привести к значительным ошибкам, так как мнение одного эксперта, существенно отличающееся от мнения других экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработка результатов экспертного оценивания.

Подбор экспертов

Взависимости от масштаба решаемой проблемы организацию процедуры проведения экспертного оценивания осуществляет лицо, принимающее решение (ЛПР), или назначаемая им группа управления. Подбор количественного и качественного состава экспертов производится на основе анализа широты проблемы, достоверности оценок, характеристик экспертов и затрат ресурсов.

Выполняя работу по подбору экспертной группы, требуется решать следующие задачи:

уяснение решаемой проблемы;
определение перечня областей деятельности, связанных с решаемой проблемой;
определение долевого состава экспертов по каждой области деятельности;
определение количества и предварительного состава экспертов в группе;
анализ квалификации экспертов и уточнение списка экспертов в группе;
получение согласия экспертов на участие в работе;
составление окончательного списка состава экспертов.

При подборе экспертов представители группы управления руководствуются следующими основными требованиями, предъявляемыми к эксперту.

Компетентность - степень квалификации эксперта в определенной области знаний, которая оценивается с помощью анкетного опроса, путем интервьюирования, анализам предыдущей деятельности специалиста, уровня и широты знакомства с достижениями мировой науки и техники, пониманием проблем и перспектив развития.

Креативность - это способность решать творческие задачи.

Конформизм - это подверженность влиянию авторитетов.

Конструктивность мышления - это способность формировать решения, обладающие свойством практичности (прагматизм).

Коллективизм - этика поведения человека в коллективе, влияние на создание положительного психологического климата и тем самым на успешное решение проблемы.

Самокритичность эксперта проявляется при самооценке своей компетентности.

Отношение к экспертизе - негативное или пассивное отношение к решению проблемы, большая занятость и другие факторы существенно сказываются на выполнении экспертами своих функций, поэтому участие в экспертизе должно рассматриваться как плановая работа. Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. В настоящее время указанные характеристики в основном оцениваются на качественном уровне.

Опрос экспертов

Опрос экспертов представляет собой заслушивание и фиксацию в содержательной и количественной форме суждений экспертов по решаемой проблеме. Основными видами опроса экспертов являются: анкетирование и интервьюирование, дискуссии, метод «мозгового штурма» («мозговой атаки»), метод Дельфы.

Главным в организации опроса экспертов является создание таких условий, при которых эксперты были бы обеспечены в максимальной степени всей необходимой информацией и могли бы в полной мере проявить свою творческую активность и самостоятельность. В связи с этим группе управления следует предоставлять экспертам возможность ведения записей, использования технических средств (в том числе и ЭВМ), а также в случае необходимости организовывать предварительную обработку полученной информации и представление ее экспертам в наиболее наглядной форме. На определенных этапах экспертного оценивания общение экспертов является нежелательным, так как это может привести к утрате самостоятельности, независимости в своих суждениях и оценках каждого эксперта, повлиять на его творческую активность. Поэтому организаторы проведения экспертизы в этом случае должны находить разумный компромисс прежде всего путем выбора вида (метода) опроса, формы и степени общения экспертов.

Выбор того или иного метода опроса определяется целями экспертизы, сущностью решаемой проблемы, полнотой и достоверностью исходной информации, располагаемым временем и затратами на проведение опроса.

Рассмотрим содержание и технологию проведения перечисленных выше видов опроса.

АНКЕТИРОВАНИЕ

Анкетирование представляет собой опрос экспертов с помощью анкет, на вопросы которых они должны дать ответы в письменной форме, либо с использованием технических средств. Вопросы, содержащиеся в анкетах, можно классифицировать по содержанию и по типу.

объективные данные об эксперте (возраст, образование, должность, специальность, стаж работы и т. п.);
основные вопросы по сути анализируемой проблемы;
дополнительные вопросы, позволяющие выяснить источники ин-формации, аргументацию ответов, самооценку компетентности эксперта и т. п.

По типу вопросы делятся на открытые, закрытые и с веером ответов. Открытые вопросы предполагают ответ в произвольной форме. Открытые вопросы целесообразно применять в случае большой неопределенности проблемы. Это позволяет широко охватить рассматриваемую проблему, выявить спектр мнений экспертов. Недостатком открытых вопросов является возможное большое разнообразие и произвольная форма ответов, что существенно затрудняет обработку анкет.

Закрытые вопросы - это вопросы, на которые возможны следующие варианты ответов: «да», « нет», « не знаю». Закрытые вопросы применяются в случае рассмотрения четко определенных двух альтернативных вариантов, когда требуется определить степень большинства мнений по этим альтернативам.

Вопрос с веером ответов дает возможность эксперту выбрать один из предлагаемых ответов. Их целесообразно использовать при наличии нескольких достаточно четко определенных альтернативных вариантов. Эти варианты формируются для ориентации экспертов по возможному кругу направлений в решении проблемы.

ИНТЕРВЬЮИРОВАНИЕ

Это устный опрос, проводимый в форме беседы-интервью. Интервью с экспертом проводится членом группы управления и является по сути беседой, в которой ответы на заранее разработанные вопросы даются в устной форме. Естественно, качество ответов в этом случае снижается, ибо у эксперта меньше времени на их обдумывание, хотя при такой форме общения может быть получен оригинальный взгляд на решаемую проблему. Интервьюер должен хорошо знать анализируемую проблему, уметь четко формулировать вопросы, создавать непринужденную обстановку и уметь слушать.

МЕТОД ДЕЛЬФЫ

Представляет собой многотуровую процедуру анкетирования с обработкой и сообщением результатов каждого тура экспертам, работающим инкогнито по отношению друг к другу. В первом туре опроса дельфийским методом экспертам предлагаются вопросы, на которые они дают ответы без аргументации. Полученные от экспертов данные обрабатываются с целью выделения среднего и крайних значений оценок. Результаты обработки первого тура сообщаются экспертам. Если оценка эксперта сильно отклоняется от среднего значения, то его просят аргументировать свое мнение или изменить оценку.

Результаты опроса во втором туре обрабатываются и сообщаются экспертам. Результаты обработки второго тура содержат новые средние и крайние оценки, если производилась корректировка оценок первого тура. В случае сильного отклонения своих оценок эксперты должны аргументировать или изменить свои суждения с пояснением причин этого. Проведение последующих туров - по аналогичной схеме. Обычно проводятся три-четыре тура, после которых ответы приобретают устойчивый характер и не содержат каких-либо изменений.

При проведении опроса по методу Дельфы сохраняется анонимность ответов экспертов по отношению друг к другу. Это обеспечивает исключение подавления мнений экспертов за счет научного авторитета или должностного положения других экспертов.

ДИСКУССИЯ

Дискуссию целесообразно проводить для решения тех задач, которые не требуют точной количественной оценки объектов, параметров, альтернатив. Для проведения дискуссии формируется группа экспертов не более 20 человек. Группа управления проводит предварительный анализ проблем дискуссии с целью четкой формулировки задач, определения требований к экспертам, их подбора и методики проведения дискуссии.

Дискуссия проводится как открытое коллективное обсуждение рассматриваемой проблемы, основной задачей которого является всесторонний анализ всех факторов, положительных и отрицательных последствий, выявления позиций и интересов участников. В ходе дискуссии разрешается критика. Дискуссия может продолжаться в течение нескольких часов, поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Во время перерывов дискуссия продолжается. Поэтому перерывы следует делать не слишком короткими, так как кулуарные обсуждения дают положительный эффект.

Группа управления производит анализ и обработку результатов дискуссии и всех материалов, связанных с проблемой, и оформляет результаты дискуссии в виде практических рекомендаций по решаемой проблеме.

МОЗГОВАЯ АТАКА (ШТУРМ)

Представляет собой групповое обсуждение с целью генерации новых идей, вариантов решений проблемы. Характерной особенностью этого вида экспертизы является активный творческий поиск принципиально новых решений в трудных тупиковых ситуациях, когда известные пути и способы решения оказываются непригодными. Для поддержания активности и творческой фантазии экспертов в ходе заседания (сеанса) запрещается какая- либо критика высказываемых идей, которые на первый взгляд кажутся даже нелепыми и возможно нелогичными.

Для проведения сеанса назначается ведущий, основной задачей которого является управление ходом обсуждения для решения поставленной проблемы. В начале сеанса ведущий объясняет содержание и актуальность проблемы, правила ее обсуждения и предлагает для рассмотрения одну-две идеи.

Образуются две разные группы: группа генераторов идей и группа аналитиков. Представители первой группы не обязательно должны быть высококвалифицированными специалистами в рассматриваемой области и хорошо понимать поставленную задачу. Желательно, чтобы состав приглашенных специалистов был достаточно представительным и включал людей с большим опытом, широкой эрудицией и богатой фантазией.

Сеанс продолжается примерно 40-45 минут без перерыва. Для выступления предоставляется 2-3 минуты, которые могут повторяться. В каждом выступлении эксперты должны стремиться выдвинуть как можно больше новых идей и развивать ранее выдвинутые идеи. Идеи и предложения должны быть конструктивные, направлены на решение проблемы. В процессе генерирования идей и их обсуждения прямая критика запрещена, однако она имеет место в неявной форме и выражается в степени поддержки и развития высказываний.

На втором этапе реализации рассматриваемого метода осуществляется анализ и критика высказанных во время сеанса идей, точек зрения, мыслей и отбор наиболее ценных, перспективных и реальных решений. Данный анализ проводится группой специалистов, с привлечением технических средств и осуществлением количественного анализа, что позволяет углубить его, сделать получаемые результаты более объективными и разносторонними.

Обработка экспертных оценок

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. В зависимости от целей экспертного оценивания при обработке результатов опроса возникают следующие основные задачи:

определение компетентности экспертов и обобщенной оценки объектов,
построение обобщенной ранжировки объектов;
определение согласованности мнений экспертов;
определение зависимостей между ранжировками.

Основные этапы обработки экспертных оценок:

· определение компетенции экспертов;

· определение обобщенной оценки;

· построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив);

· определение зависимостей между ранжировками;

· оценка согласованности мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);

· оценка ошибки исследования;

· построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);

· подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

26. Подбор экспертов и их опрос.

Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.

Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.

В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Есть полезный метод "снежного кома" , при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

27. Обработка информации, получаемой от экспертов, проверка ее согласованности и достоверности.

Экспертными оценками называют методы общей группы методов научного исследования, используемых для оценивания сложных систем на качественном уровне.

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. Поэтому важно при организации экспертных опросов вводить определенные правила и использовать соответствующие методы получения и обработки экспертных оценок.

Алгоритм организации экспертных опросов включает этапы, на которых рассматриваются следующие вопросы:

· проблемы формирования экспертных групп, включая требования к экспертам, размеры группы, вопросы тренировки экспертов, оценки их компетентности;

· формы экспертного опроса (разного рода анкетирования, интервью, смешанные формы опроса) и методики организации опроса (в том числе методики анкетирования, мозговая атака, деловые игры и т. п.);

· подходы к оцениванию (ранжирование, нормирование, различные виды упорядочения, в том числе методы предпочтений, парных сравнений и др.);

· методы обработки экспертных оценок;

· способы определения согласованности мнений экспертов, достоверности экспертных оценок (в том числе статистические методы оценки дисперсии, вероятности для заданного диапазона изменений оценок, ранговой корреляции Кендалла, Спирмена, коэффициента конкордации и т. п.) и методы повышения согласованности оценок путем соответствующих способов обработки результатов экспертного опроса;

· варианты интерпретации полученных результатов.

Целесообразность применения того или иного метода определяется характером анализируемой проблемы, используемой информации.

Если оправданы лишь качественные оценки объектов по тем или иным качественным признакам, то используются методы ранжирования, парного и множественного сравнения. Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать тот или иной метод, начиная от непосредственных численных оценок с использованием шкал и кончая более тонкими методами последовательного сравнения, например, Черчмена-Акоффа.

Процедуры экспертизы

В процессе экспертиз могут возникать погрешности – смещения оценок, вносимые самой процедурой сбора и анализа мнений экспертов. Поэтому специалисты в области экспертных методов большое внимание уделяют разработке надежных правил подготовки и проведения экспертиз. Ниже рассмотрены наиболее существенные правила и этапы проведения экспертиз.

Для подготовки экспертизы должна быть сформирована группа специалистов-организаторов. Эта группа призвана обеспечить условия для эффективной деятельности экспертов, разработать процедуру экспертизы, наиболее соответствующую характеру рассматриваемой проблемы. В задачи группы входит:

· Постановка проблемы, определение целей и задач экспертизы, ее границ, основных этапов;

· Разработка процедуры экспертизы;

· Отбор экспертов, проверка их компетентности и формирование групп экспертов:

· Проведение опроса и согласование оценок;

· Формализация полученной информации, ее обработка, анализ и интерпретация.

Численность группы экспертов не должна быть малой, так как в этом случае будет потерян смысл формирования экспертных оценок. Кроме того, на групповые оценки в значительной степени влияла бы оценка каждого эксперта. В то же время при очень большом количестве экспертов оценка каждого из них почти не влияет на групповую оценку. Рост численности экспертной группы не всегда повышает достоверность оценок, потому что зачастую расширение группы экспертов возможно лишь за счет привлечения малоквалифицированных специалистов. С ростом числа экспертов, кроме того, увеличиваются трудности, связанные с обработкой результатов опроса и координацией работы группы.

Перед экспертным опросом должны быть разработаны правила его проведения и организации, содержащие ряд положений, обязательных для всех экспертов. Эти правила должны обеспечивать соблюдение условий, благоприятствующих формированию экспертами объективного мнения. К таким условиям относятся:

· Независимость формирования экспертами собственного мнения об оцениваемых событиях;

· Сохранение анонимности ответов;

· Возможность проведения коллективных обсуждений оцениваемых событий;

· Предоставление экспертам требуемой информации.

В зависимости от важности и сложности проблемы и соответственно задач, возлагаемых на группу организаторов, в ее состав включают до пяти – семи человек – специалистов в данной области (областях) знаний, а также специалистов по экспертным методам (социологов, психологов, математиков).

Подготовку экспертизы начинают с постановки проблемы . Для этого, прежде всего, знакомятся с предысторией и состоянием проблемы, устанавливают ее место и значение. После этого проводится предварительный анализ проблемы, уточняются все внешние и внутренние связи, определяются границы включаемого в рассмотрение материала. Для этого организаторы экспертизы выдвигают центральный вопрос, составляющий существо проблемы, а затем «расщепляют» его на подвопросы, при этом ограничивают «поле» рассмотрения лишь теми подвопросами, без ответов на которые нельзя получить ответ на центральный вопрос.

При решении сложных социально-экономических и научно-технических проблем эксперты, представляющие разные отрасли знаний, обращаются к понятиям разных дисциплин. Поэтому необходимо сформулировать основные понятия,. используемые при проведении экспертизы.

В зависимости от целей и задач экспертизы, от подбора участвующих в ней специалистов организаторы экспертизы выбирают метод опроса: индивидуальный или групповой (коллективный), личный (очный) или заочный, устный или письменный.

Независимо от того, идет ли речь об анкете или интервью, в основе опроса лежит вопросник, с помощью которого и осуществляется сбор требуемой информации. Перевод цели и задачи экспертизы на язык вопросов требует от организаторов экспертизы сложной и кропотливой работы, знания различных типов вопросов, умения точно сформулировать их, расположить в определенной последовательности.

Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы. Все вопросы анкеты в зависимости от их содержания можно подразделить на три группы: данные о самом эксперте (его возрасте, должности, стаже работы, образовании, научном звании, узкой специализации и т.п.); вопросы по существу исследуемой проблемы; вопросы, позволяющие оценить мотивы, которых придерживался эксперт в своем анализе.

По форме различают вопросы открытые, закрытые и полузакрытые; прямые и косвенные. Вопрос считается открытым (свободным), если ответ на него может быть дан в любой форме и ничем не регламентирован, закрытым – если в его формулировке содержатся варианты возможных ответов, а эксперт должен выбрать один или несколько; полузакрытым, если перечнем предусмотрена возможность любых дополнительных замечаний.

Различают три вида вопросов, по которым дается экспертная оценка, - вопросы, ответы на которые содержат количественную оценку (1), требующие содержательного ответа в сжатой (2) и развернутой (3) форме.

Работа по отбору экспертов, участвующих в экспертизе, обычно начинается с составления списка компетентных в исследуемой области лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Различаются четыре основные группы таких методов: самооценки; оценки группой каждого специалиста; оценка на основе результатов прошлой деятельности эксперта; методы оценки компетентности кандидатов в эксперты.

©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2016-04-27

Проблема подбора экспертов является одной из наиболее сложных в теории и практике экспертных исследований. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что в настоящее время и в обозримом будущем не будет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов и обратим внимание на иные стороны процедур подбора экспертов.

В проблеме подбора экспертов можно выделить две составляющие - 1)составление списка возможных экспертов и 2) выбор из них экспертной комиссии в соответствии с компетентностью кандидатов .

Составление списка возможных экспертов облегчается тогда, когда рассматриваемый вид экспертизы проводится многократно. В таких ситуациях обычно ведется реестр возможных экспертов, например, в области государственной экологической экспертизы или судейства фигурного катания. Из обширного реестра можно выбирать по различным критериям или с помощью датчика псевдослучайных чисел .

Как быть, если экспертиза проводится впервые, а потому устоявшиеся списки возможных экспертов отсутствуют? Однако и в этом случае у каждого конкретного специалиста есть некоторое представление о том, что требуется от эксперта в подобной ситуации. Для формирования списка есть полезный метод "снежного кома", при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько (например, пять) фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее и зафиксированы в списках РГ, а некоторые - новые. Каждого вновь появившегося опрашивают по той же схеме. Процесс расширения списка останавливается, когда список экспертов расширяется до нужных размеров или когда новые фамилии практически перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Метод "снежного кома" имеет и недостатки. Число туров до остановки процесса наращивания "снежного кома" нельзя заранее предсказать, а потому нельзя предварительно установить продолжительность и стоимость этой работы. Кроме того, ясно, что если на первом этапе все эксперты были из одного "клана", придерживались в чем-то близких взглядов или занимались сходной деятельностью, то и метод "снежного кома" даст, скорее всего, прежде всего лиц из этого "клана". Мнения и аргументы других "кланов" будут упущены.

Вопрос об оценке компетентности экспертов не менее сложен. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов. Использование формальных показателей экспертов (должность, ученые степень и звание, стаж, число публикаций, награды, ...), очевидно, в современных условиях может носить лишь вспомогательный характер, хотя подобные показатели проще всего применять при формировании экспертной комиссии.

Часто предлагают использовать методы самооценки и взаимооценки компетентности экспертов. Обсудим их, начав с метода самооценки, при котором эксперт сам дает информацию о том, в каких областях он компетентен, а в каких - нет. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии. Достаточно часто эксперт преувеличивает свою реальную компетентность. Например, большинство людей считают, что они хорошо разбираются в политике, экономике, проблемах образования и воспитания, семьи и медицины. На самом деле экспертов (и даже знающих людей) в этих областях не так уж много, особено в сравнении с претензиями профанов. Бывают уклонения и в другую сторону, излишне критичное отношение к своим возможностям. При этом специалист вполне сознательно искусственно сужает зону своей компетенции. Так, научный работник может заявить, что он компетентен только в том, чему посвящены его последние публикации.

При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль малая осведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет (не менее 3-4) работающих совместно, в одной комнате, над одной темой. Именно про такие пары можно сказать, что они "пуд соли вместе съели". Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку их взгляды из-за схожести жизненного пути слишком похожи друг на друга. Малая осведомленность экспертов о возможностях друг друга приводит к взаимооценкам на основе недостаточных, а иногда и не вполне достоверных сведений, или на базе ранее описанных формальных показателей.

Если процедура экспертного опроса предполагает непосредственное общение экспертов, необходимо учитывать еще ряд обстоятельств. Большое значение имеют их личностные (социально-психологические) качества. Так, один-единственный "говорун" может парализовать деятельность всей комиссии на совместном заседании. К срыву могут привести и неприязненные отношения членов комиссии, и сильно различающийся научный и должностной статус членов комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.

Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов. При этом ЛПР может как добавить в комиссию отдельных экспертов, так и вычеркнуть некоторых из них - по собственным соображениям, с которыми членам РГ и ЭК знакомиться нет необходимости.

Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г., в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.

О разработке регламента проведения сбора и анализа экспертных мнений

Как уже отмечалось, существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов, "кланов" и отдельных коллег. В других экспертов собирают вместе для подготовки материалов для ЛПР , при этом эксперты обсуждают проблему друг с другом, принимают или отвергают аргументы друг друга, учатся друг у друга, и неверные или недостаточно обоснованные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем (в случае достаточно хорошей согласованности мнений) их усреднения позволяли принимать обоснованные решения с точки зрения эконометрики. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" для формирования команды экспертов.

В настоящее время не существует общепринятой научно обоснованной классификации методов экспертных оценок и тем более - однозначных рекомендаций по их применению. Попытка силой (приняв какой-либо нормативно-правовой документ) утвердить одну из возможных точек зрения может принести лишь вред.

Однако для рассказа о многообразии экспертных оценок необходима какая-либо рабочая классификация методов. Одну из таких возможных классификаций мы даем ниже, перечисляя основания, по которым мы делим экспертные оценки .

Какова цель работы комиссии ? Один из основных вопросов - что именно должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы экспертной комиссии, и он служит первым основанием для разбиения методов на группы с целью их классификации.

ЦЕЛЬ - СБОР ИНФОРМАЦИИ ДЛЯ ЛПР . Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен следующий метод постепенного увеличения числа экспертов. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается, когда иссякает поток новых соображений.

Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового. Таких обычно называют диссидентами (т.е. инакомыслящими). Именно от них следует ожидать наиболее оригинальных аргументов.

ЦЕЛЬ - ПОДГОТОВКА ПРОЕКТА РЕШЕНИЯ ДЛЯ ЛПР . Эконометрические методы в экспертных оценках применяются обычно именно для решения задач, связанных с подготовкой проекта решения, основанного на итоговом коллективном мнении комиссии экспертов. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.

ДОГМА СОГЛАСОВАННОСТИ . Часто без всяких оснований считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. (В лучшем случае им разрешает составить документ под названием: "Особое мнение".) При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их компетентности и профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.

Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, хорошо известны примеры деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет, например, об истории конкурсов НИР в академическом Институте проблем управления (автоматики и телемеханики)).

Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет . Это весьма важно. И ЛПР при принятии решений должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе (или даже "подсказанной" ЛПР ).

Часто не учитывают еще одного чисто эконометрического обстоятельства. Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением экспертов на группы, что делает дальнейшие расчеты не имеющими отношения к действительности, а потому не имеющими практического смысла. Для примера обратимся к конкретным методам расчетов с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена. Необходимо напомнить, что согласно эконометрической теории положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение конкретной статистической гипотезы , а именно, гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Таким образом, проверяется нулевая гипотеза , согласно которой ранжировки, описывающие мнения экспертов, являются независимыми случайными бинарными отношениями , равномерно распределенными на множестве всех ранжировок . Отклонение этой нулевой гипотезы толкуется как принятие альтернативной гипотезы согласованности ответов экспертов. Другими словами, мы падаем жертвой заблуждений, вытекающих из различного толкования одних и тех же слов в не вполне связанных друг с другом научных дисциплинах: принятие статистической гипотезы согласованности в указанном математико-статистическом смысле вовсе не является обоснованием согласованности мнений экспертов в смысле практики экспертных оценок. (Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела группу специалистов к разработке нового эконометрического аппарата для проверки согласованности - непараметрических методов, основанных на т.н. люсианах и входящих в современный раздел эконометрики - статистику нечисловых данных ). Группы экспертов с близкими взглядами можно выделить эконометрическими методами кластер -анализа.

МНЕНИЯ ДИССИДЕНТОВ . С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов- диссидентов , т.е. инакомыслящих по сравнению с большинством. Жесткий способ борьбы с диссидентами состоит в игнорировании их мнений, т.е. фактически в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений (выбросов), приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Так, известна крайняя неустойчивость классических методов отбраковки выбросов по отношению к отклонениям от предпосылок модели.

Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур . Простейший пример: если ответ эксперта - действительное число , то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР ) аргументы диссидентов.

В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое впоследствии приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает эти ответственность и труд на плечи ЛПР .

ДОГМА ОДНОМЕРНОСТИ . Среди менеджеров и инженеров распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект экспертизы всегда можно оценить одним числом . Странная идея! Оценивать человека одним числом приходило в голову лишь на невольничьих рынках . Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа - ее " рыночной стоимости ".

Вместе с тем нельзя полностью отрицать саму идею поиска обобщенных показателей качества, технического уровня и аналогичных им. Так, каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:

расход бензина на 100 км пути (в среднем);
надежность (средняя стоимость ремонта за год);
экологическая безопасность, оцениваемая по содержанию вредных веществ в выхлопных газах;
маневренность;
быстрота набора скорости 100 км/час после начала движения;
максимальная достигаемая скорость;
длительность сохранения в салоне положительной температуры при низкой наружной температуре (-50 градусов по Цельсию) и выключенном двигателе;
дизайн (привлекательность и "модность" внешнего вида и отделки салона);
представительность;
срок службы;
эксплуатационные расходы (за год);
цена;
приведенная к сопоставимым ценам стоимость 1 км пробега, и т.д.

Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины, особенно в большом городе с суровым ограничением на максимальную скорость. Для такого водителя важнее расход бензина, маневренность и надежность . Для машин различных служб государственного управления, видимо , надежность важнее, чем для частника, а расход бензина - наоборот. Представительность важна для высших менеджеров и чиновников, занимающих высокие посты. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет. И т.д.

Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - могут не дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д.

В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (например, найти эти коэффициенты методом наименьших квадратов ). Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты непосредственно с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель.

Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают , но эти ответы не несут в себе надежной информации о реальности...

Отметим, что есть экспертные процедуры, в которых веса отдельных факторов вычисляются в результате тщательного анализа иерархической системы показателей. Для таких процедур приведенные выше критические замечания по поводу экспертного определения весов факторов не имеют силы.

ВТОРОЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ЧИСЛО ТУРОВ . Экспертизы могут включать один тур, некоторое фиксированное число туров (два, три,…) или неопределенное число туров. Чем больше туров, тем более тщательным является анализ ситуации, поскольку эксперты при этом обычно много раз возвращаются к рассмотрению предмета экспертизы. Но одновременно увеличивается общее время на экспертизу и возрастает ее стоимость . Можно уменьшить расходы , вводя в экспертизу не всех экспертов сразу, а постепенно. Так, например, если цель состоит в сборе аргументов "за" и "против", то первоначальный перечень аргументов может быть составлен одним экспертом. Второй добавит к нему свои аргументы. Суммарный материал поступит к первому и третьему, которые внесут свои аргументы и контраргументы. И так далее - добавляется по одному эксперту на каждый новый тур.

Наибольшие сложности вызывают процедуры с заранее неопределенным числом туров, например, "снежный ком". Часто задают максимально возможное число туров, и тогда неопределенность сводится к тому, придется ли проводить это максимальное число туров или удастся ограничиться меньшим числом.

ТРЕТЬЕ ОСНОВАНИЕ КЛАССИФИКАЦИИ ЭКСПЕРТНЫХ ПРОЦЕДУР - ОРГАНИЗАЦИЯ ОБЩЕНИЯ ЭКСПЕРТОВ . Рассмотрим достоинства и недостатки каждого из элементов следующей шкалы: отсутствие общения - заочное анонимное общение - заочное общение без анонимности - очное общение с ограничениями - очное общение без ограничений.

При отсутствии общения эксперт высказывает свое мнение, ничего не зная о других экспертах и об их мнениях. Он полностью независим, что и хорошо, и плохо. Хорошо - потому что он полностью независим, защищен от любого давления. Плохо - он не знает соображений других экспертов, а потому опирается лишь на собственную информационную базу. Обычно такая ситуация соответствует однотуровой экспертизе.

Заочное анонимное общение , например, как в методе Дельфи, означает, что эксперт знакомится с мнениями и аргументами других экспертов, но не знает, кто именно высказал то или иное положение. Следовательно, в экспертизе должно быть предусмотрено хотя бы два тура, чтобы эксперт смог скорректировать свое мнение, познакомившись с мнениями других.

Заочное общение без анонимности соответствует, например, общению по Интернету. Экспертные опросы на основе информационных технологий -весьма перспективное направление развития в области организации экспертиз.

Все варианты заочной экспертизы хороши тем, что нет необходимости собирать экспертов вместе, следовательно, находить для этого удобное для всех экспертов время и место .

При очных экспертизах эксперты говорят, а не пишут, как при заочных, и потому успевают за то же время сказать существенно больше. Очная экспертиза с ограничениями весьма распространена. Это - собрание, идущее по фиксированному регламенту. Примером является военный совет в императорской русской армии, когда эксперты (офицеры и генералы) высказывались в порядке от младшего ( по чину и должности) к старшему. Подробно такой совет описан в повести А.С. Пушкина "Капитанская дочка". Другой пример - "мозговой штурм", при котором запрещается критиковать чужие высказывания.

Наконец, - это свободная дискуссия. Все очные экспертизы имеют недостатки, связанные с возможностями отрицательного влияния на их проведение социально-психологических свойств и клановых (партийных) пристрастий участников, а также неравенства их профессионального, должностного, научного статусов. Представьте себе, что соберутся вместе 5 лейтенантов и 3 генерала. Независимо от того, какая информация имеется у того или иного участника встречи, ход ее предсказать нетрудно: генералы будут говорить, а лейтенанты - помалкивать. Хотя опыт генералов несравним с лейтенантским, но в процессе недавнего обучения лейтенанты познакомились с последними научными достижениями, которые почти наверняка прошли мимо внимания генералов. Разумеется, этот пример можно обсудить не для совещания военных, а для собрания управленцев (менеджеров), врачей или преподавателей.

Необходимо обратить внимание на психологические особенности экспертов. Один начнет громко говорить на разные темы, как только ему это удастся, и словесный понос может продолжаться часами. От попыток прервать его и сказать свое такой деятель легко отбивается, в частности, за счет высокой скорости произнесения слов. Поведение другого эксперта противоположно. Он предпочитает помалкивать, пока ему не предоставлено слово , не тратить сил на попытки вклиниться в словесный понос "говоруна". Из сказанного ясно, что очная экспертиза без ограничений , т.е. свободная дискуссия - это недостижимый идеал, реально роль и возможности председателя заседания (зафиксированные в регламенте работы ЭК) должны быть достаточны велики.

КОМБИНАЦИЯ РАЗЛИЧНЫХ ВИДОВ ЭКСПЕРТИЗЫ . Реальные экспертизы часто представляют собой комбинации различных описанных выше типов экспертиз. В качестве примера рассмотрим систему экспертиз при подготовке и защите студентом дипломного проекта. Сначала идет многотуровая очная экспертиза, проводимая научным руководителем и консультантами, в результате учета результатов этой экспертизы студент подготавливает проект к защите. Затем два эксперта работают заочно - это автор отзыва сторонней организации и заведующий кафедрой, допускающий работу к защите. Обратите внимание на различие задач этих экспертов и объемов выполняемой ими работы - один пишет подробный отзыв и дает оценку проекту, второй росписью на титульном листе проекта разрешает его защиту. Наконец - очная экспертиза без ограничений (для членов государственной аттестационной комиссии). Дипломный проект оценивается коллегиально, по большинству голосов, при этом лишь один из экспертов (научный руководитель) знает работу подробно, а остальные - в основном лишь по докладу студента. Таким образом, имеем сочетание многотуровой и однотуровой, заочных и очных экспертиз. Подобные сочетания характерны для многих реально проводящихся экспертиз.

При проведении анализа собранных экспертных данных в соответствии с це-лями исследования и принятыми моделями необходимо представить информацию, полученную от экспертов в виде, удобном для принятия решений (упорядочить объекты - варианты, показатели, факторы и т.п.), а также определить согласован-ность действий экспертов и достоверность экспертных оценок.
Так, например, выявленные в процессе качественного анализа риски необходимо представить в порядке их важности (степени возможного их влияния на уровень потерь), или варианты снижения риска - в порядке их предпочтительности и т.п.
Существует ряд методов упорядочения, каждый из которых имеет свои достоинства и недостатки, а также область эффективного применения. Наиболее распростра-ненными из них являются: ранжирование, непосредственная оценка, последова-тельное сравнение, парное сравнение.
Важным моментом экспертных процедур является оценка согласованности дей-ствий экспертов и достоверности экспертных оценок.
Как отмечалось, существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласованности действий экс-пертов достоверность оценок гарантируется.
Наиболее часто для этих целей используют коэффициент конкордации (согласия), величина которого позволяет судить о степени согласованности мнений экспертов и, как следствие, достоверности их оценок.
Величина коэффициента конкордации может изменяться в пределах от 0 до 1. При W = 0 согласованности нет, т.е. связь между оценками раз-личных экспертов отсутствует. При W = 1 - согласованность мнений экспертов полная.
Для принятия решения об использовании полученных от экспертов оценок необходимо, чтобы коэффициент конкордации был больше за-данного (нормативного) значения Wн (W > Wн).
Можно принять Wн = 0,5. Считается, что при W > 0,5 действия экспер-тов в большей степени согласованы, чем не согласованы.
Определение коэффициента конкордации рассмотрим на следующем упрощенном примере. Пусть в процессе качественного анализа выяв-лены пять видов риска, которым может подвергаться проект в процессе его реализации. Перед экспертами стоит задача проранжировать эти риски (представить в порядке их важности) по степени возможного их влияния на уровень потерь.
При полностью согласованном мнении экспертов каждый из них перво-му виду риска дал два балла, второму - один, третьему - четыре, четвертому - три, пятому - пять. В этом случае суммарный ранг важ-ности рисков составил бы соответственно 8, 4, 16, 12 и 20 баллов.
Известно, что среднее значение суммарной оценки для m объектов, назначаемых n экспертами, составляет 1/2 n (m+1) и в рассматрива-емом примере среднее значение составляет - 12.
Таким образом, мнения экспертов можно считать в достаточной степени согласованным.
Используются также критерии, которые позволяют оценить вероятность того, что согласованность экспертов не явилась результатом случайных вариаций их мнений.
Если в соответствии с принятыми критериями мнения экспертов можно считать согласованными, то данные ими оценки принимаются и исполь-зуются в процессе подготовки и реализации управленческих решений.
Если полученные оценки нельзя считать достоверными, следует повто-рить опрос заново. Если и это не дает желаемых результатов, следует уточнить исходные данные и (или) изменить состав группы экспертов.
Здесь следует отметить важную роль организаторов экспертизы, в за-дачи которых входят:
постановка проблемы, определение целей и задач экспертизы, ее гра-ниц и основных этапов;
разработка процедур экспертизы, в наибольшей степени соот-ветствующей характеру решаемой проблемы; отбор экспертов, провер-ка их компетентности и формирование групп экспертов;
проведение опроса и согласование оценок; формализация полученной информации, ее обработка, анализ и интерпретация.
От правильной организации экспертизы в значительной степени зависит эффективность результатов, полученных посредством экспертных оце-нок, в т.ч. и достоверность этих оценок.