Главная » Статьи » Управление медицинской организацией

Экспертное оценивание в управлении здравоохранением

Экспертное оценивание имеет исключительно важное значение для принятия правильных стратегических решений по вопросам развития здравоохранения. Однако мы точно не знаем, как реально принимаются судьбоносные решения в этой сфере.

В настоящее время принято публичное обсуждение в профессиональной среде законопроектов и проектов основных нормативно-правовых актов в области здравоохранения. Минздравсоцразвития России организовывает их обсуждение на специальных сайтах. В качестве примера можно привести обсуждение Концепции развития здравоохранения и законопроекта об основах охраны здоровья населения Российской Федерации. Результаты подобных обсуждений и конкретные предложения анализируются и используются для совершенствования проектов документов. Однако дальнейший процесс не является достаточно прозрачным. Отбираются ли только предложения, соответствующие уже намеченной концепции документа? Как анализируются альтернативные предложения? И как используются апробированные методики экспертного оценивания проблем и направлений развития здравоохранения?

В настоящее время разработаны многочисленные технологии экспертного анализа, которые можно применять как при решении проблем стратегического характера, так и при оперативном управлении учреждениями здравоохранения.

Можно выделить 2 группы экспертных оценок: индивидуальные и коллективные. Индивидуальные основаны на использовании мнения экспертов, независимых друг от друга. Коллективные экспертные оценки основаны на использовании коллективного мнения экспертов.

Под экспертным оцениванием понимают процедуру получения оценки проблемы на основе группового мнения специалистов (экспертов). Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод можно рекомендовать для получения качественных оценок, ранжирования – например для сравнения нескольких проектов по их степени соответствия заданному критерию. При экспертных оценках используются:

• МЕТОД АССОЦИАЦИЙ - основан на изучении схожего по свойствам объекта с другим объектом.

• МЕТОД ПАРНЫХ СРАВНЕНИЙ - основан на сопоставлении экспертом альтернативных вариантов, из которых надо выбрать наиболее предпочтительные.

• МЕТОД ВЕКТОРОВ ПРЕДПОЧТЕНИЙ - эксперт анализирует весь набор альтернативных вариантов и выбирает наиболее предпочтительные.

• МЕТОД ФОКАЛЬНЫХ ОБЪЕКТОВ - заключается в перенесении признаков случайно отобранных аналогов на исследуемый объект.

• ИНДИВИДУАЛЬНЫЙ ЭКСПЕРТНЫЙ ОПРОС - проводится в форме интервью или в виде анализа экспертных оценок. Этот метод означает беседу заказчика с экспертом, в ходе которой заказчик ставит перед экспертом вопросы, ответы на которые значимы для достижения программных целей. Анализ экспертных оценок предполагает индивидуальное заполнение экспертом разработанного заказчиком формуляра по результатам которого производится всесторонний анализ проблемной ситуации и выявляются возможные пути ее решения. Свои соображения эксперт выносит в виде отдельного документа.

• МЕТОД СРЕДНЕЙ ТОЧКИ – здесь формулируются 2 альтернативных варианта решения, один из которых менее предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена между значений первой и второй альтернативы.

Этапы экспертного оценивания

1. Постановка цели исследования.

2. Выбор формы исследования, определение бюджета проекта.

3. Подготовка информационных материалов, бланков анкет, модератора процедуры.

4. Подбор экспертов.

5. Проведение экспертизы.

6. Статистический анализ результатов.

7. Подготовка отчета с результатами экспертного оценивания.

1. Постановка цели исследования

Экспертное оценивание предполагает создание разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником сверхвозможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом:

1. Выбор лучшего варианта решения среди имеющихся.

2. Прогнозирование развития процесса.

3. Поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель (проблему) и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

1. Четкое определение условий, времени, внешних и внутренних ограничений проблемы.

2. Возможность ответа на вопрос с доступной человеческому опыту точностью.

3. Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных периметров не рекомендуется задавать более пяти градаций.

4. Эксперты оценивают возможные варианты, не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

2. Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по признакам:

1. По форме участия экспертов: очное, заочное. (Очный метод позволяет сосредоточить внимание экспертов на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле).

2. По количеству итераций (повторов процедуры для повышения точности).

3. По решаемым задачам: генерирующие решения и оценивающие варианты.

4. По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.

5. По способу обработки мнений экспертов: непосредственные и аналитические.

6. По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5–12 человек экспертов.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают оплату экспертов, аренды помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы.

3. Подготовка информационных материалов, бланков анкет, инвентаря и модератора процедуры

Эксперты, перед вынесением суждения, должны разносторонне рассмотреть представленную проблему. Поэтому, для проведения процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Необходимо заранее разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждений, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки. Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

4. Подбор экспертов

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

5. Проведение экспертизы

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

1. Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).

2. Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

6. Статистический анализ результатов

После получения ответов экспертов необходимо провести их оценку, что позволяет:

1) оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);

2) оценить ошибку исследования;

3) построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

7. Подготовка отчета с результатами экспертного оценивания

В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

Экспертный опрос

Экспертный опрос - разновидность опроса, в ходе которого респондентами являются эксперты - высококвалифицированные специалисты в определенной области деятельности. Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы. В практике экспертный опрос используется:

• для прогноза развития того или иного явления;

• для оценки степени достоверности массового опроса;

• для сбора предварительной информации о проблеме исследования (зондаж);

• в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.

Надежность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Сама процедура предполагает:

• анализ исследуемой ситуации;

• выбор группы экспертов;

• выбор способа замера экспертных оценок;

• процедуру непосредственной оценки работы экспертов;

• анализ полученных данных.

Может оказаться необходимой также:

• проверка входных данных, используемых для экспертных оценок;

• изменение состава экспертных групп;

• повторные замеры по тем же вопросам с последующим сопоставлением результатов с объективной информацией, полученной другими методами.

Роль эксперта

Эксперт может участвовать в опросе как:

• генератор, источник идей, гипотез и предложений;

• арбитра по оценке имеющихся данных, характеристик и показателей объекта;

• аудитора по оценке условий постановки эксперимента;

• источника не известной исследователю информации, которая служит основой для дальнейшего анализа.

Сравнение с другими методами

Результаты опроса групп экспертов существенно отличаются от решений, формируемых в результате дискуссий на заседаниях комиссий, где может возобладать мнение авторитетных или всего лишь «напористых» участников. Это не означает, что индивидуальное мнение конкретного специалиста или решение такой комиссии не значимо. Однако соответствующим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Подбор экспертов

Количество членов экспертной группы значительно меньше в сравнении с количеством респондентов, опрашиваемых при массовом опросе. Отбор экспертов, формирование экспертных групп - достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений.

Предварительная группа

Подбор специалистов для участия в экспертном опросе, начинается с определения научных, технических и административных проблем, непосредственно связанных в решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов.

Формирование группы потенциальных экспертов начинается методом «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы.

Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения. Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными.

Принципиальное значение имеет возможность обеспечения «равноправия» специалистов различных направлений, различного уровня компетентности с учетом специфики исследуемой проблемы.

Тем не менее, можно установить некоторые общие требования, подразумевающие выяснение следующих параметров:

• компетентность потенциального эксперта в исследуемой области;

• эрудированность в смежных областях;

• ученая степень;

• звание;

• стаж научной или практической работы в определенной сфере;

• должностное положение;

• принципиальность;

• объективность;

• способность творчески мыслить;

• интуиция.

Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

1) креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен;

2) эвристичность, то есть способность видеть или создавать неочевидные проблемы;

3) интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению;

4) предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта;

5) независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения;

6) всесторонность (системность), то есть способность видеть проблему с различных точек зрения.

Рабочая группа

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию. Так, подбор экспертов может быть:

1) экспериментальным (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);

2) документальным (на основе социально-демографических данных);

3) при помощи голосования (на основе аттестации потенциальных экспертов их коллегами);

4) при помощи самооценки (оценка степени компетентности изучаемой проблемы, которая дается самим потенциальным экспертом).

Кроме указанных способов возможен расчет достоверности и точности экспертных оценок, представленных каким-либо из потенциальных экспертов в прошлом. В этом случае специалистов-экспертов можно рассматривать как «прибор», дающий информацию о вероятности каких-либо предстоящих событий или гипотез, объясняющих происходящие события. Следует определить точность и достоверность этой информации, подобно тому, как это делается для измерительных приборов. Рассматривая эксперта именно в таком ключе, определяют достоверность и точность его оценок по результатам прошлой деятельности. Для этого рассчитывают степень надежности эксперта, под которой понимается относительная частота случаев, когда эксперт приписал наибольшую вероятность гипотезам, впоследствии подтвердившимся (то есть количество прогнозов, сделанных экспертом вообще делится на количество сбывшихся прогнозов). Под степенью точности эксперта при вынесении им суждения о значении вероятности для некоторого события понимается степень соответствия его персональной оценки корректности того класса гипотез, которым он приписал эту вероятностную оценку. Понятие надежности и точности эксперта базируется на предположении о том, что существует класс задач для решения которых эксперт либо подходит, либо не подходит.

Подготовка экспертов к работе

Работа специалиста, организующего экспертный опрос, включает в себя еще и подготовку экспертов к работе, в частности обеспечение их максимально объективными данными по проблеме. Следует заботиться о достаточной информированности участников об источниках возникновения исследуемой проблемы и путях решения сходных проблем в прошлом.

В работу специалиста, организующего экспертный опрос, входит:

• составление специальных опросных листов для экспертов (по сравнению с массовым опросами, специфика опросных листов состоит в том, что не применяются вопросы-ловушки, ибо эксперт является осведомленным лицом, и в том, что в анкете преобладают вопросы открытого типа);

• разработка способа и процедуры опроса экспертов;

• проведение опроса;

• анализ полученных данных.

Необходимо, чтобы условия проведения опроса способствовали получению наиболее достоверных оценок. С целью обеспечения независимости оценок, следует по возможности устранять взаимовлияние экспертов и уменьшать воздействие посторонних факторов. Большое значение имеет правильная формулировка вопросов опросника, позволяющая выразить отношение эксперта относительно каждого вопроса в виде количественной оценки и возможность согласования оценок, полученных от разных экспертов. Если форма опроса экспертов предполагает их очное взаимодействие, необходимо заботиться о том, чтобы мнения наиболее известных и авторитетных экспертов не задавали тон всех остальных дискуссий (для этого при выступлении сначала предоставляется слово «простым» участникам, а потом наиболее известным и авторитетным).

Выбор вариантов работы с экспертами (очная или заочная форма) определяется спецификой проблемы и ситуацией. Очные варианты работы с экспертами позволяют собрать более качественную информацию, хотя есть сложности организационного порядка и взаимовлияния экспертов. Заочные же формы работы с экспертами дают возможность пренебрегать географическими рамками при опросе экспертов, исключает взаимовлияние их, однако делает работу экспертных групп менее оперативной.

Очный опрос

Можно выделить три основных вида очного опроса:

1) Свободное интервью экспертов. Имеет разведывательную цель и чаще используется, когда необходимо более точно представить проблему, уточнить некоторые нюансы, четче интерпретировать употребляемые понятия и наметить основные направления исследования. Число интервьюируемых экспертов здесь невелико (10-15). Важно, чтобы подобранные эксперты были представителями разных в профессиональном и научном отношении точек зрения. Такое интервью проводится опытным специалистом.

2) Анкетный опрос экспертов.

3) «Мозговой штурм», «Мозговая атака» - прямой обмен мнениями, стимулирование наблюдения. Основная цель - нахождение решения или путей решения какой-либо научной или практической проблемы.

Заочный опрос

Заочный опрос можно использовать в виде почтового анкетного опроса экспертов, в т.ч. используя дельфийскую технику. Дельфийская техника - многократный почтовый анкетный опрос одной и той же группы экспертов с применением шкалированных оценок. Цель данного вида опроса экспертов - сопоставление тщательно скорректированной программы последовательных индивидуальных опросов, направленной на уменьшение группового влияния, возникающего при совместной работе экспертов. Суть метода состоит в интерактивных циклах, обеспечивающих обратную связь: после первого опроса экспертов и обработки его результатов, итоги сообщаются участникам экспертной группы. Они должны либо подтвердить свою точку зрения, высказанную на предыдущем этапе, и если она значительно отличается от мнения большинства, развернуто ее мотивировать, либо изменить свою оценку в соответствии с мнением большинства участников. Затем снова производят обработку информации, результаты вновь рассылаются экспертам и так до тех пор, пока не прекратится «эффект интерактивных циклов», то есть пока новые туры опроса не перестанут давать статистически значимое увеличение согласованности оценок экспертов (обычно это достигается на 4-5 туре опроса). Очевидно, что данный вид работы с экспертами весьма трудоемок и сложен, хотя использование дельфийской техники имеет и свои преимущества: обеспечивается анонимность опроса путем исключения взаимодействия экспертов; установление обратной связи в виде сообщения обработанной информации о согласованной точке зрения экспертов на предыдущих этапах опроса; исключения взаимовлияния экспертов. Метод Дельфы не имеет целью достичь полное единство мнений экспертов по существу вопроса, поэтому несмотря на сближение точек зрения, различие во мнениях экспертов все равно будет существовать. Недостатком данного вида опроса экспертов является зависимость оценок, данных экспертами от формулировок вопросов и аргументации; влияние общественного мнения на экспертов.

Более подробно о методе Дельфи будет рассказано далее.

Мозговой штурм

Метод мозгового штурма (мозговой штурм, мозговая атака, англ. brainstorming) - оперативный метод решения проблемы на основе стимулирования творческой активности, при котором участникам обсуждения предлагают высказывать как можно большее количество вариантов решения, в том числе самых фантастичных. Затем из общего числа высказанных идей отбирают наиболее удачные, которые могут быть использованы на практике.

Правильно организованный мозговой штурм включает три обязательных этапа. Этапы отличаются организацией и правилами их проведения:

1. ПОСТАНОВКА ПРОБЛЕМЫ происходит на предварительном этапе. В начале этого этапа проблема должна быть четко сформулирована. На предварительном этапе происходит отбор участников штурма, определение ведущего и распределение прочих ролей участников в зависимости от поставленной проблемы и выбранного способа проведения штурма.

2. ГЕНЕРАЦИЯ ИДЕЙ. Основной этап, от которого во многом зависит успех всего мозгового штурма. Поэтому очень важно соблюдать правила для этого этапа:

• Главное - количество идей. Не делайте никаких ограничений.

• Полный запрет на критику и любую (в том числе положительную) оценку высказываемых идей, так как оценка отвлекает от основной задачи и сбивает творческий настрой.

• Необычные и даже абсурдные идеи приветствуются.

• Комбинируйте и улучшайте любые идеи.

3. ГРУППИРОВКА, ОТБОР И ОЦЕНКА ИДЕЙ. Этот этап часто забывают, но именно он позволяет выделить наиболее ценные идеи и дать окончательный результат мозгового штурма. На этом этапе, в отличие от второго, оценка не ограничивается, а наоборот, приветствуется. Методы анализа и оценки идей могут быть очень разными. Успешность этого этапа напрямую зависит от того, насколько "одинаково" участники понимают критерии отбора и оценки идей.

Для проведения мозговой атаки обычно создают две группы:

1) участники, предлагающие новые варианты решения задачи;

2) члены комиссии, обрабатывающие предложенные решения.

Различают индивидуальные и коллективные мозговые атаки.

В мозговом штурме участвует коллектив из нескольких специалистов и ведущий. Перед мозговым штурмом ведущий производит четкую постановку задачи, подлежащей решению. В ходе мозгового штурма участники высказывают свои идеи, направленные на решение поставленной задачи, причем как логичные, так и абсурдные. Если в мозговом штурме принимают участие люди различных чинов или рангов, то рекомендуется заслушивать идеи в порядке возрастания ранжира, что позволяет исключить психологический фактор «соглашения с начальством».

В процессе мозгового штурма, как правило, вначале решения не отличаются высокой оригинальностью, но по прошествии некоторого времени типовые, шаблонные решения исчерпываются, и у участников начинают возникать необычные идеи. Ведущий записывает или как-то иначе регистрирует все идеи, возникшие в ходе мозгового штурма.

Затем, когда все идеи высказаны, производится их анализ, развитие и отбор. В итоге находится максимально эффективное и часто нетривиальное решение задачи.

Успех мозгового штурма сильно зависит от психологической атмосферы и активности обсуждения, поэтому очень важна роль ведущего в мозговом штурме. Именно он может «вывести из тупика» и вдохнуть свежие силы в процесс.

Метод Дельфи

Метод Дельфи (иногда дельфийский метод) появился в 1950-1960 годы для анализа планов атомной войны США (разработан корпорацией RAND, авторами считаются Olaf Helmer, Norman Dalkey, и Nicholas Rescher ). Имя заимствовано от Дельфийского Оракула. Является методом экспертного оценивания.

Суть метода Дельфи в том, чтобы с помощью серии последовательных действий – опросов, интервью, мозговых штурмов – добиться максимального консенсуса при определении правильного решения. Анализ с помощью дельфийского метода проводится в несколько этапов, результаты обрабатываются статистическими методами.

Базовым принципом метода является то, что некоторое количество независимых экспертов (часто несвязанных и не знающих друг о друге) лучше оценивает и предсказывает результат, чем структурированная группа (коллектив) личностей. Позволяет избежать открытых столкновений между носителями противоположенных позиций т.к. исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлении к мнению большинства. Дает возможность проводить опрос экстерриториально, не собирая экспертов в одном месте (например, посредством электронной почты).

Заключение

В настоящее время разработаны апробированные методы экспертного оценивания, позволяющие использовать их в практике управления здравоохранением и совершенствования отраслевой нормативно-правовой базы. Однако для их эффективного использования в здравоохранении требуется разработка ведомственных методических рекомендаций с учетом специфики деятельности органов управления и учреждений здравоохранения.

При подготовке публикации использованы материалы Википедии - свободной энциклопедии.

Источник: журнал «Главный врач» 2011/11

Другие статьи по теме

Категория: Управление медицинской организацией | Добавил: zdrav1 (26.08.2017)

Просмотров: 4051 | Теги: управление здравоохранением

Всего комментариев: 0