Чавпецов В.Ф. Экспертиза качества медицинской помощи с применением автоматизированной технологии - результаты и перспективы развития// НИИ кардиологии МЗ РФ - 20 лет: Сб. научн. Трудов/ Под ред. В.А. Алмазова и Н.Б. Перепеча.- С.-Петербург, 2000.- С. 108 - 118.

---

На протяжении многих десятилетий отечественные и зарубежные исследователи занимаются изучением проблем обеспечения качества медицинской помощи (КМП). В практике здравоохранения развитых стран применяются разные подходы к оценке КМП и созданию систем обеспечения КМП внутри лечебных учреждений и на государственном уровне [10, 21]. Особую актуальность для нашей страны задачи обеспечения КМП приобрели в связи с началом реформы системы здравоохранения и внедрением обязательного медицинского страхования (ОМС). Поиск оптимальных путей их решения осуществляется многими научно-исследовательскими организациями, в том числе, отделом проблем управления в кардиологии НИИ кардиологии МЗ РФ, сотрудниками которого был разработан новый метод исследования КМП - автоматизированная технология экспертизы (АТЭ).

Основными направлениями исследований сотрудников отдела являются теоретические разработки проблем КМП, научное обоснование возможностей АТЭ для сбора данных о состоянии КМП при различных заболеваниях, в разных медицинских учреждениях; для анализа и повышения квалификации врачей; использования результатов экспертизы для управления КМП и обеспечения прав граждан на медицинскую помощь надлежащего качества. Научно-методическая работа отдела направлена на разработку и осуществление программ обучения врачей, руководителей здравоохранения и ОМС основам экспертизы и управления КМП, внедрение АТЭ в практику работы учреждений здравоохранения и ОМС территорий РФ.

1. Автоматизированная технология экспертизы качества медицинской помощи и сопровождающая ее система знаний

1.1. Характеристика выбранного направления исследований качества медицинской помощи и определение объекта исследования

При выборе направления в исследовании КМП нами было учтено, что основным управляемым процессом, присущим любому виду медицинской помощи, является лечебно-диагностический или врачебный процесс, включающий четыре обязательных этапа: сбор информации о пациенте и его заболевании, установление диагноза, выбор и проведение лечения, обеспечение преемственности. Несмотря на то, что в целом процесс медицинской помощи представляет собой сложный комплекс различных видов деятельности врачей, медицинских сестер, технического и обслуживающего персонала [1], результаты исследований последних лет показывают, что именно качество выполнения лечебно-диагностического процесса определяет результаты лечения пациентов и оптимальность использования ресурсов медицинского учреждения [22, 26]. При определении критериев качества лечебно-диагностического процесса (далее - КМП) нами были использованы рекомендации Рабочей группы по обеспечению качества Европейского Регионального бюро ВОЗ [12], согласно которым, деятельность по контролю и обеспечению КМП должна осуществляться с учетом его 4-х существенных признаков: 1) профессиональных функций - или выполнения технологии лечебно-диагностического процесса; 2) риска для пациента; 3) оптимальности использования ресурсов; 4) удовлетворенности пациента оказанной медицинской помощью.

Указанные признаки легли в основу определения, согласно которому КМП, как объект исследования, представляет собой свойство процесса взаимодействия врача и пациента, обусловленное квалификацией профессионала, т.е. его способностью выполнять медицинские технологии, снижать риск прогрессирования имеющегося у пациента заболевания и возникновения нового патологического процесса, оптимально использовать ресурсы медицины и обеспечивать удовлетворенность пациента от его взаимодействия с медицинской системой. Данное определение явилось основой для разработки терминологического аппарата КМП, включающего логически согласованные определения врачебной ошибки (ВО), эксперта, надлежащего и ненадлежащего КМП, улучшения и ухудшения КМП, экспертизы КМП и др.

1.2. Характеристика автоматизированной технологии экспертизы

АТЭ является результатом усовершенствования ранее разработанной сотрудниками НИИ кардиологии и утвержденной в 1987 г. МЗ РСФСР методики интегрированной оценки качества (МИОК) медицинской помощи. Первая версия АТЭ была создана группой авторов (В.Ф. Чавпецов, Б.Г. Бершадский, Н.Б. Перепеч, В.М. Лифшиц и др.) в 1991 г. Свидетельство об официальной регистрации программы для ЭВМ ("АТЭ КМП") № 960494 было получено 21.11.96. АТЭ рекомендована для применения в учреждениях здравоохранения МЗ РФ (Свидетельство № 008 от 08.04.99).

АТЭ представляет собой комплекс, состоящий из программных средств, формализованного языка экспертизы и его семантического словаря, системы знаний о КМП. В основе АТЭ лежит модель врачебного процесса, в соответствии с которой эксперт КМП анализирует правильность выполнения этапов сбора информации, диагноза, лечения и обеспечения преемственности, на каждом из которых могут быть допущены ВО. Последние определяются как действие или бездействие врача, которое способствовало или могло способствовать увеличению или не снижению риска прогрессирования имеющегося у пациента заболевания, возникновения нового патологического процесса, неоптимальному использованию ресурсов медицины и неудовлетворенности пациента от его взаимодействия с медицинской подсистемой.

Приведенное понятие ВО, таким образом, включает только те неправильные действия (бездействия) врача, которые были обусловлены его недостаточной квалификацией (недостатком знаний, опыта, неумением применять знания в практике, неправильным клиническим мышлением), последствия которых были предотвратимы, т.е. не были обусловлены объективными причинами (отсутствием необходимых лечебно-диагностических возможностей, тяжестью состояния больного, атипичностью течения заболевания и др.).

В силу сложности аналитических и профессиональных задач, которые должны решаться в ходе экспертизы КМП, ее проведение может осуществляться только экспертом КМП - врачом высокой квалификации, имеющим специальную подготовку по экспертизе и высокий рейтинг доверия среди врачей. Эксперт, анализирующий КМП с применением АТЭ, не только регистрирует свое мнение о наличии ВО в экспертном протоколе, но и представляет их обоснование, т.е. описание реальных и возможных последствий ошибок для состояния основных компонентов КМП. Выявление и обоснование ВО осуществляется экспертом в соответствии с принципами доказательной медицины, существующими стандартами медицинских технологий, современными представлениями об оптимальном объеме медицинской помощи при конкретном заболевании с учетом индивидуальных особенностей больного и конкретных условий оказания медицинской помощи.

1.3. Информационные возможности автоматизированной технологии экспертизы

АТЭ предоставляет широкий спектр содержательных и количественных характеристик КМП, разработанных в ходе совершенствования технологии (к.м.н. С.М. Михайлов, к.м.н. М.А. Карачевцева, к.биол.н. Б.Г. Бершадский, В.М. Лифшиц). Основой для расчета количественных показателей КМП являются зарегистрированные в экспертном протоколе ВО и их негативные следствия. Последние могут выражаться в непосредственным влиянии ошибок на состояние пациента; социальные ресурсы (риск преждевременной смерти, наступления инвалидности или удлинения сроков временной нетрудоспособности); процесс оказания помощи, оценку процесса оказания помощи, оптимальность использования ресурсов здравоохранения и управление здравоохранением. В зависимости от значимости негативных следствий ВО, осуществляется их деление по рангам тяжести в соответствии с предложенной классификацией. К I рангу тяжести относятся ВО, имеющие социально значимые следствия для состояния пациента. Ко 2-му рангу тяжести относятся ВО, оказавшие негативное влияние на состояние пациента, но без социальных последствий. К 3-му рангу тяжести относятся ВО, оказывающие влияние на выполнение процесса оказания помощи, оптимальность использования ресурсов медицины, но без последствий для состояния пациента, в том числе, социально значимых. К 4-му рангу тяжести относятся ВО, не оказывающие влияния на состояние основных компонентов КМП (негативное влияние на управление здравоохранением либо оценку процесса оказания помощи).

Для характеристики состояния отдельных компонентов КМП в АТЭ используются количественные показатели: риск возникновения ВО, риск ухудшения состояния пациентов, риск социально значимого ухудшения состояния пациентов, риск неоптимального использования ресурсов. Данные показатели представляют собой количество ВО, негативных следствий ВО для состояния пациента, социальных ресурсов, ресурсов здравоохранения в расчете на 1 случай соответственно. Для проведения сравнительного анализа КМП по нескольким выборкам, осуществляется нормирование (Z-преобразование) указанных показателей и определяются суммы нормированных значений состояния КМП для каждой выборки, отражающие степень среднего квадратичного отклонения каждого из сравниваемых показателей КМП (в сигмах).

Для анализа КМП в динамике и определения эффективности управленческих решений, направленных на улучшение КМП, изучается динамика показателей состояния отдельных компонентов КМП и структуры ненадлежащего КМП. Последняя определяется в соответствии с классификацией, представленной в табл. 1.

Класс	Риск возникновения ВО	Риск ухудшения состояния пациентов	Риск социально значимого ухудшения состояния пациентов	Риск неоптимального использования ресурсов
I	> 0	= 0	= 0	= 0
II	> 0	= 0	= 0	> 0
III	> 0	> 0	= 0	= 0
IV	> 0	> 0	= 0	> 0
V	> 0	> 0	> 0	= 0
VI	> 0	> 0	> 0	> 0

Весь механизм математической обработки данных экспертных протоколов с получением количественных характеристик КМП и их нормированием осуществляется автоматически с применением программных средств АТЭ и Excel 5.0-7.0™, функционирующих в среде MS DOS и Windows`95-98™ .

1.4. Задачи экспертизы, принципы ее организации и порядок обобщения результатов с применением автоматизированной технологии

Информационные возможности АТЭ могут быть полностью реализованы только при условии правильной организации экспертизы отдельного случая оказания помощи или массива случаев. Порядок организации и проведения экспертизы предложен к.м.н. С.М. Михайловым.

Экспертиза случая может проводиться в связи с судебным иском, жалобой пациента для выяснения объективности претензий последнего, в связи с неудовлетворительными результатами лечения (летальный исход, осложнения) для выяснения возможной связи результата и процесса оказания медицинской помощи; в связи с продолжительностью лечения пациента, отличающейся от рекомендуемой при данном виде нозологии и т.д. Поводы для обязательного проведения экспертизы отдельных случаев оказания помощи изложены в совместном приказе № 363/77 МЗ РФ и ФФОМС от 24.10.96г "О совершенствовании контроля качества медицинской помощи населению Российской Федерации". Инициатором экспертизы может быть пациент, руководство лечебного учреждения, Фонд ОМС, страховая медицинская организация, суд, общество потребителей и др.

Эксперт, после подготовки экспертной версии и составления экспертного протокола, в установленном порядке оформляет экспертное заключение, включающее описание наиболее значимых ВО, анализ причинно-следственных связей ВО, ответы на вопросы экспертизы (выводы) и рекомендации. Выводы по результатам экспертизы касаются исключительно анализируемого случая и не распространяются на качество работы врача (лечебного подразделения, учреждения) в целом. В связи с этим, результаты оценки КМП отдельного случая не пригодны для решения аналитических задач в целях управления КМП. Для этого требуется проводить анализ КМП по массиву случаев.

Изучение характеристик КМП по массиву случаев осуществляется для решения самых разных задач, от постановки которых зависят принципы формирования выборок и подбор группы экспертов. В результате решения этих задач могут быть получены характеристики состояния КМП для лечебного учреждения (подразделения, службы, врача, при конкретной нозологии и др.) и определены причины ненадлежащего КМП. По результатам экспертизы КМП можно определить последовательность и характер мероприятий, направленных на улучшение КМП в медицинском учреждении, оценить различия в квалификационном уровне врачей с целью их обучения, материального стимулирования и мн. др. Исследование КМП по массиву случаев включает 4 периода:

1.	Период подготовки к работе группы экспертов КМП (формулировка задач, подбор медицинской документации, формирование экспертной группы).
2.	Период проведения экспертизы КМП (индивидуальная работа экспертов).
3.	Период подведения итогов экспертизы КМП (обобщение результатов, экспертное заключение, выводы, рекомендации).
4.	Период передачи результатов экспертизы КМП инициатору (подготовка проекта управленческого решения.

Согласно данным проведенных исследований [18], несоблюдение рекомендуемого порядка организации экспертизы затрудняет последующее использование ее результатов в целях управления КМП.

1.5. Программа обучения специалистов основам экспертизы и управления качеством медицинской помощи

Для обеспечения правильного применения АТЭ в практике требуется специальная подготовка пользователей технологии, в число которых входят эксперты КМП, организаторы экспертизы, руководители учреждений здравоохранения и ОМС. Обучение специалистов осуществляется Учебным центром "Качество медицинской помощи" (лицензия № 1929 - Д 44 от 31.07.98, выданная Комитетом по науке и высшей школе Администрации Санкт-Петербурга) по программе, утвержденной МЗ РФ и Федеральным Фондом ОМС 9.07.97. В преподавательский состав Учебного центра входят 10 сотрудников разных научных отделов и лабораторий НИИ кардиологии МЗ РФ (врачи высшей квалификационной категории по кардиологии, из которых 4 д.м.н. и 6 к.м.н). 72-часовая программа состоит из двух частей. Первая - "Основы экспертизы КМП и автоматизированная технология его оценки" - включает цикл лекций, знакомящих слушателей с современными подходами к экспертизе КМП и теоретическими основами АТЭ, а также практические занятия, направленные на приобретение навыков работы с АТЭ и логики экспертного мышления. Вторая часть программы - "Использование результатов экспертизы КМП для подготовки и принятия управленческого решения" - включает курс лекций по основам управления и гражданского права, а также несколько деловых игр - "Подготовка экспертного заключения по отдельному случаю оказания медицинской помощи"; "Принятие управленческого решения по результатам экспертизы КМП"; "Рассмотрение иска гражданина о возмещении вреда, причиненного вследствие оказания медицинской помощи ненадлежащего качества". Последняя деловая игра проводится под руководством юристов.

К настоящему времени по указанной программе обучено около 2 тысяч врачей, руководителей учреждений здравоохранения и ОМС из 69 территорий РФ. В ходе обучения сотрудниками отдела к.м.н. А.С. Вершининым и Е.Н. Парижской проводится анализ результатов анкетирования специалистов, направленного на изучение социально-демографических характеристик экспертов и организаторов экспертизы, определение мотивации к обучению и работе, выяснение предпосылок к внедрению АТЭ в практику и возможностей формирования потребности в новом методе экспертизы, оценку эффективности работы отдельных преподавателей и др.

2. Возможности применения автоматизированной технологии экспертизы в практике

2.1. Исследование качества медицинской помощи при отдельных нозологических формах

Анализ литературы показывает, что качество процесса медицинской помощи при отдельных заболеваниях является предметом исследования многих зарубежных авторов. В большинстве выполненных работ критериями оценки КМП являются "индикаторы качества", как правило, представляющие собой стандарты лечения пациентов. Так например, при исследовании качества процесса оказания помощи больным с острым инфарктом миокарда в число индикаторов качества включаются: 1) аспирин во время госпитализации; 2) бета-блокаторы; 3) тромболизис или ангипластика [22, 23, 25]. При нестабильной стенокардией в роли таких индикаторов выступают: 1) гепарин во время госпитализации; 2) аспирин; 3) рекомендации по приему аспирина на амбулаторном этапе [24]. При указанном подходе результаты исследования КМП (определение доли пациентов, которым данное лечение не проводилось) не позволяют установить причины допущенных ошибок, определить их значимость для пациента, выяснить, имелись ли какие либо другие нарушения технологии лечебно-диагностического процесса. Констатация несоблюдения стандартов лечения не предоставляет необходимой информации для разработки мер по улучшению КМП.

При использовании АТЭ результаты экспертизы КМП представляют собой подробную информацию о его состоянии. Ниже представлены результаты исследования, целью которого было изучение КМП больным стенокардией напряжения в поликлинике.

В анализируемую выборку вошли 80 амбулаторных карт пациентов со стенокардией напряжения (I - IV ф. кл.), что составило 10% от общего количества пациентов с данным диагнозом за квартальный период 1998 г. Экспертную группу составили 9 специалистов НИИ кардиологии (доктора, кандидаты медицинских наук, врачи высшей квалификационной категории).

В 21 случае пациенты были госпитализированы в стационар (1-я группа), в 22 случаях - проходили амбулаторное лечение (2-я группа), в 38 случаях им была оказана консультативная помощь (3-я группа).

Анализ структуры КМП показал, что в 44% случаев ВО отсутствовали, в 30% случаев выявленные ВО не оказывали влияния на состояние пациентов (I и II классы ненадлежащего КМП) и в 27% случаев эксперты зарегистрировали негативные последствия ВО для состояния пациентов (III - IV классы ненадлежащего КМП). Согласно данным сравнительного анализа структуры КМП в 3-х выделенных группах, при решении врачами поликлиники вопроса о госпитализации пациентов преобладали случаи надлежащего КМП (табл. 2). Допущенные ошибки были немногочисленны и малозначимы. Преобладающее количество ВО допускалось при амбулаторном лечении пациентов и оказании им консультативной помощи (табл. 3) .

Наименование	В среднем	Госпитализация	Амб. лечение	Консультация
Надлежащее КМП	44	71	36	34
Ненадлежащее КМП	56	29	64	66
I класса	14	19	5	16
II класса	16	10	23	16
III класса	8		9	11
IV класса	18		27	23

Наименование	В среднем	Госпитализация	Амб. лечение	Консультация
Риск возникновения ВО	2,4	0,6	3,0	3,1
Риск ухудшения состояния пациентов	0,5	-	0,6	0,6
Риск неоптимального использования ресурсов	0,9	0,2	1,5	0,8

Анализ структуры выявленных ВО показал, что среди них преобладали ошибки сбора информации (49% от общего количества), ошибки диагноза и лечения составили 19% и 23% соответственно, ошибки преемственности были немногочисленны (9% от общего количества ВО).

Ошибки сбора информации выражались преимущественно в неполном описании жалоб и анамнеза заболевания. При расспросе больных часто не описывались условия возникновения и прекращения болевого синдрома, его продолжительность и частота возникновения, что имеет принципиальное значение для установления функционального класса стенокардии напряжения. Значительную долю ошибок сбора информации составили замечания по недостаточному использованию методов инструментальной диагностики (ЭКГ, суточное ЭКГ-мониторирование, ЭхоКГ, велоэргометрия). В 4-х случаях не были назначены консультации кардиохирурга для определения дальнейшей тактики ведения пациентов.

Ошибки, допущенные при сборе информации о пациенте, затрудняли постановку и оценку диагноза, решение тактических вопросов и приводили к недостаточному использованию ресурсов медицинского учреждения, преимущественно, методов инструментальной диагностики.

Ошибки диагноза главным образом выражались в неверном содержании диагноза основного заболевания. В 15 случаях оказания помощи (25% от случаев 2-й и 3-й групп) в связи с отсутствием необходимых данных рассспроса и обследования эксперты не могли высказать мнение о функциональном классе стенокардии напряжения. В 2-х случаях, вместо диагноза ишемической болезни сердца (ИБС), стенокардии напряжения III - IV ф. кл., следовало установить диагноз симптоматической стенокардии на фоне аортального стеноза и гипертрофической кардиомиопатии с обструкцией. Ошибки диагноза в первом случае привели к тому, что пациент не был направлен в кардиохирургическое отделение для решения вопроса о хирургическом лечении порока, во втором случае - к неверному выбору лечения. Часть ошибок диагноза выражалась в том, что из-за отсутствия необходимых данных расспроса и обследования невозможно было высказать мнение о наличии, отсутствии у пациентов недостаточности кровообращения, либо о степени ее выраженности.

Основное количество ошибок лечения было обусловлено неверным выбором препаратов. С точки зрения экспертов, в ряде случаев для более эффективного лечения пациентов требовалось назначение нитратов (5 случаев), бета-блокаторов (3 случая), ингибиторов ангиотензин-превращающего фермента (3 случая). Среди препаратов, назначенных необоснованно, выделены адельфан, допегит, адалат.

В ряде случаев эксперты высказывали мнение о возможных или реальных последствиях ошибок лечения для состояния пациентов. Недостаточно эффективным лечение основного заболевания (стенокардии, безболевой ишемии миокарда, гипертонической болезни) расценивалось в связи с неадекватным выбором препаратов, когда не применялись нитраты, бета-блокаторы, изоптин, капотен, аспирин, дилтиазем. В единичных случаях пациенты нуждались в гиполипидемической диете и терапии. В некоторых случаях негативное влияние на состояние пациентов оказывали ошибки, обусловленные неверной дозой, режимом применения и временем назначения препаратов (нитраты, атенолол, капотен, коринфар). Ошибки лечения только в 1 случае были обусловлены неверно установленным диагнозом, когда пациенту с недиагностированной симптоматической стенокардией на фоне гипертрофической кардиомиопатии с обструкцией были назначены препараты, способные привести к ее усилению.

Таким образом, допущенные ошибки лечения повышали риск негативных последстий для состояния пациента и приводили главным образом к недостаточному использованию ресурсов медицинского учреждения.

Немногочисленные ошибки преемственности выражались преимущественно в замечаниях по выбору места дальнейшей помощи и в неполных рекомендациях по дальнейшему лечению. В единичных случаях наблюдались необоснованная госпитализация и амбулаторное лечение в условиях специализированной клиники (3 случая). В других случаях наблюдалась обратная ситуация: пациенты не были направлены на госпитализацию в кардиологическое (3 случая) или кардиохирургическое (3 случая) отделение. Вследствие ошибок преемственности был повышен риск негативных последствий для состояния пациентов и неоптимально использовались ресурсы здравоохранения.

В соответствии с результатами экспертизы, для улучшения КМП больным стенокардией в поликлинике определены темы лекций для врачей по следующим вопросам:

• критерии диагностики стенокардии напряжения;
• показания и противопоказания к хирургическому лечению ИБС;
• препараты выбора при лечении стенокардии.

После проведения рекомендуемых мероприятий следует осуществить повторную экспертизу для контроля их эффективности.

Таким образом, полученная с использованием АТЭ информация о качестве лечебно-диагностического процесса позволяет проанализировать ошибки, допущенные на всех его этапах (при сборе информации, установлении диагноза, проведении лечения, обеспечении преемственности), определить их значимость для состояния основных компонентов КМП и предложить меры по их устранению.

К настоящему времени имеются многочисленные примеры использования АТЭ для анализа КМП больным разного профиля: кардиологического [5, 17], нейрохирургического [7, 8], терапевтического [3, 15], акушерско-гинекологического [4, 6, 9], лечившимся в медицинских учреждениях различных регионов РФ. Результаты проведенных исследований указывают на возможность применения АТЭ для анализа КМП вне зависимости от вида нозологии и места оказания помощи.

2.2. Возможности применения автоматизированной технологии экспертизы для анализа и повышения квалификации врачей

Одним из основных направлений исследований сотрудников отдела проблем управления в кардиологии является изучение возможностей применения результатов экспертизы КМП, получаемых с применением АТЭ, для анализа и повышения квалификации врачей. В ходе работ, выполненных к.м.н. М.А. Карачевцевой, было показано, что при анализе квалификации следует учитывать структуру, частоту встречаемости и значимость ВО, а также характер их причинно-следственных связей. Последняя характеристика ВО может служить основой для выбора способа обучения врачей - направленного преимущественно на пополнение теоретических знаний, либо на совершенствование клинического мышления. С учетом результатов моделирования возможных вариантов причинно-следственных связей ВО, было предложено их деление на три группы.

I группа включает ошибки отдельного этапа врачебного процесса, не связанные с ошибками других этапов: ошибки сбора информации, обусловленные необоснованным перерасходом медицинских ресурсов, неполным расспросом и обследованием больных, что однако, не приводит к неверному диагнозу или неправильному выбору лечения; ошибки диагноза, выражающиеся в его неверной формулировке, рубрификации или неправильном содержании, которые не приводят к ошибкам последующих этапов врачебного процесса; ошибки лечения, определяющиеся неверным выбором препаратов, неадекватной дозой, применением непоказанных сочетаний лекарственных средств; ошибки преемственности, выражающиеся в неверном определении места дальнейшей помощи, несвоевременной выписке пациентов, неполных рекомендациях по дальнейшему лечению.

II группа включает комплексы логически связанных ошибок двух этапов врачебного процесса: сбора информации и диагноза, сбора информации и лечения, диагноза и лечения, диагноза и преемственности, лечения и преемственности. К логически связанным ошибкам сбора информации и диагноза относятся случаи неверной диагностики заболеваний вследствие неполно или несвоевременно собранной информации о пациенте. В основе ВО данного типа лежат нарушения закона достаточного основания, выражающиеся в том, что аргументов (имеющихся данных расспроса и обследования) недостаточно для уверенной постановки диагноза; тезис (установленный диагноз) ошибочен; форма доказательства неверна, т.е. отсутствует логическая связь между тезисом и основаниями. К логически связанным ошибкам диагноза и лечения, диагноза и преемственности относятся случаи неверных лечебных мероприятий или тактического решения вследствие ошибочного диагноза. В основе указанных ошибок лежат ложные умозаключения (ошибка диагноза вследствие неверной интерпретации имеющейся информации), которые будучи результатом одного познавательного акта, становятся ложной посылкой для другого - назначения неверного лечения или неправильного обеспечения преемственности.

III группа включает логически связанные ошибки 3-4 этапов врачебного процесса. Например, случаи, когда вследствие неполно или несвоевременно собранной информации о больном допускается ошибка диагноза, которая становится причиной неправильного лечения либо неверного обеспечения преемственности. Указанные комплексы ВО отражают еще более сложные логические нарушения: ложные выводы (ошибка диагноза), которые делаются в связи с недостаточным объемом информации и неверной интерпретацией имеющихся данных, становятся основанием для дальнейших неверных умозаключений врача при выборе лечения и обеспечении преемственности.

Между ошибками отдельных этапов врачебного процесса и логически связанными ВО имеется существенная разница. Вероятно, знаний, опыта, интуиции и других особенностей клинического мышления врача, допускающего ошибки I группы, оказывается достаточно для того чтобы предотвратить негативное влияние ошибки предшествующего этапа на последующий этап врачебного процесса. Ошибки II и III групп обусловлены более выраженными нарушениями клинического мышления, т.к. врач оказывается не в состоянии прервать цепь ошибочных умозаключений - вероятно, в силу несовершенства профессиональной логики, недостатка знаний, опыта, интуиции.

Результаты сравнительного анализа КМП больным различными формами ИБС в специализированной клинике и кардиологическом отделении центральной районной больницы (рис. 1, 2) позволили сделать выводы о том, что количество и значимость ВО в меньшей степени зависят от формы заболевания, чем от квалификации врачей, а характер причинно-следственных связей ВО определяется главным образом квалификацией врачей и не зависит от формы заболевания.

Полученные в ходе исследования данные позволили предположить, что врач, допускающий ошибки в клинической практике, будет испытывать трудности при выявлении, обосновании и определении причинно-следственных связей ВО. Таким образом, изучение экспертных ошибок врача может послужить основой для анализа его собственной врачебной квалификации. Поскольку деятельность эксперта КМП представляет собой логический анализ врачебного процесса, было высказано предположение о том, что обучение экспертизе будет способствовать совершенствованию логических свойств мышления специалиста и его умения применять знания в клинических ситуациях. Подтверждение выдвинутой гипотезе было получено в ходе анализа результатов обучения основам экспертизы КМП группы врачей.

Составленные слушателями (13 человек) экспертные протоколы по случаям оказания помощи больным ИБС сопоставлялись с экспертными протоколами, составленными по этим же случаям сотрудниками НИИ кардиологии, и изучались в динамике в начале и в конце обучения основам экспертизы. Анализ допущенных экспертных ошибок позволил высказать мнение о том, что в их основе лежит не только недостаток теоретических знаний по вопросам оказания помощи больным ИБС, но и нарушения профессиональной логики.

Результаты исследования показали, что обучение экспертизе КМП с применением АТЭ может использоваться как один из методов повышения квалификации, преимущественно направленный на совершенствование логических свойств мышления врача и умения применять знания в клинических ситуациях. В связи с этим представляется целесообразным использовать данный метод в сочетании с традиционными формами обучения для повышения их эффективности. Контроль результативности обучения может осуществляться как путем экспертизы реальных медицинских документов (для практикующих врачей), так и путем анализа экспертных протоколов, составленных слушателями (например, студентами ВУЗов) с применением АТЭ.

В настоящее время сотрудники отдела по заказу управления здравоохранением и фонда ОМС Белгородской области приступают к планированию и созданию сборника ситуационных задач "Сельский врач" с их экспертным решением. Новый метод обучения предполагается использовать для повышения квалификации врачей Белгородских ЦРБ (повышение квалификации без отрыва от работы), а также для обучения студентов старших курсов медицинского факультета Белгородского университета. Очевидно, что подобного рода сборники ситуационных задач могут разрабатываться для врачей любой специальности.

2.3. Применение результатов экспертизы качества медицинской помощи для разработки программы дифференцированного повышения квалификации врачей

Результаты многочисленных исследований, посвященных сравнительному анализу КМП и результатов лечения в медицинских учреждениях разного квалификационного уровня, показывают, что профессионализм врачей имеет принципиальное значение для качества выполнения лечебно-диагностического процесса. Примером таких исследований могут служить работы по сравнительному анализу Teaching Hospitals и Nonteaching Hospitals, проведенные в США [20, 22, 26]. Аналогичные выводы сделаны и сотрудниками нашего отдела по результатам собственных исследований (к.м.н. Карачевцева).

В связи с тем, что при исследовании КМП мы из всех возможных факторов, способных оказать влияние на его состояние, выделяем квалификацию врачей, сравнительный анализ показателей качества их работы может быть использован для разработки программ дифференцированного повышения квалификации специалистов.

Для сравнительного анализа КМП в разных выборках в АТЭ применяются условные показатели (интегрированные значения состояния КМП), отражающие степень среднеквадратичного отклонения (в сигмах). Сотрудниками отдела к.м.н. М.А. Карачевцевой и к.м.н. С.М. Михайловым было высказано предположение о том, что анализ результатов экспертизы с использованием данных показателей целесообразно осуществлять на основе принципов статистического контроля качества [2, 11, 16].

В основе статистического контроля качества лежат представления о состоянии процессов (или систем), которое может быть стабильным или нестабильным, а также о причинах такого состояния, которые носят общий или специфический характер соответственно. Стабильное состояние системы характеризуется тем, что количественные показатели качества не выходят за рамки предельно допустимых границ отклонений для данной системы, равных 3 (среднее квадратичное отклонение). С точки зрения статистики, распределение случайных величин в этом случае приближается к нормальному (правило трех сигм), а результаты работы такой системы являются статистически предсказуемыми. В стабильной системе причины ошибок носят общий, системный характер и для их устранения требуются меры, направленные на систему в целом (например, внедрение новых медицинских технологий, клинических алгоритмов ведения отдельных групп больных, обеспечение контроля за работой врачей и т.д.).

Если какие либо из сравниваемых показателей качества выходят за расчетные пределы отклонений, то состояние системы (процесса) расценивается как нестабильное. В этом случае распределение показателей отличается от нормального и, как правило, не имеет аналитического выражения. Результаты работы такой системы статистически непредсказуемы. При управлении нестабильной системой, в первую очередь, требуется устранить специфические причины отклонений и добиться стабилизации процессов [11].

Представленные выше результаты экспертизы КМП больным стенокардией в поликлинике были проанализированы без учета того, что помощь пациентам оказывалась разными врачами, качество работы которых могло различаться. В связи с этим, экспертные рекомендации носили общий характер и были направлены на совершенствование профессиональных знаний всей группы врачей. Однако сравнительный анализ интегрированных показателей КМП 13 врачей поликлиники (рис. 3) указывает на то, что состояние анализируемой системы является нестабильным, вследствие чего мероприятия общего характера не приведут к ожидаемому улучшению КМП. Для достижения данной цели вначале требуется добиться улучшения качества работы отдельных врачей.

Для обоснования программы последовательных мероприятий по улучшению КМП был предложен способ группировки показателей качества работы отдельных врачей путем осуществления нескольких последовательных процедур нормирования. Каждому последующему нормированию подвергались только те количественные показатели КМП (риски), нормированные значения которых не выходили за рамки верхнего (+ 3σ) и нижнего (- 3σ) контрольных пределов отклонений при предыдущем нормировании. Указанная процедура повторялась до тех пор, пока оставшаяся группа врачей (в дальнейшем - № 2) не образовала стабильную подсистему. Врачи, показатели качества работы которых выходили за нижний и верхний пределы отклонений, были объединены в группы № 1 и № 3 соответственно. Последующий сравнительный анализ КМП при стенокардии в 3-х выделенных группах врачей показал, что между ними имелись различия в количественных показателях КМП (табл. 4), структуре КМП (рис. 4) и частоте встречаемости комплексов логически связанных ВО. Указанные комплексы ВО отсутствовали в группе № 1, редко встречались в группе № 2 и главным образом отмечались в группе № 3.

Наименование	В среднем по поликлинике	1 группа врачей (1, 3, 12, 13)	2 группа врачей (2, 7, 8, 9,10)	3 группа врачей (4, 5, 6, 11)
Риск возникновения ВО	2,4	0,71	1,82	4,68
Риск ухудшения состояния пациентов	0,5	0,13	0,25	0,93
Риск неоптимального использования ресурсов	0,9	0,08	1,04	1,39

Согласно результатам проведенного анализа, руководство лечебного учреждения должно обеспечить первоочередные мероприятия по повышению квалификации врачей 3-й группы. Для этого требуется провести углубленный анализ данных экспертизы КМП для каждого врача и учесть структуру, значимость допущенных ВО и характер их причинно-следственных связей. Меры по улучшению КМП врачей 2-ой группы могут носить общий характер в виде обсуждения результатов экспертизы. Врачи 1-й группы в настоящее время не нуждаются в дополнительных мерах по повышению квалификации.

Таким образом, применение АТЭ и принципов статистического контроля качества позволяет дифференцированно подходить к разработке мер по улучшению КМП, оптимально используя средства лечебного учреждения на обучение врачей и проведение мероприятий, контролирующих эффективность управленческих решений.

2.4. Применение автоматизированной технологии экспертизы для управления качеством медицинской помощи

Для того чтобы установить возможности применения АТЭ в целях управления КМП потребовалось доказать, что АТЭ предоставляет достаточный объем информации о состоянии КМП для планирования и контроля мероприятий по его улучшению на всех уровнях территориальной системы управления здравоохранением. Указанная задача была решена в ходе ряда исследований, включающих организационные эксперименты по изучению возможностей применения АТЭ в 4-х регионах РФ и созданию независимой экспертной организации в г. Тольятти (к.м.н. Михайлов С.М., к.м.н. Хуторской М.А., к.м.н. А.В. Реснянский).

Анализ структуры управления здравоохранением в 4-х регионах РФ позволил выделить 5 типичных уровней: лечащие врачи, заведующие отделениями, главные врачи лечебных учреждений, руководитель органов управления здравоохранением (ОУЗ), лицо, принимающее решение на территории. Возможности АТЭ предоставлять необходимую информацию о состоянии КМП для каждого из уровней управления здравоохранением были изучены на основе материалов 13-ти тематических экспертиз.

Поскольку целью лечащего врача является обеспечение пациентов медицинской помощью надлежащего качества, для принятия самостоятельных мер по улучшению лечебно-диагностического процесса он должен располагать информацией о структуре допускаемых им ВО и их негативных следствиях при оказании помощи больным с различными заболеваниями. Такая информация представлена в предусмотренных АТЭ обобщающих таблицах, которые содержат сведения о распределении ВО по блокам и подблокам врачебного процесса.

Заведующий отделением, для обеспечения пациентов отделения медицинской помощью надлежащего качества, должен иметь информацию о качестве работы врачей отделения, возможность для сопоставления показателей КМП и определения очередности мероприятий по повышению их квалификации, а также данные, позволяющие выбрать оптимальные способы обучения врачей. Анализ результатов экспертизы с применением АТЭ позволяет решить указанные задачи путем сравнительного анализа интегрированных показателей состояния КМП и изучения характера причинно-следственных связей допущенных ВО. Для оценки эффективности мер, направленных на улучшение КМП, заведующему целесообразно изучать в динамике структуру ненадлежащего КМП отдельных врачей.

Главный врач, для обеспечения КМП в лечебном учреждении, должен иметь возможность сопоставлять качество работы отдельных подразделений. Для решения этой задачи целесообразно использовать интегрированные показатели состояния КМП в отделениях лечебного учреждения, сравнительный анализ которых позволит определить очередность мероприятий по улучшению КМП. Для изучения состояния КМП в динамике и контроля эффективности управленческих решений удобнее использовать другой вид информации - данные о структуре ненадлежащего качества в отделениях лечебного учреждения.

Для обеспечения медицинской помощи надлежащего качества в лечебных учреждениях территории, руководителю ОУЗ необходимо иметь возможность сопоставлять качество работы отдельных лечебных учреждений региона для определения очередности мер по его улучшению. Сравнительный анализ интегрированных показателей состояния КМП позволяет выявить те лечебные учреждения, в которых в первую очередь требуется принять меры по улучшению КМП. Для того чтобы оценить эффективность мероприятий по улучшению качества работы в отдельных лечебных учреждениях, целесообразно изучать в динамике изменения структуры ненадлежащего качества.

Результаты выполненного исследования позволили сделать выводы о том, что АТЭ и сопровождающая ее система знаний могут применяться для планирования и контроля мероприятий по улучшению КМП на всех уровнях управления здравоохранением в соответствии с их компетенцией. При планировании мероприятий по улучшению КМП целесообразно использовать данные сравнительного анализа КМП с применением интегрированных показателей его состояния (пример на рис. 5). При определении эффективности мероприятий по улучшению КМП следует анализировать изменения структуры ненадлежащего КМП.

В настоящее время АТЭ используется для обеспечения программ контроля и улучшения КМП в НИИ кардиологии МЗ РФ, а также в учреждениях здравоохранения и ОМС ряда регионов РФ (Тольятти, Белгород, Псков, Тула, Кострома, Владимир). Результаты практического применения АТЭ [13, 14, 19] указывают на возможности ее использования для обеспечения внутриведомственной, вневедомственной, а также независимой экспертизы КМП.

3. Перспективы научно-практической деятельности с применением автоматизированной технологии экспертизы

Дальнейшая научно-практическая деятельность сотрудников отдела проблем управления в кардиологии будет включать исследования по вышеперечисленным направлениям, включая:

• совершенствование программных средств АТЭ;
• разработку и апробацию замкнутого цикла управления КМП с применением АТЭ (планирование - сбор данных - подготовка данных для анализа - анализ данных - мероприятия по улучшению КМП - планирование - контроль), изучение возможностей управления КМП при стабильных и нестабильных процессах ее оказания;
• теоретическое обоснование и создание в практике территориальной системы управления КМП с применением 3-х основных направлений его оценки (по процессу, по структуре, по результату);
• обоснование возможностей применения АТЭ для предупреждения правонарушений при оказании медицинской помощи в системе ОМС;
• создание единой автоматизированной базы данных о КМП для нескольких регионов РФ.

---

ЛИТЕРАТУРА:

1.	Бервик Д.М., Энтховен А., Банкер Д.П. Роль врача в управлении качеством// В кн.: Нойхаузер Д., Мак-Шерн Дж. Э., Хедрик Л. Вопросы непрерывного повышения качества клинической работы. Книга для чтения: Пер. с англ.- Иллинойс США - Москва Россия, 1998.- С. 24-40
2.	Деминг В. Э. Выход из кризиса: Пер. с англ./ Ред. Г. Чебриков.- Тверь: Альба,- 1994 г.- 497 с.
3.	Домничев В.А. Об итогах эксперимента по ведомственному контролю качества медицинской помощи больным пневмониями с применением автоматизированной технологии// Развитие системы обеспечения качества медицинской помощи в современных условиях и проблемы оптимизации структуры здравоохранения: Тез. Докл. IV науч.-практ. Конф. 20-21 апреля 1999.- М., 1999.- С. 77-80.
4.	Зернаева Н.П., Нечипоренко Г.И. Опыт использования автоматизированной технологии экспертизы для оценки качества гинекологической и акушерской помощи// Контроль качества медицинской помощи в системе обязательного медицинского страхования: Материалы Российско- Австрийской конф. 1-3 июля 1998 г./ Под ред. В.Ф.Чавпецова, В.Ю. Семенова, К.А. Кудрина. М.: Федеральный фонд ОМС, 1998.- С.115-121.
5.	Зубанова Е.Ю. Управление качеством кардиологической помощи. Опыт, проблемы и перспективы улучшения// Опыт работы лечебно-профилактических учреждений г. Тольятти Самарской области по обеспечению качества медицинской помощи и возможности его применения некоторыми территориями РФ. Материалы межрегион. рабоч. совещ./ Под ред. Р.А. Галкина, В.Ю.Семенова, В.Ф.Чавпецова. Тольятти. 1998. С.62-66.
6.	Красноперова Ю.С., Луговой В.В. Первые результаты применения автоматизированной технологии экспертизы качества медицинской помощи в системе ОМС Тульской области// Контроль качества медицинской помощи в системе обязательного медицинского страхования: Мат. Российско- Австрийской конф. 1-3 июля 1998 г./ Под ред. В.Ф. Чавпецова, В.Ю. Семенова, К.А. Кудрина. М.: Федеральный фонд ОМС, 1998.- С.131-137.
7.	Кривецкий В.В. Качество медицинской помощи пострадавшим с черепно- мозговой травмой: Автореф. Дис. …к.м.н.- С.-Пб.- 1999.- 24 с.
8.	Кривецкий В.В. Сравнительный анализ качества медицинской помощи пострадавшим с острой черепно- мозговой травмой в учреждениях разного уровня// Контроль качества медицинской помощи в системе обязательного медицинского страхования: Материалы Российско- Австрийской конференции 1-3 июля 1998 г./ Под ред. В.Ф.Чавпецова, В.Ю. Семенова, К.А. Кудрина. М.: Федеральный фонд ОМС, 1998.-С.94- 109.
9.	Левина Т.Б., Филиппова Т.Ю., Сорокина Е.А., Мещерин А.Е. Сравнительный анализ качества медицинской помощи больным гинекологического профиля на амбулаторном и госпитальных этапах// Контроль качества медицинской помощи в системе обязательного медицинского страхования: Материалы Российско- Австрийской конференции 1-3 июля 1998 г./ Под ред. В.Ф.Чавпецова, В.Ю. Семенова, К.А. Кудрина. М.: Федеральный фонд ОМС, 1998.- С122-127.
10.	Мак-Ичерн Д.Д., Шифф Л., Коган О. Как организовать группу непрерывного повышения качества из медработников, занятых непосредственным лечением пациентов// В кн. Нойхаузер Д., Мак-Ичерн Д.Э., Хедрик Л. Вопросы непрерывного повышения качества клинической работы. Книга для чтения: Пер. с англ.- Иллинойс-США, Москва-Россия, 1998.- С. 144-162.
11.	Нив Г.Р. Простанство доктора Деминга: Пер. с англ.- М.:МГИЭТ (ТУ), 1996.--344 с.
12.	Принципы обеспечения качества: Отчет о совещании ВОЗ (Барселона, 17-19 мая 1983)/ Составитель отчета W. Jeеsse: Пер. с англ.- М., 1991.- 27 с.
13.	Реснянский А.В. Экспертная организация и влияние ее деятельности на качество медицинской помощи: Автореф. дис. …к.м.н.- С.-П.б., 1998.- 24 с.
14.	Реснянский А.В., Хуторской М.А., Волкова А.А. Опыт использования системы экспертизы качества медицинской помощи в многопрофильной больнице// Тотальное управление качеством - выход из кризиса: Сб. докл. II Международной конференции, Вып. 2.- Тольятти. 1998. С.69-75.
15.	Семененко М.О. Использование результатов экспертизы для улучшения качества медицинской помощи в ЛПУ г. Белгорода больным с язвенной болезнью желудка и 12-ти перстной кишки// Опыт применения автоматизированной технологии экспертизы качества медицинской помощи в отдельных регионах РФ: Сб. докл. Межрегион. Рабоч. Совещания 14-15 мая 1998 г.- Белгород, 1998.- С. 64-65.
16.	Харрингтон Дж. Управление качеством в американских корпорациях: Сокр. Пер. с английского/ Научн. Ред. Л.А. Конарева.- М.: Экономика, 1990.- 272 с.
17.	Хархардина В.А. Влияние вневедомственной экспертизы на качество медицинской помощи больным кардиологического профиля в центральных районных больницах Белгородской области// Опыт применения автоматизированной технологии экспертизы качества медицинской помощи в отдельных регионах РФ: Сб. докл. Межрегион. Рабоч. Совещания 14-15 мая 1998 г.- Белгород, 1998.- С. 73-81.
18.	Хуторской М.А. Анализ возможностей и результатов практического применения автоматизированной технологии экспертизы качества медицинской помощи: Автореф. дис. …к.м.н.- .С.Пб. 1999 г.24 с.
19.	Хуторской М.А., Миляков В.П., Мещерин А.Е. Центр межведомственной экспертизы КМП. Анализ организации и работы, перспективы развития// Тотальное управление качеством - выход из кризиса: Сб. докл. II Международной конференции, Вып. 2.- Тольятти. 1998.- С.64-68.
20.	Ayanian J.Z., Weissman J.S., Chasan-Tabei S., Epstein A.M. Quality of care for two cоmmon illnesses in teaching and nonteaching hospitals// Health Aff (Millwood).- 1998.- Vol. 17 (16).- P. 194-205.
21.	Bodenheimer T. The movement for improved quality in health care// N. Eng. J. Med.- 1999.- Vol. 340.- P. 488-492.
22.	Chen J., Radford M.J., Wang Y., Marciniak T.A., Krumholz H.M. Do "America`s Best Hospitals" perform better for acute infarction?// N/ Engl. J. Med.- 1999-Vol. 340.- P. 286-292.
23.	Elleerbeck E.F., Jencks S.F., Radford M.J. et al. Quality of care for Medicare patients with acute myocardial infarction: a four-state pilot study from the cooperative Cardiovascular Project// JAMA.- 1995.- Vol. 273.- P. 1509-1514.
24.	Krumholz H.M., Philbin D.M., Wang Y., Vaccarino Y., Murillo J.E., Therrien M.L., Williams J., Radford M.J. Trends in quality of care for Medicare beneficiaries admitted to the hospital with unstable angina// J.Am.Coll.Cardiol.- 1998.- Vol. 31.- P. 957-963.
25.	Lambert-Huber D.A., Ellerbeck E.F., Wallace R.G., Radford M.J., Kresowik T.F., Allison J.A. Quality of care indicators for patients with acute myocardial infarction: pilot validation of the indicators// Clin. Performance Q. Health Care.- 1994.- Vol. 12.- P. 219-222
26.	Tailor D.H., Whellan D.J., Sloan F.A. Effects of admission to a teaching hospital on the cost and quality of care for Medicare beeneficiares// N. Engl. J. Med.- 1999.- Vol. 340.- P. 293-299.

Список основных работ сотрудников отдела проблем управления в кардиологии НИИ кардиологии МЗ РФ:

1.	Чавпецов В.Ф. Внебольничная кардиологическая помощь населению РСФСР (Обоснование путей интенсификации специализированной медицинской службы): Автореф. Дис. … д.м.н.- Л., 1989.- 32 с.
2.	Выбор метода и предварительный отбор специалистов для экспертизы качества медицинской помощи: Метод. Рекомендации МЗ РФ N 95/255/ Под ред. В.А. Алмазова, В.Ф. Чавпецова.- С.-Пб., 1996.- 21 с.
3.	Гарантии качества медицинской помощи в системе обязательного медицинского страхования: Методическое пособие/ Под общ. ред. д.м.н. Н.Б. Перепеча, д.м.н. проф. Р.А. Галкина, д.м.н. В.Ф. Чавпецова.- Тольятти, 1996.- 88 с.
4.	Куликова М.А., Кулешова Э.В., Перепеч Н.Б., Михайлов С.М. Структура и негативные следствия врачебных ошибок при оказании медицинской помощи больным стенокардией// Клин. Мед.- 1997.- Т. 75.- N 10.- С. 59-63.
5.	Куликова М.А., Кулешова Э.В., Перепеч Н.Б., Михайлов С.М. Причинно-следственные связи врачебных ошибок при оказании медицинской помощи больным стенокардией// Клин. Мед.- 1997.- Т. 75.- N 11.- С. 58-61.
6.	Михайлова И.Е. Качество медицинской помощи больным инфарктом миокарда и его влияние на риск развития сердечной недостаточности в постинфарктном периоде: Автореф. Дисс. … к.м.н.- С.-Пб., 1997.- 21 с.
7.	Экспертиза качества медицинской помощи. Теория и практика/ Под ред. Чавпецова В.Ф., Перепеча Н.Б., Милякова В.П.- С.-Пб.: Прогресс-погода, 1997.- 320 с.
8.	Михайлов С.М. Качество медицинской помощи больным ишемической болезнью сердца: Автореф. Дис. …к.м.н.- С.Пб., 1997.- 21 с.
9.	Автоматизированная технология экспертизы качества медицинской помощи и правила ее применения в учреждениях здравоохранения: Пособие для врачей/ Сост. Чавпецов В.Ф., Перепеч Н.Б., Михайлов С.М., Карачевцева М.А. и др.- С.-Пб., 1998.- 30 с.
10.	Гарантии качества медицинской помощи и их организационно- правое обеспечение системой обязательного медицинского страхования: Метод. пособ./Под ред. Чавпецова В.Ф. и др.- М.: Федеральный фонд ОМС, 1998.- 368 с.
11.	Карачевцева М.А. Экспертиза качества медицинской помощи больным ишемической болезнью сердца и применение ее результатов для анализа и повышения квалификации кардиологов: Автореф. Дисс. … к.м.н.- С.Пб., 1998.- 22 с.
12.	Карачевцева М.А., Перепеч Н.Б., Чавпецов В.Ф., Михайлов С.М. Анализ качества медицинской помощи больным ишемической болезнью сердца в медицинских учреждениях разного квалификационного уровня// Клин. Мед.- 1998.-№ 11, С. 28-30.
13.	Карачевцева М.А., Перепеч Н.Б., Чавпецов В.Ф., Михайлов С.М. Повышение квалификации врачей с применением экспертизы качества медицинской помощи// Клин. Мед.- 1998.- № 12.- С. 64-67.
14.	Михайлов С.М., Чавпецов В.Ф., Перепеч Н.Б., Куликова М.А. Автоматизированная технология экспертизы качества медицинской помощи и результаты ее применения// Сб. докл. II Международной конференции "Тотальное управление качеством -инструмент выхода из кризиса".- Тольятти, 1998.- С. 42-50.
15.	Чавпецов В.Ф., Хуторской М.А., Михайлов С.М., Карачевцева М.А. Результаты и перспективы применения автоматизированной технологии экспертизы для управления качеством медицинской помощи// Контроль качества медицинской помощи в системе обязательного медицинского страхования: Материалы Российско- Австрийской конф. 1-3 июля 1998 г./ Под ред. В.Ф.Чавпецова и др. М.: Федеральный фонд ОМС, 1998. С.49-65.