ПО ПОРЯДКУ ПРОВЕДЕНИЯ
ЭКСПЕРТИЗЫ КАЧЕСТВА, ЭФФЕКТИВНОСТИ
И БЕЗОПАСНОСТИ МЕДИЦИНСКИХ ИЗДЕЛИЙ
(В ЧАСТИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ)
ДЛЯ ГОСУДАРСТВЕННОЙ РЕГИСТРАЦИИ
В РАМКАХ НАЦИОНАЛЬНОЙ СИСТЕМЫ
Москва
2024
СОДЕРЖАНИЕ
ВВЕДЕНИЕ ………………………………………………………………………………………………. 5
- Общие положения ………………………………………………………………………………… 9
- Экспертиза качества, эффективности и безопасности
программного обеспечения, являющегося медицинским изделием,
в том числе программного обеспечения с применением
технологий искусственного интеллекта ……………………………………………………. 9 - Экспертиза для определения возможности (невозможности)
внесения изменений в документы, содержащиеся в регистрационном
досье на программное обеспечение, являющееся
медицинским изделием, в том числе программное обеспечение
с применением технологий искусственного интеллекта …………………………… 32 - Дополнительная информация ……………………………………………………………… 33
Настоящие Методические рекомендации разработаны:
специалистами ФГБУ «ВНИИМТ» Росздравнадзора:
помощником генерального директора Матвиенко А.В.;
заведующим лабораторией функциональных испытаний и программного
обеспечения медицинских изделий Желаевым И.А.
Рецензенты:
Заместитель генерального директора ФГБУ «Национальный институт
качества» Росздравнадзора Казьмин И.А.
Методические рекомендации предназначены для использования
экспертными организациями Росздравнадзора, специалистами Росздравнадзора,
для информирования субъектов обращения медицинских изделий.
Нет никаких ограничений на воспроизведение, распространение или
использование этого документа, однако его включение, частично или полностью, в
любой другой документ должно сопровождаться обязательной ссылкой на данный
документ.
Экспертные организации:
Федеральное государственное бюджетное учреждение «Всероссийский
научно-исследовательский и испытательный институт медицинской техники»
Федеральной службы по надзору в сфере здравоохранения (ФГБУ «ВНИИМТ»
Росздравнадзора);
Федеральное государственное бюджетное учреждение «Национальный
институт качества» Федеральной службы по надзору в сфере здравоохранения
(ФГБУ «Национальный институт качества» Росздравнадзора).
Настоящие Методические рекомендации разработаны в дополнение к
действующим Методическим рекомендациям по экспертизе качества,
эффективности и безопасности медицинских изделий для государственной
регистрации, утвержденным ФГБУ «ВНИИМТ» Росздравнадзора
и ФГБУ «Национальный институт качества» Росздравнадзора.
Список сокращений, применяемых в Методических рекомендациях,
термины, а также ссылки на основные стандарты, содержащие термины, которые
могут встречаться в документации производителя:
ЭВМ — электронно-вычислительная машина;
SaaS — англ. Software as a Service — программное обеспечение как услуга для
удаленного («облачного») использования;
Web браузер — прикладное программное обеспечение для просмотра страниц,
содержания веб-документов, компьютерных файлов и их каталогов; управления
веб-приложениями;
АД — артериальное давление;
ЧСС — частота сердечных сокращений;
Программное обеспечение — программное обеспечение, являющееся
самостоятельным медицинским изделием.
ВВЕДЕНИЕ
Методические рекомендации разработаны и утверждены для целей
реализации следующих документов:
Федеральный закон от 21 ноября 2011 года № 323-ФЗ «Об основах охраны
здоровья граждан в Российской Федерации»;
Федеральный закон от 27 июля 2006 года № 152-ФЗ «О персональных
данных»;
Федеральный закон от 27 июля 2006 года № 149-ФЗ «Об информации,
информационных технологиях и о защите информации»;
Федеральный закон от 27 декабря 2002 года № 184-ФЗ «О техническом
регулировании»;
Федеральный закон от 29 июня 2015 года № 162-ФЗ «О стандартизации в
Российской Федерации»;
Постановление Правительства Российской Федерации от 27 декабря 2012 года
№ 1416 «Об утверждении Правил государственной регистрации медицинских
изделий»;
Постановление Правительства Российской Федерации от 01 ноября 2012 года
№ 1119 «Об утверждении требований к защите персональных данных при их
обработке в информационных системах персональных данных»;
Постановление Правительства Российской Федерации от 12 апреля 2018 года
№ 447 «Об утверждении Правил взаимодействия иных информационных систем,
предназначенных для сбора, хранения, обработки и предоставления информации,
касающейся деятельности медицинских организаций и предоставляемых ими
услуг, с информационными системами в сфере здравоохранения и медицинскими
организациями»;
Приказ Министерства здравоохранения Российской Федерации от 20 марта
2020 года № 206н «Об утверждении порядка организации и проведения экспертизы
качества, эффективности и безопасности медицинских изделий»;
Приказ Министерства здравоохранения Российской Федерации от 06 июня
2012 года № 4н «Об утверждении номенклатурной классификации медицинских
изделий»;
Приказ Министерства здравоохранения Российской Федерации от 16 мая 2013
года № 300н «Об утверждении требований к медицинским организациям,
проводящим клинические испытания медицинских изделий, и порядка
установления соответствия медицинских организаций этим требованиям»;
Приказ Министерства здравоохранения Российской Федерации от 30 августа
2021 года № 885н «Об утверждении Порядка проведения оценки соответствия
медицинских изделий в форме технических испытаний, токсикологических
исследований, клинических испытаний в целях государственной регистрации
медицинских изделий»;
Приказ Министерства здравоохранения Российской Федерации от 19 января
2017 года № 11н «Об утверждении требований к содержанию технической и
эксплуатационной документации производителя (изготовителя) медицинского
изделия».
Приказ Министерства здравоохранения Российской Федерации от 19.10.2020
№ 1113н «Об утверждении порядка сообщения субъектами обращения
медицинских изделий обо всех случаях выявления побочных действий, не
указанных в инструкции по применению или руководстве по эксплуатации
медицинского изделия, о нежелательных реакциях при его применении, об
особенностях взаимодействия медицинских изделий между собой, о фактах и об
обстоятельствах, создающих угрозу жизни и здоровью граждан и медицинских
работников при применении и эксплуатации медицинских изделий».
При подготовке настоящих Методических рекомендаций применялись, в том
числе, положения следующих документов:
ГОСТ ISO 14971-2021 «Изделия медицинские. Применение менеджмента
риска к медицинским изделиям»;
ГОСТ Р 55544-2013/IEC/TR 80002-1:2009 «Программное обеспечение
медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к
программному обеспечению изделий»;
ГОСТ IEC 62304-2022 «Изделия медицинские. Программное обеспечение.
Процессы жизненного цикла»;
ГОСТ Р 70186-2022 «Интернет-ресурсы и другая информация, представленная
в электронно-цифровой форме. Инструменты разработки цифрового контента.
Требования доступности для людей с инвалидностью и иных лиц с ограничениями
жизнедеятельности»;
ГОСТ Р ИСО/ТС 25238-2009 «Информатизация здоровья. Классификация
угроз безопасности от медицинского программного обеспечения»;
ГОСТ Р 59921.0-2022 «Системы искусственного интеллекта в клинической
медицине. Основные положения»;
ГОСТ Р 59921.1-2022 «Системы искусственного интеллекта в клинической
медицине. Часть 1. Клиническая оценка»;
ГОСТ Р 59921.5-2022 «Системы искусственного интеллекта в клинической
медицине. Часть 5. Требования к структуре и порядку применения набора данных
для обучения и тестирования алгоритмов»;
ГОСТ Р 59921.6-2021 «Системы искусственного интеллекта в клинической
медицине. Часть 6. Общие требования к эксплуатации»;
ПНСТ 777-2022 «Системы искусственного интеллекта в клинической
медицине. Часть 10. Процессы жизненного цикла»;
ГОСТ Р 59276-2020 «Системы искусственного интеллекта. Способы
обеспечения доверия. Общие положения»;
ГОСТ Р 59277-2020 «Системы искусственного интеллекта. Классификация
систем искусственного интеллекта»;
ГОСТ Р 59278-2020 «Информационная поддержка жизненного цикла изделий.
Интерактивные электронные технические руководства с применением технологий
искусственного интеллекта и дополненной реальности. Общие сведения»;
ПНСТ 553-2021 «Информационные технологии. Искусственный интеллект.
Термины и определения»;
ГОСТ Р ИСО/МЭК 20546-2021 «Информационные технологии. Большие
данные. Обзор и словарь»;
ГОСТ Р 59385-2021 «Информационные технологии. Искусственный
интеллект. Ситуационная видеоаналитика. Термины и определения»;
ГОСТ Р 59879-2021 «Эргономика. Проектирование и применение испытаний
речевых технологий. Методика определения показателей качества распознавания
голосовых команд управления»;
ГОСТ Р 59880-2021 «Эргономика. Проектирование и применение испытаний
речевых технологий. Методика определения показателей качества синтеза речи по
тексту»;
ГОСТ Р ИСО/МЭК 59926-2021 «Информационные технологии. Эталонная
архитектура больших данных. Часть 2. Варианты использования и производные
требования»;
ГОСТ Р 59898-2021 «Оценка качества систем искусственного интеллекта.
Общие положения»;
ПНСТ 799-2022 «Информационные технологии (ИТ). Криптографическая
защита информации. Термины и определения»;
ГОСТ Р 51188-98 «Защита информации. Испытания программных средств на
наличие компьютерных вирусов. Типовое руководство»;
IMDRF/SaMD WG/N41 (PF):2017 «Программное обеспечение как
медицинское изделие (SaMD). Клиническая оценка»;
Информационное письмо Федеральной службы по надзору в сфере
здравоохранения (Росздравнадзор) от 13 февраля 2020 года № 02И-297/20 «О
программном обеспечении»;
Действующие Методические рекомендации по экспертизе качества,
эффективности и безопасности медицинских изделий для государственной
регистрации, утвержденные ФГБУ «ВНИИМТ» Росздравнадзора и
ФГБУ «Национальный институт качества» Росздравнадзора (далее – основные
Методические рекомендации);
Решение Коллегии Евразийской экономической комиссии от 22.12.2015 № 174
«О Правилах мониторинга безопасности, качества и эффективности медицинских
изделий».
Перечень стандартов, требования из которых, должны быть учтены в
документации производителя при ее составлении:
ГОСТ IEC 62304-2022 «Изделия медицинские. Программное обеспечение.
Процессы жизненного цикла»;
ГОСТ Р 59921.8-2022 «Системы искусственного интеллекта в клинической
медицине. Часть 8. Руководящие указания по применению ГОСТ ISO 13485-2017»;
ГОСТ Р ИСО/МЭК 9126-93 «Информационная технология (ИТ). Оценка
программной продукции. Характеристики качества и руководства по их
применению»;
ГОСТ Р 59921.3-2021 «Системы искусственного интеллекта в клинической
медицине. Часть 3. Управление изменениями в системах искусственного
интеллекта с непрерывным обучением»;
ГОСТ Р 59921.4-2021 «Системы искусственного интеллекта в клинической
медицине. Часть 4. Оценка и контроль эксплуатационных параметров»;
ГОСТ Р 59921.5-2022 «Системы искусственного интеллекта в клинической
медицине. Часть 5. Требования к структуре и порядку применения набора данных
для обучения и тестирования алгоритмов»;
ГОСТ Р 59921.6-2021 «Системы искусственного интеллекта в клинической
медицине. Часть 6. Общие требования к эксплуатации»;
ГОСТ Р ИСО/МЭК 12119-2000 «Информационная технология (ИТ). Пакеты
программ. Требования к качеству и тестирование»;
ГОСТ Р ИСО 9127-94 «Системы обработки информации. Документация
пользователя и информация на упаковке для потребительских программных
пакетов».
Перечень стандартов, методики из которых должны применяться при
проведении технических испытаний ПО:
ГОСТ Р 59921.2-2021 «Системы искусственного интеллекта в клинической
медицине. Часть 2. Программа и методика технических испытаний»;
ГОСТ Р 59921.7-2022 «Системы искусственного интеллекта в клинической
медицине. Алгоритмы анализа медицинских изображений. Методы испытаний.
Общие требования»;
ГОСТ Р 59921.9-2022 «Системы искусственного интеллекта в клинической
медицине. Алгоритмы анализа данных в клинической физиологии. Методы
испытаний. Общие требования»;
ГОСТ Р 51188-98 «Защита информации. Испытания программных средств на
наличие компьютерных вирусов. Типовое руководство»;
ГОСТ Р 59880-2021 «Эргономика. Проектирование и применение испытаний
речевых технологий. Методика определения показателей качества синтеза речи по
тексту»;
ГОСТ 28195-89 «Оценка качества программных средств. Общие положения»;
ГОСТ Р ИСО/МЭК 12119-2000 «Информационная технология (ИТ). Пакеты
программ. Требования к качеству и тестирование».
1. Общие положения
1.1 Настоящие Методические рекомендации, как и основные
Методические рекомендации, предназначены для использования специалистами
ФГБУ «ВНИИМТ» Росздравнадзора и ФГБУ «Национальный институт качества»
Росздравнадзора, осуществляющими экспертизу качества, эффективности и
безопасности Программного обеспечения, проводимую для целей государственной
регистрации в рамках национальной системы.
1.2 Методические рекомендации разработаны в целях:
• установления единообразных подходов при проведении экспертизы
качества, эффективности и безопасности Программного обеспечения;
• унификации оценки соответствия Программного обеспечения
требованиям нормативных документов в части состава и содержания
документации, представляемой на экспертизу в рамках регистрационных
процедур.
2. Экспертиза качества, эффективности и безопасности
программного обеспечения, являющегося медицинским изделием,
в том числе программного обеспечения с применением технологий
искусственного интеллекта
2.1 При проведении экспертизы качества, эффективности и безопасности
Программного обеспечения в целях его государственной регистрации экспертиза
заявления о государственной регистрации медицинского изделия и документов,
указанных в пункте 10 Правил, осуществляется одновременно с проведением
экспертизы полноты и результатов проведенных испытаний.
Применяются все положения основных Методических рекомендаций с
некоторыми дополнениями и уточнениями.
2.2 Отнесение заявленного к регистрации программного обеспечения к
медицинским изделиям.
При отнесении заявленного для государственной регистрации программного
обеспечения к медицинским изделиям применяется определение части 1 статьи 38
Федерального закона от 21.11.2011 № 323-ФЗ «Об основах охраны здоровья
граждан в Российской Федерации» (далее — Федеральный закон от 21.11.2011 №
323-ФЗ).
В случаях, если программное обеспечение невозможно однозначно отнести к
медицинским изделиям, основываясь на определении, содержащемся в ч. 1 ст. 38
Федерального закона от 21.11.2011 № 323-ФЗ, рекомендуется руководствоваться
информационным письмом Росздравнадзора от 13.02.2020 № 02И-297/20 «О
программном обеспечении», содержащим позицию Комиссии ФГБУ «ВНИИМТ»
Росздравнадзора по выдаче заключений на запросы, связанные с обращением
медицинских изделий, по вопросу отнесения программного обеспечения к
медицинским изделиям. Согласно данному письму:
2.2.1 Программное обеспечение является медицинским изделием при
условии соответствия его всем следующим критериям:
• представляет собой программу для ЭВМ или ее модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;
• не является составной частью другого медицинского изделия;
• предназначено производителем для оказания медицинской помощи;
• результат действия программного обеспечения заключается в интерпретации в автоматическом режиме, в том числе с использованием технологий искусственного интеллекта, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных, полученных от медицинских изделий, допущенных к обращению в установленном порядке или введенных медицинскими работниками в целях оказания медицинской помощи.
2.2.2 Примеры методов и технологий, применяемых в функциях программного обеспечения, которые не являются интерпретацией данных:
• отображение данных, полученных от медицинского изделия, в том числе в заданном формате;
• расчет по заданным формулам;
• перевод между единицами измерения;
• построение статистических отчетов и графиков;
• растровый или векторный редактор изображений;
• сигнализация отклонений в данных при наличии возможности отображения исходных данных и при условии задания параметров сигнализации отклонений пользователем;
• функции создания экранных форм, бизнес-процессов, отчетности и иных представлений, которые используются для автоматизации бизнес-процессов медицинской организации в процессе эксплуатации программного обеспечения.
2.2.3 Некоторые примеры программного обеспечения (в том числе примеры функций, источников набора данных, предназначений, платформ, способов представления доступа и т.д.), которое относится к медицинским изделиям:
- Программное обеспечение для просмотра врачом индивидуальной анатомической 3D-модели на основе изображений компьютерной томографии:
• функция интерпретации — вычисление дистанции между двумя точками анатомической 3D-модели;
• источник набора данных — компьютерный томограф;
• предназначение — использование врачами-рентгенологами, в том числе при оказании экстренной помощи;
• аппаратная платформа — мобильные устройства (например, смартфон или планшет);
• способ предоставления доступа — магазин приложений. - Программное обеспечение поддержки принятия врачебных решений при инсульте:
• функция интерпретации — дифференциация между ишемическим и геморрагическим инсультом на основе диагностических изображений;
• источник набора данных — компьютерный или магнитно-резонансный томограф;
• предназначение — использование врачами-реаниматологами, нейрохирургами и неврологами в нейрореанимациях и сосудистых центрах, в том числе при оказании экстренной помощи;
• аппаратная платформа — любая с поддержкой Web браузера;
• способ предоставления доступа — интернет-сайт по SaaS модели лицензирования.
- Программное обеспечение для помощи врачу в диагностике
злокачественных новообразований:
• функция интерпретации — построение карты патологических
изменений поверхности кожи, вычислении их фрактальной размерности для
оценки степени вероятности их злокачественности;
• источник набора данных — медицинские работники посредством
фотографирования встроенной камерой смартфона;
• предназначение — использование врачами-дерматовенерологами на
первичном приеме;
• аппаратная платформа — мобильные устройства (например, смартфон
или планшет);
• способ предоставления доступа — сайт разработчика. - Программное обеспечение для помощи врачу в диагностике
туберкулезного или вирусного менингита у детей:
• функция интерпретации — анализ данных спектроскопии
спинномозговой жидкости с целью диагностики туберкулезного или вирусного
менингита у детей;
• источник набора данных — спектрограф;
• предназначение — использование медицинским работником;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение лицензии и
электронного носителя. - Программное обеспечение поддержки принятия врачебных решений
по риску развития колоректального рака:
• функция интерпретации — оценка риска развития колоректального рака
на основе имеющихся данных о пациенте из группы высокого риска при разработке
его индивидуального плана профилактических мероприятий;
• источник набора данных — медицинские работники и диагностическое
оборудование;
• предназначение — использование врачами различных специальностей
на первичном или повторном приеме;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение лицензии и
электронного носителя. - Программное обеспечение для помощи врачу в диагностике аритмии:
• функция интерпретации — анализ данных о сердечном ритме для
диагностики аритмии;
• источник набора данных — пульсоксиметры с интерфейсом беспроводной передачи данных;
• предназначение — использование врачами любой специальности, в том числе при оказании экстренной помощи;
• аппаратная платформа — мобильные устройства (например, смартфон или планшет);
• способ предоставления доступа — магазин приложений.
- Программное обеспечение для помощи врачу в планировании техники
проведения хирургических операций:
• функция интерпретации — построение и визуализация индивидуальной
анатомической 3D-модели на основе изображений компьютерной томографии,
используемой для определения мест размещения катетеров на внутренней части
бронхиального дерева и в легочной ткани или для размещения маркеров в мягкой
легочной ткани;
• источник набора данных — компьютерный томограф;
• предназначение — использование врачами-хирургами (торакальная
хирургия, радиохирургия);
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение права использования
программы в течение одного года с возможностью скачивания дистрибутива с
сайта разработчика. - Программное обеспечение для помощи врачу в выполнении
морфометрических измерений:
• функция интерпретации — распознавание изображений и морфометрия
цитологических и гистологических препаратов;
• источник набора данных — цифровые микроскопы;
• предназначение — использование медицинским работником;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение права использования
программы на неограниченный срок с возможностью скачивания дистрибутива с
сайта разработчика. - Программное обеспечение дистанционного мониторинга состояния
здоровья пожилых пациентов с коморбидными хроническими заболеваниями:
• функция интерпретации — автоматическое выявление патологических
изменений АД и ЧСС, признаков нарушения ритма с последующим оповещением
лиц, осуществляющих наблюдение и(или) уход за пациентом, по собранным и
полученным на центральный сервер данным в автоматическом режиме;
• источник набора данных — тонометры с интерфейсом беспроводной
передачи данных;
• предназначение — использование медицинским работником;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение права использования
программы на неограниченный срок с возможностью скачивания дистрибутива с
сайта разработчика. - Программное обеспечение для разработки индивидуальной программы
реабилитации:
• функция интерпретации — прогнозирование и оценка степени
запланированного результата на основе имеющихся данных о пациенте;
• источник набора данных — медицинские работники и диагностическое
оборудование;
• предназначение — используется врачами-реабилитологами;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение лицензии и
электронного носителя у разработчика. - Программное обеспечение, применяемое по назначению врача, для
расчета пациентом, страдающим диабетом с высоким риском гипогликемии,
болюсной дозы инсулина на основе данных о потреблении углеводов, ожидаемой
физической активности и уровне глюкозы в крови перед едой:
• функция интерпретации — подбор дозы прандиального инсулина;
• источник набора данных — пациент и диагностическое оборудование
(например, глюкометр);
• предназначение — использование пациентом по назначению лечащего
врача;
• аппаратная платформа — любая с поддержкой Web браузера;
• способ предоставления доступа — интернет-сайт по SaaS модели
лицензирования. - Программное обеспечение радиологической системы архивации и
передачи изображений для получения, хранения, передачи, обработки (изменения
качества изображения, сжатия) и просмотра изображений врачом:
• функция интерпретации — определение морфометрических показателей
изображения;
• источник набора данных — различные виды оборудования лучевой
диагностики;
• предназначение — использование врачами для оказания медицинской
помощи;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — приобретение лицензии и
электронного носителя у разработчика. - Программное обеспечение для предсказания наиболее вероятных
диагнозов на основании интерпретации данных электронной карты пациента:
• функция интерпретации – определение наиболее вероятного диагноза по
симптомам пациента, занесённым в электронную медицинскую карту;
• источник набора данных – электронные медицинские карты;
• предназначение — использование врачами для оказания медицинской
помощи;
• аппаратная платформа — персональный компьютер;
• способ предоставления доступа — интернет-сайт по SaaS модели лицензирования.
способ предоставления доступа — интернет сайт по SaaS модели лицензирования
2.2.4 Примеры программного обеспечения, которое не относится к медицинским изделиям
- Программное обеспечение, предназначенное для автоматизации административно хозяйственной деятельности медицинской организации
- Программное обеспечение, включая мобильные приложения, предназначенное производителем для целей содействия здоровому образу жизни и для формирования у людей ответственного отношения к сохранению и укреплению здоровья, поддержанию активного долголетия, которое измеряет и или рассчитывает количество шагов, скорость ходьбы бега, пульс, количество потраченных и или потребленных калорий жидкости, вес, индекс массы тела и т.п.
- Медицинские информационные системы медицинской организации, лабораторные информационные системы, программное обеспечение для ведения электронных медицинских карт, системы архивирования и передачи изображений, если такое программное обеспечение не содержит функций интерпретации данных
- Программное обеспечение, включая его обновление, применяемое для управления медицинским изделием и контроля за его работоспособностью
- Программное обеспечение, которое использует данные, полученные от одного или нескольких медицинских изделий, но не предназначено для оказания медицинской помощи. Например, программное обеспечение, которое шифрует и или объединяет данные (в том числе и данные пациентов), полученные от одного или нескольких медицинских изделий, для их дальнейшей передачи
- Программное обеспечение для обмена текстовыми и или голосовыми сообщениями, электронными документами, фотографическими изображениями, видео, аудио записями потоками и иными данными между медицинским работником и пациентом, их регистрации, хранения и предоставления к ним доступа при оказании медицинской помощи, в том числе с применением телемедицинских технологий, или для записи на прием
- Программное обеспечение для учета, планирования и контроля за выполнением мероприятий регламентного технического обслуживания и планового ремонта медицинских изделий
- Программное обеспечение для неограниченного круга пользователей в образовательных, научно популяризаторских, справочно информационных целях, в том числе для выбора медицинского специалиста
- Программное обеспечение, направленное на установление видеонаблюдения за пациентом в стационаре, в том числе с алгоритмами искусственного интеллекта, направленными на детекцию положения пациента в пространстве (падения, переворачивание и другие)
2.3 Назначение программного обеспечения
Проверяется назначение программного обеспечения, указанное в заявлении, а также его соответствие данным технической и эксплуатационной документации
Критерии несоответствия определяются по основным методическим рекомендациям с учетом следующего
- не конкретизировано назначение программного обеспечения, в том числе в части отсутствия информации о применении программного обеспечения в медицинских целях или о его предназначении для оказания медицинской помощи, сведений о функции интерпретации набора данных и возможности ее влияния на различные медицинские процессы
Примечание
Например, указано «Программное обеспечение предназначено для сбора, хранения, архивирования и передачи данных», а должно быть указано «Программное обеспечение предназначено для сбора, хранения, архивации и передачи, автоматического распознавания рентгеновских и ультразвуковых изображений и выявления патологических изменений в легких»
2.4 Вид (или виды) программного обеспечения
Вид (или виды) в соответствии с действующей Номенклатурной классификацией медицинских изделий по видам, утвержденной приказом Минздрава России от 06.06.2012 № 4н
Проверяется вид программного обеспечения, указанный в заявлении о государственной регистрации, и в случае если выявляется несоответствие, эксперт устанавливает другой вид (или виды) медицинского изделия в соответствии с действующей номенклатурной классификацией (с обязательным обоснованием). Применяются критерии отнесения к видам в соответствии с основными методическими рекомендациями
2.5 Классификация программного обеспечения
2.5.1 Класс программного обеспечения
Класс программного обеспечения в соответствии с действующей Номенклатурной классификацией медицинских изделий по классам в зависимости от потенциального риска их применения, утвержденной приказом Минздрава России от 06.06.2012 № 4н
Проверяется указанный в заявлении класс в зависимости от потенциального риска применения медицинского изделия в соответствии с действующими правилами классификации, утвержденными приказом Минздрава России от 06.06.2012 № 4н «Об утверждении номенклатурной классификации медицинских изделий»
В случае если выявляется несоответствие, эксперт устанавливает другой класс в зависимости от потенциального риска применения программного обеспечения в соответствии с действующей номенклатурной классификацией (с обязательным обоснованием). При этом обязательно учитывается, что разделом III «Классификация программного обеспечения, являющегося медицинским изделием» Номенклатурной классификации медицинских изделий по классам в зависимости от потенциального риска их применения, утвержденной приказом Минздрава России от 06.06.2012 № 4н, установлено следующее
«13. При классификации программного обеспечения, являющегося медицинским изделием (далее — программное обеспечение), каждое программное обеспечение может быть отнесено только к одному классу потенциального риска применения
класс 1 — программное обеспечение с низкой степенью риска
класс 2а — программное обеспечение со средней степенью риска
класс 2б — программное обеспечение с повышенной степенью риска
класс 3 — программное обеспечение с высокой степенью риска
Присвоение класса потенциального риска применения программному обеспечению в соответствии с настоящим пунктом осуществляется вне зависимости от класса потенциального риска применения того медицинского изделия, в сочетании с которым оно используется
- Классификация программного обеспечения осуществляется на основании следующих критериев
14.1 Вид информации (отнесение к одному из видов информации осуществляется исходя из оценки степени влияния полученных результатов работы программного обеспечения)
14.1.1 Первый вид информации. К данному виду относится информация, не требующая уточнения и или дополнения для принятия обоснованного клинического (врачебного) решения и свидетельствующая о необходимости осуществления незамедлительных и своевременных действий
14.1.2 Второй вид информации. К данному виду относится информация, требующая уточнения и или дополнения для принятия обоснованного клинического (врачебного) решения
14.1.3 Третий вид информации. Информация, не свидетельствующая о необходимости осуществления незамедлительных действий
14.2 Условия применения программного обеспечения (отнесение к категории осуществляется исходя из предназначения программного обеспечения)
14.2.1 Условия применения программного обеспечения относятся к категории «А», если программное обеспечение предназначено
- для оказания медицинской помощи в экстренной форме
- для применения при проведении хирургического вмешательства и или комплексной терапии и или для определения необходимости их проведения
- для диагностики и или лечения заболевания или заболеваний либо состояний пациента, имеющих высокий риск для общественного здоровья и или с высоким индивидуальным риском
Применение программного обеспечения в условиях категории «А» возможно только медицинским работником, прошедшим необходимое обучение по использованию программного обеспечения
14.2.2 Условия применения программного обеспечения относятся к категории «Б», если программное обеспечение предназначено
- для оказания медицинской помощи в неотложной форме
- для оказания медицинской помощи без хирургического вмешательства
- для диагностики и лечения заболевания или заболеваний либо состояний пациента, имеющих умеренный риск для общественного здоровья
Применение программного обеспечения в условиях категории «Б» возможно только медицинским работником, прошедшим необходимое обучение по использованию программного обеспечения
14.2.3 Условия применения программного обеспечения относятся к категории «В», если программное обеспечение предназначено
- для оказания медицинской помощи в плановой форме
- для оказания медицинской помощи с использованием неинвазивных методов и или для применения при долговременном уходе
- для диагностики или лечения заболевания или заболеваний либо состояний пациента, имеющих низкий риск для общественного здоровья
Применение программного обеспечения в условиях категории «В» возможно как медицинским работником, так и пациентом либо иным физическим лицом по назначению и или под контролем медицинского работника
- При отнесении программного обеспечения к классам в зависимости от потенциального риска применения учитываются виды информации и условия применения программного обеспечения
15.1 В случае если программное обеспечение предназначено для применения в условиях, относящихся к категории «А», и информация, полученная с использованием программного обеспечения, относится к первому виду, то оно относится к классу 3
15.1.1 Программное обеспечение с применением технологий искусственного интеллекта относится к классу 3
Примечание
В соответствии с Указом Президента Российской Федерации от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации»
15.2 Программное обеспечение относится к классу 2б, если оно
15.2.1 Предназначено для применения в условиях, относящихся к категории «А», и информация, полученная с использованием программного обеспечения, относится ко второму виду
15.2.2 Предназначено для применения в условиях, относящихся к категории «Б», и информация, полученная с использованием программного обеспечения, относится к первому виду
15.3 Программное обеспечение относится к классу 2а, если оно
15.3.1 Предназначено для применения в условиях, относящихся к категории «А», и информация, полученная с использованием программного обеспечения, относится к третьему виду
15.3.2 Предназначено для применения в условиях, относящихся к категории «Б», и информация, полученная с использованием программного обеспечения, относится ко второму виду
15.3.3 Предназначено для применения в условиях, относящихся к категории «В», и информация, полученная с использованием программного обеспечения, относится к первому виду
15.4 Программное обеспечение относится к классу 1, если оно
15.4.1 Предназначено для применения в условиях, относящихся к категории «Б», и информация, полученная с использованием программного обеспечения, относится к третьему виду
15.4.2 Предназначено для применения в условиях, относящихся к категории «В», и информация, полученная с использованием программного обеспечения, относится ко второму или третьему виду
- Если при отнесении программного обеспечения к классу в зависимости от потенциального риска применения возможно сочетание различных видов информации, полученной с использованием данного программного обеспечения, и или категорий условий, в которых оно применяется, то устанавливается класс программного обеспечения, соответствующий наибольшей степени потенциального риска применения»
2.5.2 Класс безопасности
Класс безопасности в соответствии с требованиями ГОСТ IEC 62304-2022 «Изделия медицинские. Программное обеспечение. Процессы жизненного цикла», ПНСТ 777-2022 «Системы искусственного интеллекта в клинической медицине. Часть 10. Процессы жизненного цикла» для программного обеспечения с применением технологий искусственного интеллекта
Проверяется класс безопасности медицинского изделия в соответствии с п. 4.3 ГОСТ IEC 62304-2022. Для программного обеспечения с применением технологий искусственного интеллекта необходимо проверить выполнение мер по переоцениванию риска в процессе планирования и разработки в соответствии с п. 5.3 ПНСТ 777-2022 «Системы искусственного интеллекта в клинической медицине. Часть 10. Процессы жизненного цикла», при этом может быть установлен класс безопасности для каждого программного элемента
Проверяется файл менеджмента риска на наличие документирования класса безопасности программного обеспечения с его обоснованием. При отсутствии указания класса безопасности программного обеспечения по умолчанию должен присваиваться класс C согласно подпункту g) пункта 4.3 ГОСТ IEC 62304-2022
В случае если выявляется несоответствие, эксперт устанавливает другой класс безопасности (с обоснованием изменения)
2.6 Код ОКПД2
Код ОКПД2 по Общероссийскому классификатору продукции по видам экономической деятельности ОК 034-2014 (КПЕС 2008)
В случае если выявляется несоответствие, эксперт рекомендует другой код ОКПД2 программного обеспечения в соответствии с действующим классификатором (с обязательным обоснованием) в зависимости от соответствующего вида медицинского изделия
2.7 Оценка сведений о нормативной документации
При оценке документа «Сведения о нормативной документации» применяются все положения основных методических рекомендаций с учетом перечня рекомендуемых стандартов, приведенного в разделе «Введение» настоящих методических рекомендаций
2.8 Оценка технической документации на программное обеспечение
Применяются требования основных методических рекомендаций (по применимости) с учетом положений, установленных разделом II.1 Требований к содержанию технической и эксплуатационной документации производителя (изготовителя) медицинского изделия, утвержденных приказом Минздрава России от 19.01.2017 № 11н (далее — Требования)
При проверке представленной в рамках технической документации информации о процессах проектирования и разработки программного обеспечения следует учитывать рекомендации и требования ГОСТ IEC 62304-2022
Проверяется наличие и содержание файла менеджмента риска программного обеспечения (в соответствии с ГОСТ IEC 62304-2022)
Критерии несоответствия — по основным методическим рекомендациям (по применимости), с учетом следующих особенностей
а) отсутствуют сведения, разъясняющие порядок нумерации версий программного обеспечения
Примечание
Разъяснение нумерации версий должно содержать, в том числе сведения об изменениях в программном обеспечении, приводящих к изменению версий
Например, A.B.C., где «A» — главный номер версии (изменяется при изменении основного функционального ядра, добавлении новых функций, существенно меняющих возможности программного обеспечения), «B» — вспомогательный номер версии (изменяется при незначительном изменении основного функционального ядра, изменении интерфейса пользователя), «C» — номер сборки (изменяется при исправлении ошибок, не вносящих изменений в функционал программного обеспечения)
Кроме того, согласно
- подпункту 8 пункта 5.1 Требований, в технической документации необходимо представить информацию о возможных изменениях программного обеспечения, которые влияют (не влияют) на неизменность его функционального назначения и или принципа действия (при наличии)
- подпункту 9 пункта 5.1 Требований — информацию о способе получения пользователем сведений о текущей версии программного обеспечения и порядке его обновления
б) сведения о функции интерпретации, источнике набора данных, аппаратной платформе, способе размещения программного обеспечения и предоставлении доступа к нему
Примечание
Обобщенные примеры представления указанных сведений содержатся в п. 2.2.2 настоящих методических рекомендаций. В технической документации производителя (изготовителя) программного обеспечения необходимо представлять конкретизированные и подробные сведения о функции интерпретации (с указанием порядка реализации данной функции), о получаемом при интерпретации результате (с учетом заявленных показаний к применению, с гарантированными значениями чувствительности, специфичности) с обязательным указанием информации об источнике набора данных
Пример
источником набора данных является «Пульсоксиметр XXX», производства «…», регистрационное удостоверение № …, или «Пульсоксиметр YYY», производства «…», регистрационное удостоверение № …
аппаратная платформа — смартфон «Модель», производства …
Также в рамках указания информации о функциях интерпретации рекомендуется указывать информацию о метриках (специфичность, чувствительность, прогностическая ценность положительного результата (PPV), прогностическая ценность отрицательного результата (NPV) и т.д.)
Для программного обеспечения с применением технологий искусственного интеллекта рекомендуется дополнительно указывать информацию с учетом п. 6 ГОСТ Р 59921.5-2022 «Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов»
в) сведения о наличии (отсутствии) в программном обеспечении технологий искусственного интеллекта и их описание
Примечание
Определение «технологии искусственного интеллекта» сформулировано в Указе Президента Российской Федерации от 10.10.2019 № 490 «О развитии искусственного интеллекта в Российской Федерации», согласно которому технологии искусственного интеллекта — технологии, основанные на использовании искусственного интеллекта, включая компьютерное зрение, обработку естественного языка, распознавание и синтез речи, интеллектуальную поддержку принятия решений и перспективные методы искусственного интеллекта
В технической документации производителя (изготовителя) программного обеспечения следует представлять детализированное описание используемых технологий, в том числе сведения об используемом алгоритме, методе машинного обучения, наборе данных, на которых проводилось обучение
Производителю при обучении программного обеспечения с ИИ необходимо иметь отличные друг от друга наборы данных (выборки) для обучения ИИ модели, и тестовый набор данных (выборку) для проведения тестирования согласно п. 6.2 ГОСТ Р 59921.5-2022 «Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов»
г) отсутствует описание составных частей, модулей, блоков программного обеспечения, являющегося медицинским изделием, которое может сопровождаться структурными схемами архитектуры программного обеспечения
Примечание
К данным сведениям относятся, в том числе
- информация о составе программного обеспечения, взаимосвязи частей (модулей при их наличии) и программных элементов конфигурации
- описание архитектурных особенностей, взаимосвязь с другими медицинскими и немедицинскими изделиями и другим программным обеспечением
- особенности управления, имеющие потенциальные опасности (при необходимости)
Информация о программном обеспечении (в том числе о его составных частях (модулях)) должна позволять осуществлять однозначную идентификацию
д) перечень рисков, идентифицированных в процессе анализа риска, и описание способов управления этими рисками в целях снижения их до допустимого уровня
Примечание
При представлении сведений, предусмотренных данным пунктом Требований, следует руководствоваться
ГОСТ ISO 14971-2021 «Изделия медицинские. Применение менеджмента риска к медицинским изделиям»
ГОСТ Р 55544-2013 IEC/TR 80002-1:2009 «Программное обеспечение медицинских изделий. Часть 1. Руководство по применению ИСО 14971 к программному обеспечению изделий»
Примерами опасностей, идентифицируемых в процессе анализа риска, могут являться
- врач не может завершить диагностическую процедуру для постановки диагноза за запланированное время
- некорректная информация приводит к неверной постановке диагноза пациенту, неверному лечению, задержке при лечении или выбору неверного терапевтического метода
- опасности, связанные с неправильным применением
- непреднамеренное или вредоносное выключение аппаратной платформы, повлекшее потерю данных
- и т.д.
е) отсутствуют технические характеристики программного обеспечения
Примечание
К таким сведениям относятся, в том числе
- требования к потенциальным возможностям и функциональности
- физические характеристики (например, сведения о языке машинного кода, времени отклика и т.д.)
- компьютерные характеристики (инфраструктура сети)
- необходимость совместимости с модернизациями или другими версиями программного обеспечения
- входные и выходные данные программного обеспечения (системы)
- средства взаимодействия между модулями (элементами) программного обеспечения и или другими изделиями
- определение данных (базы данных) и требования к ним (форма, размерность, функции и т.п.)
Кроме того, в соответствии с разделом II.1 Требований техническая документация должна содержать сведения
- об аппаратных системных требованиях, необходимых для функционирования программного обеспечения (поддерживаемых операционных системах, аппаратных платформах, требуемой оперативной памяти, требуемом дисковом пространстве, дополнительных требованиях к программно аппаратным средствам)
- информацию о протоколах обмена данными для использования программного обеспечения вместе с другими медицинскими изделиями и или принадлежностями
ж) сведения о процедуре инсталляции и деинсталляции программного обеспечения
Примечание
Представляются детализированные сведения о процессе установки и удаления программного обеспечения, в том числе описание действий пользователя на каждом из этапов. Кроме того, в соответствии с подпунктом 16 пункта 5.1 Требований необходимо указывать требования к подготовке и или квалификации лиц, осуществляющих установку (инсталляцию) программного обеспечения, являющегося медицинским изделием (при наличии)
з) сведения о верификации и валидации программного обеспечения, в том числе отчеты о тестировании программного обеспечения, являющегося медицинским изделием, и результаты испытаний программного обеспечения, являющегося медицинским изделием, на тестовых базах данных
Примечание
Указанные сведения должны содержать информацию об используемых методах и методиках, перечне средств измерений и испытательном оборудовании, описание тестовых баз данных (в том числе наборов данных, сопровождаемое метаданными, описанием форматов данных и их разметки), результаты полученных испытаний, используемых в целях доказательства
- правильности и достоверности обработки входных данных и формирования выходных данных, в том числе путем проведения аналитической валидации для демонстрации способности программного обеспечения создавать выходные данные при обработке входных данных согласно алгоритму, заложенному при проектировании, с достаточным уровнем надежности, точности и воспроизводимости (в том числе с учетом требований ГОСТ Р 59921.1-2022 «Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка» (по применимости))
- соответствия алгоритмов, используемых в программном обеспечении, документам, содержащим основанную на научных доказательствах структурированную информацию по вопросам профилактики, диагностики, лечения и реабилитации, в том числе протоколы ведения (протоколы лечения) пациента, варианты медицинского вмешательства и описание последовательности действий медицинского работника с учетом течения заболевания, наличия осложнений и сопутствующих заболеваний, иных факторов, влияющих на результаты оказания медицинской помощи (в случае если применимо)
- соответствия программного обеспечения требованиям законодательства Российской Федерации в области информационных систем (в случае если применимо)
и) информацию о клинических рекомендациях, используемых алгоритмом программного обеспечения (при наличии)
Примечание
Указанная информация предоставляется в соответствии с требованиями, установленными в нормативных правовых актах Министерства здравоохранения Российской Федерации
к) отсутствует информация о процессах жизненного цикла программного обеспечения, включая информацию об основных стадиях разработки программного обеспечения, которая может сопровождаться схемами, фотографическими изображениями, рисунками, диаграммами и иными пояснениями
Примечание
Техническая документация на программное обеспечение должна содержать, в том числе сведения о мерах, предпринимаемых производителем при разработке программного обеспечения для обеспечения информационной безопасности
Производитель программного обеспечения должен по возможности максимально обеспечить применение такой совокупности условий, возникающих в процессе разработки, производства, а в дальнейшем и эксплуатации в результате взаимодействия пользователей, интернет сервисов, технологических устройств и сетевых связей, при которых все составляющие защищены от максимально возможного числа угроз и воздействий с нежелательными последствиями
Производитель программного обеспечения при разработке изделия и технической документации может руководствоваться действующими нормативными документами и действующими стандартами в части обеспечения информационной защиты, например, указанными во «Введении» настоящих методических рекомендаций
Производитель должен самостоятельно определить распространение требований Федерального закона от 27.07.2006 № 152 ФЗ «О персональных данных», Федерального закона от 27.07.2006 № 149 ФЗ «Об информации, информационных технологиях и о защите информации» и постановления Правительства Российской Федерации от 01.11.2012 № 1119 «Об утверждении требований к защите персональных данных при их обработке в информационных системах персональных данных» в отношении программного обеспечения, представленного для государственной регистрации
При определении распространения требований указанных нормативных правовых актов следует учитывать следующие основные понятия статьи 3 Федерального закона от 27.07.2006 № 152 ФЗ «О персональных данных»
- персональные данные — любая информация, относящаяся к прямо или косвенно определенному или определяемому физическому лицу (субъекту персональных данных)
- информационная система персональных данных — совокупность содержащихся в базах данных персональных данных и обеспечивающих их обработку информационных технологий и технических средств
При определении распространения требований указанных Федеральных законов следует учитывать основные положения и понятия статьи 1 и статьи 2 Федерального закона от 27.07.2006 № 149 ФЗ «Об информации, информационных технологиях и о защите информации», в том числе то, что Федеральный закон регулирует отношения, возникающие при
- осуществлении права на поиск, получение, передачу, производство и распространение информации (пункт 1 статьи 1)
- обеспечении защиты информации (пункт 3 статьи 1)
В статье 2 Федерального закона от 27.07.2006 № 149 ФЗ «Об информации, информационных технологиях и о защите информации» приведены основные понятия, используемые в настоящем Федеральном законе
- информация — сведения (сообщения, данные) независимо от формы их представления
- информационная система — совокупность содержащейся в базах данных информации и обеспечивающих ее обработку информационных технологий и технических средств
- распространение информации — действия, направленные на получение информации неопределенным кругом лиц или передачу информации неопределенному кругу лиц
В пункте 8 статьи 14 Федерального закона от 27.07.2006 № 149 ФЗ «Об информации, информационных технологиях и о защите информации» определено, что технические средства, предназначенные для обработки информации, содержащейся в государственных информационных системах, в том числе программно технические средства и средства защиты информации, должны соответствовать требованиям законодательства Российской Федерации о техническом регулировании
В статье 4 Федерального закона от 27.12.2002 № 184 ФЗ «О техническом регулировании» указано, что федеральные органы исполнительной власти наделены правом издавать в сфере технического регулирования акты только рекомендательного характера, за исключением случаев, установленных статьями 5 и 9.1 настоящего Федерального закона
Статья 5 Федерального закона от 27.12.2002 № 184 ФЗ «О техническом регулировании» касается, в том числе и продукции, используемой в целях защиты сведений, относимых к охраняемой в соответствии с законодательством Российской Федерации информации ограниченного доступа
Уполномоченным органом, наделенным правом устанавливать обязательные требования по защите информации, в соответствии со статьей 15 Федерального закона от 27.07.2006 № 149 ФЗ «Об информации, информационных технологиях и о защите информации» является Федеральная служба по техническому и экспортному контролю (ФСТЭК России)
В случае если производитель устанавливает возможность взаимодействия программного обеспечения с иными информационными системами (определение «иных информационных систем» приведено в постановлении Правительства Российской Федерации от 12.04.2018 № 447 «Об утверждении Правил взаимодействия иных информационных систем, предназначенных для сбора, хранения, обработки и предоставления информации, касающейся деятельности медицинских организаций и предоставляемых ими услуг, с информационными системами в сфере здравоохранения и медицинскими организациями»), он должен обеспечить защиту своего медицинского изделия от возможных угроз со стороны таких иных информационных систем. Защита должна обеспечиваться с учетом требований постановления Правительства Российской Федерации от 01.11.2012 № 1119 «Об утверждении требований к защите персональных данных при их обработке в информационных системах персональных данных»
Для подтверждения качества и достаточности средств защиты программного обеспечения необходимо предоставить сведения от уполномоченного Правительством Российской Федерации федерального органа власти
В случае если выявляется несоответствие (в том числе опечатки и неточности), эксперт указывает об этом в том пункте заключения комиссии экспертов, который содержит анализ соответствия технической документации
2.9 Оценка эксплуатационной документации на программное обеспечение
Применяются положения основных методических рекомендаций с учетом определения «эксплуатационная документация», представленного в пункте 4 Правил государственной регистрации медицинских изделий, утвержденных постановлением Правительства Российской Федерации от 27.12.2012 № 1416, а также требований к содержанию эксплуатационной документации на программное обеспечение, установленных разделом IV Требований
Критерии несоответствия — по основным методическим рекомендациям (по применимости), с учетом следующих особенностей
а) отсутствуют сведения, регламентирующие условия и правила эксплуатации программного обеспечения
Примечание
Перечень основных замечаний, выявляемых при экспертизе
- в описании программного обеспечения не определены все целевые рабочие задачи, которые могут быть выполнены данным программным обеспечением
- не определена система (технические и программные средства и их конфигурация), необходимая для ввода программного обеспечения в эксплуатацию, включая наименования изготовителей и обозначения типов всех ее частей, например процессоры, объем основной (оперативной) памяти, типы и объемы памяти периферийных запоминающих устройств, оборудование ввода и вывода, сетевое оборудование, системные и прочие программные средства
- не указаны программные средства управления предупреждением и оповещением оператора
- не указаны подробные сведения о функции интерпретации результатов (с указанием порядка реализации данной функции), о получаемом при интерпретации результате (с учетом заявленных показаний к применению с гарантированными значениями чувствительности, специфичности) с обязательным указанием информации об источнике набора данных
- не определен каждый физический компонент программного обеспечения, в частности все печатные документы и все носители данных
- не предусмотрено (или недостаточно предусмотрено) удобство и простота использования (эксплуатационная пригодность), которые чувствительны к человеческим ошибкам и обучению (поддержка операций, выполняемых вручную, взаимодействие между человеком и оборудованием, ограничения в отношении персонала, сведения о том, где требуется пристальное человеческое внимание)
- не установлен (не определен) план (и или планы) и порядок осуществления технического сопровождения и поддержки программного обеспечения
- не представлены сведения о процедуре инсталляции и деинсталляции программного обеспечения
- не представлена информация о способе получения пользователем сведений о текущей версии программного обеспечения, являющегося медицинским изделием, и порядке его обновления
- отсутствует информация об обстоятельствах (последствиях) применения программного обеспечения, являющегося медицинским изделием, при которых пользователь должен проконсультироваться с медицинским работником и или службой технической поддержки
- не приведен обзор функций программного обеспечения, вызываемых пользователем, необходимых для них данных и предоставляемых средств
- не установлены граничные значения характеристик программного обеспечения (минимальные или максимальные значения, длины ключей, максимальное число записей в файле, максимальное число критериев поиска, минимальный объем выборки и т.п.)
- не определены конкретные знания, которые необходимо усвоить пользователю для применения соответствующего программного обеспечения (знание соответствующей технической области, знание операционной системы, знания, получаемые в результате специального обучения, знание языков, отличных от языка, на котором написано описание продукта)
- не указаны инструментальные средства для проведения настройки программного обеспечения (в случае если возможна настройка пользователем) и условия их применения
- отсутствует информация о требованиях к входным данным, например формат файла, примеры оборудования, цветность, разрешение, наличие отсутствие артефактов
б) отсутствуют сведения о разработчике программного обеспечения, его производителе (изготовителе), наименовании и местонахождении на территории Российской Федерации уполномоченного представителя производителя, в том числе авторизованного сервиса
В случае если производитель устанавливает возможность взаимодействия программного обеспечения с иными информационными системами (определение «иных информационных систем» приведено в постановлении Правительства Российской Федерации от 12.04.2018 № 447 «Об утверждении Правил взаимодействия иных информационных систем, предназначенных для сбора, хранения, обработки и предоставления информации, касающейся деятельности медицинских организаций и предоставляемых ими услуг, с информационными системами в сфере здравоохранения и медицинскими организациями»), он должен информировать потребителя о возможных угрозах со стороны таких иных информационных систем. Информирование потребителя должно обеспечиваться с учетом требований постановления Правительства Российской Федерации от 01.11.2012 № 1119 «Об утверждении требований к защите персональных данных при их обработке в информационных системах персональных данных»
2.10 Оценка фотографических изображений медицинского изделия
Проверяется наличие фотографий, предусмотренных подпунктом «д(1)» пункта 10 Правил государственной регистрации
В качестве фотографий программного обеспечения рассматриваются
- фотографическое изображение электронного носителя (при поставке программного обеспечения на электронном носителе)
- фотографическое изображение интерфейса (скриншот экрана), в случае поставки программного обеспечения без участия электронного носителя (по сети Интернет)
Фотография должна позволять четко и однозначно идентифицировать программное обеспечение и его маркировку, включая его версию дату выпуска
В качестве изображения маркировки может быть представлен скриншот экрана с обозначением информации о наименовании программного обеспечения, производителе и или уполномоченном представителе производителя, номере текущей версии
2.11 Оценка объема и полноты проведенных технических испытаний программного обеспечения
Применяются положения основных методических рекомендаций с учетом применения требований к программному обеспечению. Перечень стандартов, рекомендуемых для подтверждения соответствия при проведении технических испытаний, приведен в разделе «Введение» настоящих методических рекомендаций
При проведении технических испытаний программного обеспечения должны быть выполнены испытания, определенные в программе технических испытаний, с обязательным отображением входных данных, ожидаемого ответа программного обеспечения, с целью оценки правильности работы и учета всех требований к программному обеспечению
Критерии несоответствия — по основным методическим рекомендациям (по применимости к конкретному программному обеспечению), с учетом следующих особенностей, в результирующих документах по техническим испытаниям
а) не определены тестируемые функции, процедура тестирования, среда тестирования и другие условия (уточнение конфигурации средств испытаний и подготовительная работа)
б) не представлены сведения о программных модулях, которые должны быть интегрированы в программные элементы и программные системы
в) не определены и не испытаны аппаратные элементы, программные элементы и поддержка ручного управления (например, интерфейс, приспособленный для человека, диалоговые меню, подсказки, распознавание речи, речевое управление системой), интегрированные в систему
г) не приведены результаты тестирования комбинаций требований для случаев, если между требованиями существуют зависимости
д) не представлен тестовый набор данных для проведения тестирования функциональных характеристик программного обеспечения и необходимое оборудование (например, компьютер)
е) не представлены результаты тестирования в части точности полученных результатов и их повторяемости
Второй неотъемлемой частью технических испытаний является проведение тестирования на информационную безопасность
Под информационной безопасностью программного обеспечения понимается состояние сохранности полноты, целостности, точности полученных данных и конфиденциальности при передаче, хранении и анализе данных пациентов. Неверный анализ или нарушенная передача информации о пациенте может привести к неправильной или несвоевременной диагностике и терапии
При проведении оценки информационной безопасности рекомендуется опираться на положения ГОСТ Р 51188-98 «Защита информации. Испытания программных средств на наличие компьютерных вирусов. Типовое руководство». Испытательная организация может применять для тестирования защищенности программного обеспечения и другие действующие нормативные документы и стандарты, в соответствии со своей областью аккредитации
Проверяются результаты технических испытаний программного обеспечения на наличие оценки, представленной производителем (изготовителем) технической и эксплуатационной документации в части
- соблюдения норм информационной безопасности при сохранении необходимого объема и своевременной доступности информации
- наличия идентификации и внедрения безопасных и формализованных способов получения, хранения, преобразования и передачи данных
- использования надлежащих мер контроля для обеспечения целостности данных в тех случаях, когда доступ к общей информации осуществляется несколькими видами программного обеспечения
- определения всех возможных опасностей при обновлении программного обеспечения
- обеспечения защиты конфиденциальной информации, в том числе в части достаточного контроля доступа и соответствующих ограничений системных настроек и процессов
- обеспечения и учета возможных неблагоприятных взаимодействий программного обеспечения с другими системами с включением соответствующих мер устойчивости и надежности
2.12 Оценка полноты и результатов проведенных клинических испытаний программного обеспечения
2.13.1 В отношении программного обеспечения в целях прохождения процедуры государственной регистрации осуществляются клинические испытания. В соответствии с Порядком проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий, утвержденным приказом Минздрава России от 30.08.2021 № 885н
- при проведении клинических испытаний осуществляется, в том числе оценка достоверности клинической связи, аналитической и клинической валидации программного обеспечения, в том числе программного обеспечения с применением технологий искусственного интеллекта (то есть клиническая оценка в соответствии с рисунком 1)
- проведение испытаний программного обеспечения, являющегося медицинским изделием, в том числе программного обеспечения с применением технологий искусственного интеллекта, осуществляется с использованием медицинских данных пациентов, верифицированных медицинской организацией, полученных в ходе диагностики, лечения, реабилитации
Рисунок 1 — Блок схема проведения клинической оценки,
осуществляемой в рамках клинических испытаний
2.13.2 Клиническая оценка в ходе клинических испытаний
В ходе клинических испытаний должна быть дана клиническая оценка клинической связи (научной обоснованности), то есть степени адекватности подбора данных и системы их анализа (концепция, измерения, заключение) целевому назначению. Оценка клинической значимости может подтвердить, что
- программное обеспечение имеет устойчивую клиническую связь, базирующуюся на документально подтвержденных результатах, как это определено в клинических рекомендациях, клинических исследованиях в рецензируемых журналах, согласии на использование программного обеспечения, международных справочных материалах или других подобных хорошо зарекомендовавших себя данных
- программное обеспечение имеет новую клиническую значимость, базирующуюся на способности использовать новые входные данные, алгоритмы или результаты, новую целевую группу или новое предназначение
2.13.3 Определение клинического значения
Определение клинического значения является необходимым компонентом клинической оценки для любого программного обеспечения и может быть продемонстрировано ссылками
- на существующие данные исследований, проведенных для того же предполагаемого использования
- на существующие данные исследований, проведенных для другого предполагаемого использования, где может быть оправдана экстраполяция таких данных
- на генерацию и определение новых клинических данных для конкретного предполагаемого использования программного обеспечения
2.13.4 Оформление результатов клинических испытаний
Результаты клинических испытаний программного обеспечения должны быть оформлены в соответствии с приложениями к Порядку проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий, утвержденному приказом Минздрава России от 30.08.2021 № 885н
2.13.5 Установка программного обеспечения при клинических испытаниях
Для проведения клинических испытаний необходимость инсталляции программного обеспечения с применением технических средств клинической организации определяется медицинской организацией и отражается в программе проведения клинических испытаний
2.13.6 Учет требований при оценке результатов клинических испытаний
При оценке результатов клинических испытаний следует учитывать следующее
- при проведении клинических испытаний программного обеспечения как медицинского изделия для диагностики in vitro программное обеспечение проверяется с применением необходимого оборудования (в том числе медицинских изделий, баз данных), предназначенного для обеспечения надлежащей работы программного обеспечения
- в процессе проведения клинических испытаний программного обеспечения должны быть задействованы все модули программного обеспечения (при модульной архитектуре), опробованы все функции, указанные производителем в эксплуатационной документации (в случае невозможности такого опробования должны представляться подробные пояснения причин)
- в случае если программное обеспечение для проведения клинических испытаний было инсталлировано (установлено) на соответствующем оборудовании до получения регистрационного удостоверения, в протоколе клинических испытаний должны быть отражены сведения о его деинсталляции
- при проведении клинических испытаний программного обеспечения должны быть оценены все позиции доказательных баз (клинические данные, анализ взаимозаменяемых медицинских изделий, литературные источники и т.п.), представленные производителем (изготовителем) в медицинскую организацию
- размер выборки устанавливают с помощью методик определения размера выборки для пропорций и с учетом правил статистики (например, с использованием метода установления требуемой точности для оцениваемых показателей чувствительности, специфичности) и требований п. 5.6.2 ГОСТ Р 59921.5-2022
- на клинических испытаниях необходимо подтверждать все заявленные нозологии или заявленные характеристики, имеющие значимость для клинического применения (например, для каждой нозологии определяемого злокачественного новообразования, для каждого параметра оценки степени поражения легких при компьютерной томографии, для каждого количественного параметра — размера патологического очага в головном мозге, стандартизированной шкалы оценки результатов маммографии BI-RADS)
- для подтверждения клинической эффективности программного обеспечения с применением технологий искусственного интеллекта в документации производителя рекомендуется указывать для каждой заявленной характеристики собственные параметры доказательства эффективности, которые можно проконтролировать (например, для определения нозологии злокачественного новообразования — чувствительность, специфичность и точность для каждой нозологии отдельно)
- для подтверждения клинической эффективности программного обеспечения с применением технологий искусственного интеллекта рекомендуется проведение на этапе клинических испытаний тестов воспроизводимости полученных результатов на тестовой базе с оценкой и анализом воспроизводимости медицинской организацией
- при проведении клинических испытаний программного обеспечения на верифицированной медицинской организацией базе данных должна быть проведена клиническая валидация с целью подтверждения того, что программное обеспечение способно выдавать клинически значимые выходные данные для предназначенного применения. Примерами методов клинической валидации могут быть чувствительность, специфичность, вероятность успешного исхода, диагностическая ценность и т.д.
- при проведении клинической валидации должны быть учтены данные аналитической валидации с предоставлением обоснования их расхождения
- при проведении клинических испытаний программного обеспечения (любых) медицинская организация в обязательном порядке оценивает эксплуатационную документацию и делает вывод о том, что содержание документа доступно и понятно специалистам соответствующего профиля, а также о том, что его содержание обеспечивает надлежащее эффективное и безопасное медицинское применение
- при проведении клинической валидации должны быть подтверждены установленные производителем программного обеспечения с применением технологий искусственного интеллекта параметры эффективности и их соответствие общепризнанному уровню развития знаний (например, для алгоритмов бинарной классификации данных медицинской визуализации рекомендуется использовать метод ROC со свободным откликом (free response ROC, FROC). Программное обеспечение с использованием технологий искусственного интеллекта с допустимой точностью соответствует выпуклым FROC кривым с углом наклона более 45°, графики FROC с углом наклона 45° свидетельствуют о недостаточном качестве программного обеспечения)
- протокол клинических испытаний должен содержать сведения, позволяющие однозначно идентифицировать и оценить результаты работы программного обеспечения, в том числе с применением технологий искусственного интеллекта (например, скриншоты работы программного обеспечения, таблицы с указанием идентификационного номера пациента, результатов работы программного обеспечения, результатов разметки и т.д.)
- результат работы программного обеспечения, в том числе с применением технологий искусственного интеллекта, и разметка врача должны быть единообразны (например, если программное обеспечение выдает результат КТО 4 для диагностики легочных патологий, то разметка или диагноз врача также должны быть в формате КТО 4, а не в виде описательного заключения)
2.13 Оформление результатов экспертизы — Результаты экспертизы оформляются в соответствии с требованиями приказа Министерства здравоохранения Российской Федерации от 20.03.2020 № 206н «Об утверждении порядка организации и проведения экспертизы качества, эффективности и безопасности медицинских изделий»
3 Экспертиза для определения возможности внесения изменений в регистрационное досье
Экспертиза для определения возможности (невозможности) внесения изменений в документы, содержащиеся в регистрационном досье на программное обеспечение, являющееся медицинским изделием, в том числе программное обеспечение с применением технологий искусственного интеллекта
3.1 — Применяются все положения основных методических рекомендаций
3.2 — В соответствии с пунктом 39 Правил государственной регистрации и Порядком проведения экспертизы экспертиза комплекта документов проводится в порядке, аналогичном порядку проведения экспертизы качества, эффективности и безопасности медицинского изделия для его государственной регистрации, со следующими дополнениями
3.2.1 — Производитель (изготовитель) предоставляет сведения о внесении изменений в документы, содержащиеся в регистрационном досье (прежде всего в техническую и эксплуатационную документацию), в случае обновления программного обеспечения, если такое обновление затрагивает
- порядок установки (инсталляции) программного обеспечения
- функциональные технические характеристики (например, расширение и или уменьшение функций, добавление новых модулей и или ключей)
- внесение остаточных рисков, выявленных при проведении пострегистрационного мониторинга
- расширение перечня совместимых медицинских изделий при неизменном функциональном назначении
- порядок работы с программным обеспечением
- любые другие изменения, которые необходимо принимать во внимание пользователю (в том числе медицинской организации) при применении программного обеспечения (например, добавление предупреждений, внесение изменений в описание порядка работы)
3.2.2 — Производитель (изготовитель) предоставляет сведения в случае изменения носителя программного обеспечения и представляет соответствующие фотографические изображения
3.3 — В соответствии с пунктом 39 Правил государственной регистрации регистрирующий орган оформляет и выдает задание на проведение экспертизы качества, эффективности и безопасности медицинского изделия экспертному учреждению
3.4 — Результаты экспертизы оформляются в соответствии с требованиями приказа Министерства здравоохранения Российской Федерации от 20.03.2020 № 206н «Об утверждении порядка организации и проведения экспертизы качества, эффективности и безопасности медицинских изделий»
4 Дополнительная информация
4.1 — В целях подтверждения эффективности применения программного обеспечения и планирования мероприятий в рамках пострегистрационного клинического мониторинга необходимо производить оценку совокупности свойств и характеристик программного обеспечения, обеспечивающих достижение целей предназначения, установленных производителем (изготовителем), с учетом как положительной, так и отрицательной практики клинического применения
Для программного обеспечения класса потенциального риска применения 3 производитель (его уполномоченный представитель) обязан проводить мониторинг безопасности и клинической эффективности после его регистрации (пострегистрационный клинический мониторинг) и ежегодно, в течение 3 лет, представлять в Росздравнадзор отчеты по пострегистрационному клиническому мониторингу
4.2 — Пострегистрационный клинический мониторинг должен производиться в соответствии с планом, который рекомендуется производителю (изготовителю) программного обеспечения или его уполномоченному представителю включать в состав регистрационного досье программного обеспечения при регистрации
4.3 — Пострегистрационный клинический мониторинг должен производиться в соответствии с планом, который должен содержать следующие сведения
- цели и задачи клинического мониторинга с учетом имеющихся клинических данных, специфических особенностей и факторов риска, связанных с программным обеспечением
- схему клинического мониторинга, в том числе обоснование методов (способов) получения и статистического анализа клинических данных, выбора исследуемой совокупности, критериев включения (исключения) и минимального количества субъектов в группе исследования и, где применимо, необходимость включения в исследование групп сравнения
4.4 — Рекомендуемые формы отчетности по пострегистрационному клиническому мониторингу представлены в приложении 5 к приказу Министерства здравоохранения Российской Федерации от 19.10.2020 № 1113н «Об утверждении Порядка сообщения субъектами обращения медицинских изделий обо всех случаях выявления побочных действий, не указанных в инструкции по применению или руководстве по эксплуатации медицинского изделия, о нежелательных реакциях при его применении, об особенностях взаимодействия медицинских изделий между собой, о фактах и об обстоятельствах, создающих угрозу жизни и здоровью граждан и медицинских работников при применении и эксплуатации медицинских изделий»
4.5 — Отчеты о пострегистрационном клиническом мониторинге должны предоставляться производителем медицинских изделий (его уполномоченным представителем) в Федеральную службу по надзору в сфере здравоохранения не позднее 1 февраля, начиная с года, следующего за годом получения регистрационного удостоверения. Отчеты должны предоставляться ежегодно в течение 3 лет с момента регистрации