Типовые риски систем ИИ

Типовые риски

Даже если организация не применяет технологии ИИ в своей деятельности, это еще не значит, что ей получится избежать связанных с этим направлением рисков. Например, поставщики товаров и услуг могут применять ИИ-системы, в том числе с использованием информации, полученной от организации, или же действия конкурентов, применяющих прорывные технологии, могут изменить условия ведения бизнеса и оставить организацию не у дел.

Суперинтеллект

Можно выделить существенный вид риска, который скорее всего окажет сильное влияние независимо от того, применяет организация технологии ИИ или нет. Концепция системы суперИИ, которая будет более автономна и расширена в способности самообучения, вызывает беспокойство в связи с потенциалом превзойти установленные человеком ограничения при принятии решений, завладеть контролем над другими автоматизированными системами, а также самокопированием в стремлении самосохранения.

В то время пока реализация системы суперИИ еще не представлена в публичном поле, нам предстоит работать с менее масштабными рисками, хоть они и могут иметь похожие природу и последствия для людей.

Недобросовестное использование

Недобросовестное использование или наращивание вооружения сервисами систем ИИ может привести к неизвестным ранее типам преступлений, к манипуляции общественным мнением и поведением масс, например:

• преодоление злоумышленником систем безопасности путем кражи и агрегации кажущихся нечувствительными данных о здоровье, предпочтениях и финансовых операциях, собираемых разрозненными организациями для совершенствования своих систем ИИ и предоставления своих услуг;

• создание аудио- и видеофейков и использование их в качестве средств для мошеннических действий, пропаганды и управления сознанием.

Компания, создающая и позволяющая использовать сервисы ИИ внутренним или внешним клиентам, может столкнуться с тем, что эти сервисы будут использованы злоумышленниками. Естественно, следует учитывать, что организация все же может столкнуться с опасными последствиями, даже если она далека от таких сервисов: например, когда злоумышленник, вооружившись ими, будет действовать против нее.

Потенциал злоумышленника

Рассматривая злоумышленника отдельно как источник потенциальной угрозы, следует заметить, что с появлением общедоступных систем ИИ значительно снижается порог входа для подготовки к преступлению. Системы ИИ могут быть использованы для:

• поиска уязвимостей на сайте организации или в поставляемых ею сервисах, в используемом ею ПО;

• генерации вредоносного ПО для эксплуатации обнаруженных уязвимостей;

• социального инжиниринга: например, в создании более достоверных поддельных сообщений и фишинга.

Утечка данных, потеря целостности, ущерб репутации, комплаенс

Достаточно большую группу составляют риски утечки данных, целостности информации, ущерба репутации, соблюдения нормативных правовых обязательств. Создание и последующая адаптация системы ИИ под эффективное решение задач подразумевает использование больших объемов данных. Ожидается, что поставляемые системой ИИ результаты  будут влиять на решение задач бизнеса . Таким образом, изначально используемые в создании системы ИИ данные и, что очень важно, их качество и достоверность приобретают существенность.

Потенциальные нежелательные последствия, которые могут возникнуть из-за данных сомнительного происхождения, неточных данных или недостатка контрольных процедур (список является неполным):

• штрафные санкции за раскрытие защищаемых клиентских данных;

• передача конфиденциальных данных в сервисы ИИ, поддерживаемые третьими лицами, в том числе встроенные в общекорпоративные системы ;

• доступ к информации о заработной плате сотрудников путем подключения таких данных для обучения моделей ИИ без расширения мер контроля доступа;

• утечка персональных и других чувствительных данных из хранилища с дальнейшими последствиями для индивидов – владельцев утекших данных;

• принятие неверного бизнес-решения из-за ошибки ИИ, например, в построении прогноза или моделировании;

• недополучение прибыли/ущерб из-за немотивированных отказов потенциальным клиентам, сделанных на основе неверного моделирования;

• материальный ущерб различной степени в связи с излишним доверием к результатам, полученным при применении ИИ, и недостаточной проверкой данных результатов (например, при строительстве, дизайне, конструировании);

• принятие неправильного диагноза заболевания как истинного;

• рабочий травматизм или вред клиентам (например, использование сгенерированных вредных химических соединений, не прошедших предварительных испытаний) в силу чрезмерного доверия к предсказательным алгоритмам;

• урон чести, достоинству или клевета в силу искаженных индивидуальных данных;

• ухудшение имиджа организации в глазах общественности в связи с навязчивостью или нечестностью алгоритмов, применяемых организацией;

• судебные разбирательства из-за непреднамеренной предвзятости, вкроенной в решение, поставляемое системой ИИ и принятое организацией;

• публичные обвинения в плагиате или в нарушении авторских, лицензионных прав на результаты интеллектуальной деятельности, когда используются исходные данные с непрозрачным происхождением.

Этические вопросы

Отдельного внимания заслуживают этические вопросы ИИ, простирающиеся в такие области, как обработка персональных данных, трудовая занятость, непредсказуемость, предвзятость, а также затронутый ранее вопрос суперинтеллекта.

Для обработки персональных данных в системе ИИ можно отметить сложность соблюдения и контроля установленных и обновляемых требований множества юрисдикций , которые расширяются другими правовыми нормативными актами .

Так, неоднозначным в реализации вопросом в связи с совершенствованием систем ИИ является право человека на забвение или, в упрощенном смысле, право на удаление его персональных данных . С другой стороны, какую компенсацию получит пользователь и выражает ли он согласие, когда своими действиями тренирует алгоритмы ИИ ?

А что будет с новыми игроками на рынке создания моделей ИИ, когда под руководством лидеров, развивших мощнейшие модели, переработавшие огромные объемы персональных данных, регуляторы обновят нормы права и контроля, усложнив доступ к пользовательской информации?

Одновременно с потенциалом замены человека на существующих рабочих местах технологии ИИ неявно призывают людей повышать свою квалификацию и развивать навыки. Можно выделить группы профессий, имеющих повышенную вероятность на сохранение в условиях повсеместного применения ИИ:

• социальные профессии, сопротивляющиеся автоматизации (уход за детьми и воспитание, психологическое консультирование, др.);

• профессии, способствующие развитию и внедрению технологий ИИ (бизнес-анализ, анализ данных, управление цифровым контентом – маркетинг, дизайн, связи с общественностью (PR и GR), кинематограф и проч.);

• творческие профессии, не связанные с цифровым контентом (музыкальное и художественное искусство, поэзия, спорт, ремесла народов и этнических групп).

Очевидно, что технологии ИИ одержат верх в конкуренции за очень многие рабочие места в силу производительности и эффективности обработки больших объемов данных и принятия связанных решений, совершения действий.

В рамках внутреннего контроля организации с учетом ее политики устойчивого развития, в том числе социальной ответственности, могут быть предопределены принципы принятия ответных мер на такие риски – то есть как организации поступать, чтобы одновременно обеспечивать сохранение общественного уклада и собственную эффективность.

Непредсказуемость систем ИИ

Непредсказуемость систем ИИ может быть обусловлена рядом факторов, присущих этапу создания этой системы. Прежде всего присутствует зависимость от программистов, от их навыков, от качества их кода, даже от их осведомленности и приверженности корпоративной этике. Обеспокоенность этими вопросами чаще имеет второстепенное значение перед реализацией функционирующего кода, решающего заданную задачу.

Другой фактор – при создании программного модуля задается рамка предположительного использования и подбирается соответствующий узкий набор тренировочных данных и/или сценариев тестирования, для которых сложно предусмотреть все возможные будущие варианты и области применения такого кода.

Влияние технологий ИИ на предвзятость в принятии решения двойственно:

1. одна из целей ИИ – снизить проявление предвзятости;

2. опасность масштабирования, если в алгоритм случайно встроена существующая предопределенность в данных для обучения.

Так, качество данных и возможность исследовать логику принятия решения становятся критичными элементами для нивелирования нечестности и отсутствия прозрачности – разрешения проблемы черного ящика.

Также случайное или преднамеренное внедрение искаженных данных, реализующих дисбаланс классов  или содержащих явные закладки , тоже является существенной областью для беспокойства.

Рассматривая типовые риски, сложно утверждать, что все их получится предусмотреть и на ранних стадиях принять ответные меры. Однако тщательный анализ существенных компонентов системы, их взаимосвязей и назначения, потенциального влияния поможет получить аудитору разумную уверенность в достаточности принятых мер контроля.

С учетом рассмотренных потенциальных последствий внутренний аудитор становится чуть более осведомленным для выявления существующих в организации контрольных процедур и разработки подходящих оценочных тестов.

Задачи аудитора

Планируя аудиторскую проверку или консультацию, связанную с системой ИИ, прежде всего следует понять назначение и функции такой системы. Далее следует оценить уровень ее влияния на бизнес-процессы и организацию в целом, в том числе оценить потенциальные риски.

По результатам оценки рисков аудитор сформирует релевантную программу аудита среды внутреннего контроля. Такая программа, скорее всего, будет включать ряд направлений:

• соблюдение корпоративных политик и прежде всего политики допустимого использования ИИ;

• соблюдение применимых законодательных и регуляторных требований, а также принятых стандартов;

• обеспечение информационной безопасности и процедуры управления рисками;

• управление жизненным циклом системы ИИ от инициирования до поддержки в эксплуатации и вывода из эксплуатации;

• управление входными данными для создания, тренировки и тестирования системы;

• обеспечение доверия к результатам работы системы и принципов их коммерческого использования;

• обеспечение достаточных технических ресурсов и компетентного персонала для применения и контроля систем ИИ, в том числе процедуры обучения и повышения осведомленности сотрудников организации.