Развитие систем искусственного интеллекта (СИИ) и цифровая трансформация в целом ведут к образованию коллективов автономных агентов искусственной и смешанной генеалогии, а также сложных конструкций информационной и нормативной среды со множеством возможностей и патологий и растущим уровнем неопределенности при принятии управленческих решений.
Ситуацию осложняет сохраняющаяся множественность понимания сущности СИИ. Современное расширенное понимание ИИ восходит к представлениям, сформулированным более 100 лет назад. В официальных страновых программных документах о развитии СИИ предпочтение отдается рабочим определениям ИИ. Текущий статус жизненного цикла СИИ можно оценить как завершение стартового этапа развития систем, связанных со «слабым» ИИ.
Способность искусственных систем к осознанию себя в качестве отдельной личности становится одним из серьезных научно-практических вызовов. Внимание к этике СИИ свидетельствует о начале их работы в пространстве целеполагания и расширении классов и контуров используемых данных. Новые морально-этические проблемы возникают и в связи с созданием в обозримой перспективе подлинно осознающих субъектов. Наблюдается усиливающийся феномен деградации естественного интеллекта.
Требуется учитывать разнородность данных, генерируемых человеком, электронными сенсорами и сетевыми устройствами в динамических проблемных средах цифровой экономики, сложности процесса коэволюции СИИ, коллективного и индивидуального естественного сознания. Особая сфера возможностей и рисков – развитие нейротехнологий.
Объектом управления становятся цифровые двойники, через которые может осуществляться манипуляция реальными установками, оценками и поведением личности. Как следствие, развиваются технологические возможности для провоцирования деструктивных явлений и формируется новый класс массовых зависимостей.