История наглядно демонстрирует, что новые технологии не появляются как чистые листы, а их значение и полезность вытекают из ранее существовавших социальных отношений и конфликтов. Социальное воздействие технологий также имеет тенденцию превышать их фактические возможности или реализацию. Например, в истории автоматизации 20-го века доминировали институциональные и экономические реакции на то, что люди ожидали от этого. Ожидания часто сохранялись, даже когда технология так и не достигла результата. Такие ожидания формируют наше представление о том, какой технологический механизм неизбежен или какие реформы, упразднения, альтернативы считаются вероятными. Частые заявления о том, что большинство из поведения людей можно предсказать, при наличии достаточного количества данных и вычислительной мощности или, что такие прогностические машины будут «знать вас лучше, чем вы сами знаете себя», отражают и увековечивают изменчивое распределение эпистемологической силы.
Предсказание особенно важно для этих мифологических измерений, потому, что оно находится в авангарде, как якобы конкретных, реальных выгод, так и обволакивающей фантазии долгосрочного прогресса. Заявление о том, что можно предсказать осязаемую «проблему», такую как рецидивы или производительность, обещает мощную эмпирическую основу для размышлений о новых технологиях, управляемых данными, как о желательных и неизбежных. Технологические фирмы обещают, что алгоритмы могут, например, автоматически анализировать телефонные звонки заключённых, чтобы предсказывать насильственные преступления и самоубийства, выявлять подозреваемых на основе вибрации их голоса и использовать черты лица для прогнозирования поведения. Эти убеждения остаются в силе даже тогда, когда многие такие предсказания остаются недоказанными или, иногда, специально опровергнутыми. Например, программное обеспечение COMPAS (широко используемый инструмент прогнозирования рецидивов, который использует более 100 показателей), работает примерно так же плохо, как и предположения дилетантов.
Во время пандемии COVID-19 инструменты на основе ИИ прославлялись как потенциальные диагносты, но вскоре выяснилось, что они в значительной степени бесполезны, страдают от некачественных входных данных и других фундаментальных проблем. Тем не менее, даже несмотря на то, что отдельные приложения прогнозирования могут подвергаться критике и высмеиванию, такие обещания реальных выгод продолжают генерировать эмоциональные и когнитивные инвестиции в идею прогнозирования. Несомненно, машинное обучение и искусственный интеллект нашли широкое применение в финансах, бухгалтерии, маркетинге и многих других сферах, где требуется анализ не психологического порядка. Эти факты отражают более широкую модель, в которой социальная жизнь так часто управляется несоответствием между сущностью того, что считается истинным в данном контексте, и более широким пониманием того, какие вещи могут выглядеть, ощущаться и приниматься за правду. Последние с меньшей вероятностью станут видимыми в работе алгоритмов по формализованным правилам. С этой точки зрения описание инструмента распознавания лиц как «предсказывающего» преступность или искусственный интеллект, генерирующий контент, как «обучающаяся» система, не является просто вводящим в заблуждение описанием технического метода. Они увековечивают более базовое представление о том, как вещи должны относиться друг к другу в эпоху предположительно разумных машин.
В контексте больших данных и машинного обучения прогноз направляется в гибко нейтральное пространство, где от учёного или инженера требуется только, чтобы «данные говорили сами за себя» и документировать эти отношения. Но если разработка — например, использование ПО для распознавания лиц с последующим предсказанием сексуальной ориентации — должно способствовать явно вредному использованию технологий, становится легче игнорировать такие последствия как «побочные эффекты», с которыми просто нельзя помочь. Сама эта идея модульного и общего отношения не является ни вечной, ни универсальной. Это во многом современный способ видения, который перекликается с давним появлением количественной оценки как доминирующего метода для понимания человеческих и социальных явлений. В этом смысле язык предсказаний, управляемых данными, навязывает свою собственную реляционную грамматику: не столько существенно утверждение, что конкретные визуальные данные лица точно идентифицируют преступника, сколько фоновые тенденции в том, как люди рассуждают и моделируют, которые делают «правдоподобными» попытки предсказать одно из другого.
Слепая вера в скрытый математический порядок навязывает очень специфическую модель знания, которая онтологически превосходит те, которые доступны нашим повседневным чувствам. Некоторые описывают подобные тенденции как «заколдованный детерминизм». Хотя такое мировоззрение часто отвергается в вежливых разговорах, оно, как правило, сохраняется пристрастным и полуоткрытым образом. Казалось бы, только некоторые неразумные люди могут утверждать, что люди подобны компьютерам (т. е. выражая свою веру в «миф о вычислительной технике»), но после частого выражения таких взглядов, многие другие (вполне себе разумные) будут заигрывать с этой идеей на практике. Сегодня опросы общественного мнения по-прежнему демонстрируют широко распространённое мнение о том, что всеобщий искусственный интеллект неизбежен или что автоматизированное предсказание таких явлений, как преступность, будет вскоре на 100% работающей технологией. Важно отметить, что любое описание управляемых данными систем как объективных и непротиворечивых представляет собой желаемый идеал, а не реальную практику. Предсказание, как реляционная грамматика, не просто диктует гладкое, суммирующее одеяло математического разума. Не менее важно то, что скрывается или обесценивается в процессе навязывания этой грамматики. То, как мы приписываем предсказуемость — например, то, что единую статистическую модель можно «масштабировать» для прогнозирования — имеет прямое влияние на то, какое поведение действующих лиц считается рациональным, и какие виды поведения считаются оптимальными.
Эти ограничения не являются чисто технологическими в том смысле, что более разнообразные наборы данных и модели просто невозможны. Скорее, они имеют тенденцию воспроизводить давние экономические, политические и институциональные асимметрии в том, какие виды данных и знаний производятся, документируются, сообщаются и архивируются в первую очередь. Как говорится: «разборчивость стоит недёшево». Предсказание, как и любой режим знания, имеет самореализующийся элемент: оно может видеть только то, что знает, а измеряет то, что привыкло измерять. Эти тенденции формируются за счёт давней экономической и политической асимметрии, чьё влияние затем отбрасывается как «внешние факторы».