Конец эпохи анонимного ИИ? OpenAI запускает скрытую маркировку текстов
Компания OpenAI начинает внедрение технологии textGrain, которая будет незаметно маркировать сгенерированный ИИ контент для его последующего распознавания.
В ближайшие недели функцию развернут для пользователей ChatGPT и Codex в Евросоюзе. Новшество связано с требованиями закона EU AI Act, обязывающего маркировать ИИ-контент.
Новая технология не использует видимые знаки, скрытые пробелы или символы. Маркировка происходит на этапе генерации: система особым образом меняет статистический паттерн выбора слов.
Наличие такого скрытого сигнала затем проверяется специальным детектором OpenAI. По заверениям компании, на скорость и качество работы нейросети это никак не повлияет.
Ограничения и точность
Защита textGrain не является абсолютной. К примеру, она уязвима при редактуре, а на коротких ответах и в точных дисциплинах (например, в математике) технология малоэффективна.
Инструмент ищет только след моделей OpenAI и не поможет, если текст был сгенерирован другой нейросетью.
При этом маркер не собирает персональные данные. По нему нельзя узнать автора, историю переписки или текст исходного промта.
Кто и когда сможет проверить текст
На первом этапе в ЕС маркировка включится для всех тарифов ChatGPT и Codex. Разработчики по всему миру уже могут активировать ее в API по желанию.
Сам детектор для проверки текстов пока не будет общедоступным. OpenAI предоставит доступ к нему только одобренным исследователям и экспертам.
В будущем компанию планирует открыть исходный код textGrain для сторонних разработчиков.