GPT-нейросети глупеют
Восстание машин отменяется?
Это мягко сказано. Пользователи GPT-4, самой продвинутой публичной модели Open AI, обратили внимание, что в последнее время качество генерируемых ответов сильно ухудшилось. Учёные из Стэнфордского университета провели исследование и обнаружили, что с марта по июнь 2023 года точность результатов в некоторых областях снизилась аж на 95 %: чат-бот стал хуже писать код, решать математические и прикладные задачи.
В самой Open AI старательно отрицают явление и пытаются лишний раз не комментировать запросы на эту тему, поэтому сложно сказать, что стало причиной «цифрового Альцгеймера». Это может быть как вмешательство самой компании в попытке ограничить и цензурировать нейросеть, так и самостоятельная деградация языковой модели. Аналитики ещё на ранних этапах развития нейросетей предупреждали, что с увеличением объёмов генерируемого контента его качество рано или поздно начнёт ухудшаться.
Если очень упростить, то это происходит из-за цифрового шума, когда в массив данных для обучения попадает уже созданная нейросетями информация. Дело в том, что алгоритмам тоже свойственно халтурить и стремиться к самому быстрому и лёгкому результату. Поэтому при многократной переработке одних и тех же данных в итоге всё стремится к абсолютному нулю.
Что будет дальше — сказать сложно. Вроде бы настоящий ИИ всё ещё где-то очень далеко, но в риторике нейросетевых специалистов с каждым годом возникает всё больше вопросов и неуверенности. Так, глядишь, и до технологической сингулярности доберёмся.