Open AI замедлила темпы обучения модели GPT-5
Интернет кончился.
Новая модель Orion должна была стать супернейронкой: научиться рассуждать, следить за точностью фактов и вообще быть новой ступенькой в развитии технологий ИИ. Но у компании закончились данные для обучения.
Главная проблема — качество данных для обучения. То, что доступно в интернете, либо разработчики Open AI уже спарсили и обработали, либо материал не отвечает нужному уровню качества. Пробовали заглянуть за те данные, которые находятся за пэйволом или защищены авторскими правами, — получили по жопе судебными исками. Так что получилось, что бесплатные данные закончились, учить ими нейронки больше не получится.
Решили создавать искусственные наборы данных при помощи программистов и учёных. Но в отличие от первого способа, такой жрёт, во-первых, много сил, а во-вторых, много денег — около 500 миллионов долларов за каждый тренировочный запуск. Так что Open AI в своём поиске или нужно будет тратить много денег, или прибегать к более… изобретательным способам обучить нейронку.