ChatGPT у нас дома: OpenAI выпустила реально открытую модель для установки на сторонние серверы
Мощь OpenAI в моём ноутбуке.
OpenAI выпустила модели для установки на домашние серверы и компьютеры: gpt-oss-120b и gpt-oss-20b. Они достаточно быстрые и помещаются в относительно малые объёмы видеопамяти.
Старшая модель работает почти на уровне OpenAI o4-mini, младшая — на уровне OpenAI o3-mini. Обе совместимы с API OpenAI, а также поддерживают вызов инструментов вроде запуска Python, поиска и тому подобного. Но обрабатывать аудиозаписи и картинки, к сожалению, не умеют — только текст. Распространяются, кстати, по свободной лицензии Apache 2.0 — бесплатно даже для коммерческого использования.
Для запуска gpt-oss-120b потребуется 80 ГБ видеопамяти — её можно развернуть на корпоративных серверах, к примеру. А для запуска gpt-oss-20b достаточно 16 ГБ — вполне себе уровень дорогой домашней видеокарты. Мы запустили её через LM Studio на Macbook Pro M4 Pro 24 ГБ: работает шустро, простые операции выполняет. Но база знаний у модели устаревшая, до 2023 года. И угадать, кто такой Wylsacom, она не смогла. Если знаете, как поиграть с параметрами, чтобы улучшить результаты, — пишите!
