ИТАК

Тем временем в сеть утек трейлер GTA 7 🫡

🤖 Новая ИИ-революция? 🤖 Тут пишут что китайцы совершили революцию в ИИ, и возможно даже приблизили создание разумных машин — про которые западные компании говорят давно, и всё никак. Будет забавно если китайцы их в этом опередят. В общем тема интересная, поэтому я решил ее поподробнее изучить. Спойлер: революция возможно есть, но до создания разумных машин все еще далековато. Итак, китайцы выпустили новую ИИ-модель, Kimi K3, на принципиально новой архитектуре State, и это заявка на первый крупный архитектурный прорыв со времен изобретения Transformer в 2017 году» Чтобы вы понимали: именно архитектура трансформеров позволили сделать революционный ChatGPT, и до сих пор все современные модели делают именно на них. Трансформеры круты, однако с ней нейросети приходится перед каждым ответом заново перечитывает все имеющиеся данные, чтобы ничего не упустить. Это дает высокую точность, но чем больше данных — тем больше ресурсов требуется на обработку. Конечно это пытаются оптимизировать: нейросеть пишет конспекты, сокращает контекст где можно. Только работает это довольно криво, потому что механизмы оптимизации не прописаны в архитектуре, а являются надстройкой над ней, а потому работают не очень эффективно. Китайцы еще года три назад предвидели проблему и начали ее решать, встроив механизм конспектов на самый низкий уровень, в самое сердце архитектуры State. Благодаря этому механизм сжатия, как уверяют создатели модели, работает невероятно эффективно. Те кто пользуется современными нейросетями наверняка знают что заявления про «миллион токенов контекста» - это чистый маркетинг, это скорее потолок до которого надо еще допрыгнуть. И в большинстве случаев деградация мышления начинается задолго до достижения этого потолка. У новых State-моделей эта проблема должна быть куда менее острой: рост количества данных повышает стоимость их обработки в гораздо меньшей степени. Некоторые товарищи уже начали говорить что это именно то, чего не хватало для создания по-настоящему разумных машин: память, работающая по принципам человеческой! Машина которая может постоянно обучаться, впитывая бесконечный поток информации и формируя уникальное ядро знаний! Ну что тут сказать, в пафосный пиар умеют не только американцы. Однако многие их заявления пока воспринимаются прямо очень скептически. В первую очередь, сложно поверить в заявление что конспектов будет достаточно и внешняя память станет не нужна. Причем сама Kimi K3 по сути гибридная: часть ее слоев работает на новомодном сжатии контекста, однако часть все еще использует полный анализ контекста. То есть разработчики подстраховались — а спрашивается зачем, если со сжатием все так классно как они рассказывают? Также то что новая память — это путь к AGI (разумным машинам), пока тоже сомнительно. Память это важная часть разума, но далеко не единственная. У современных нейронок очень много проблем: они хреново строят долгосрочные планы, допускают ошибки в долгих рассуждениях, имеют примитивное понимание мира, и еще много всего что новая архитектура пока исправить не может. Ну и других сомнений хватает, хотя я не специалист и мне сложно отделить придирки раздраженных западных экспертов от реальных слабостей архитектуры. А вот само раздражение понять как раз просто: даже история с Deepseek не была такой обидной. Там китайцы просто сделали достаточно неплохую модель задешево. А тут — уже заявка на интеллектуальное превосходство! Однако делать выводы пока рано. Первые тесты показали что Kimi K3 — модель мощная, но дорогая и с куда большей склонностью к галлюцинациям. Подтверждения архитектурных преимуществ пока нет вообще. Плюс к этому, архитектурные идеи появляются регулярно, некоторые были многообещающими, однако в итоге исчезли. И не факт что State-архитектура не окажется одним из таких случаев. И все же, если идея взлетит и объемы контекста реально увеличатся — пусть даже не на порядок, а хотя бы в разы — это реально станет главной революцией года в области ИИ.

Кстати да 🤔

Ну штош, котятки, кажется началось! Западные фондовые рынки начало потряхивать — и трясут их ИИ-компании которые знают что все идет к обвалу, а потому стараются успеть помацать за титьки бедных богатых инвесторов, выдоив из них напоследок все оставшиеся денюшки. Главный скандал недели — Илон Маск оказался балаболом. ШОК! Не может такого быть! Как так? С таким честным лицом? С кучей ракет и Твиттером? Никогда такого не было, и вот опять! Если кто еще не в курсе, не далее как в июне Маск с невероятным успехом вывел на биржу SpaceX: акции в моменте улетели к $225, капитализация пробила потолок в $3 трлн... Как вдруг «что-то случилось»™, и она рухнула до $162. Все важно покивали головами и сказали: «рыночек порешал». И начали было расходиться, как внезапно выяснилось, что это была не коррекция, а классический, наглый, как по учебнику сделанный pump-and-dump — известная схема раздевания фондовых хомячков. Что еще скандальнее, свечку в процессе держал не абы кто, а главный финансовый рупор планеты — телеканал CNBC. В день размещения акций весь эфир канала представлял собой непрерывный сеанс промывания мозгов: в студию постоянно приглашали подельников Маска, при этом никаких неудобных вопросов, никакого фактчекинга — только нагнетание хайпа. Ведущий Джо Кернен орал «Покупайте сколько влезет! Всегда так делали и не ошибались!». Джим Крамер с красным лицом сравнивал IPO с высадкой на Луну. Круче всего отжег Эндрю Росс Соркин, выдавший фразу: «Илон Маск — это и есть математика. Даже если цифры не сходятся, он найдет способ сделать деньги». Финансовые регуляторы застенчиво взирали на этот праздник безудержного оптимизма, молчаливо одобряя временное отключение законов физики, экономики и Уголовного кодекса от данного сегмента реальности. А вот если бы нашелся кто-то умеющий читать, и взбреди ему в голову отрыть проспект SpaceX с их гениальными бизнес-планами на будущее, мог бы выйти конфуз. Потому что там Масково детище на серьезных щщах заявляло претензии на рынок в $28,5 трлн. Это, на секундочку, больше ВВП Китая. Неужто весь Марс в стоимость включили? Да хрен там плавал. На космос в документе заложено жалкие 1,3%. Остальное — искусственный интеллект! Да, ИИ нынче такой — сколько не оцени, всё стерпит. Маск вписал в официальный документ $22,7 трлн из расчета, что его нейросеть Grok монополизирует всю цифровую экономику планеты. А еще $760 млрд — это расчет на то, что абсолютно каждый житель Земли старше девяти лет купит подписку на SuperGrok за $12 в месяц. Сомалийские пираты, тибетские монахи, сибирские школьницы — все должны будут исправно платить товарищу Маску дань за право посидеть в его Твиттере Меха-Гитлере Иксе. Пока этот Меха-Гитлер с трудом удерживает 7%, но это еще были невинные детские игры в «покажи пиписку»... Настоящий криминал оказался зашит в структуре сделки. Обычно инсайдеры не имеют права сливать акции полгода после размещения. Однако SpaceX прописала себе «ускоренный график», позволив нужным людям выйти в кэш почти мгновенно, прямо на историческом пике, оставив розничных хомячков считать убытки. Хотя хомячков Маску показалось мало, и он пролоббировал включение SpaceX в индексы Russell 1000 и NASDAQ — что принудило индексные и пенсионные фонды автоматически скупать этот космический мусор по космической цене. Впрочем, ради справедливости, был в тот день в эфире CNBC один человек который не забыл принять таблетки. Профессор Нью-Йоркского университета Асват Дамодаран прямо сказал: «Когда я читал этот проспект, я подумал, что его написал сам Grok. Число $28,5 трлн настолько нелепо, что убивает доверие. Мне было бы стыдно такое публиковать». Но это был глас вопиющего. Что будет дальше? Да ничего. Есть вялые призывы что-то там расследовать, но думаю юридических последствий не будет. А репутационные — после того что ждет фондовый рынок в ближайшие месяцы годы, на любые репутационные издержки всем будет строго плевать. Победителей не судят. Судят победители.