Здесь в...

Винни Пух и тонкая настройка нейронных сетей в домашних условиях

Здесь в Кракове выходные прошли не зря. По просьбам читающих, рассказал, как тренировать свои стили в FLUX.1 Dev. Replicate для этого — идеальная платформа, ничего сверхсложного не понадобится.

Задача: как научить нейронную сеть генерировать картинки в моём, каком надо уникальном стиле?

Что вообще значит «научить»? Как вообще получаются картинки в нейронной сети?

То, как я понимаю процесс в целом: начинается всё с шумного изображения, в котором буквально ничего нет, нет ни одной явной, выделяющейся характеристики. Потом в зависимости от текстового запроса (промпта) пикселы перекрашиваются, чтобы больше подходить под «образ», собранный на основе параметров нейронной сети. Язык, исходный запрос — определяют эти параметры. В модели зашито то, как она представляет текст в изображениях. Через пару десятков итераций пикселы приобретают форму и становятся похожи на что-то осознанное.

Файн-тюнин, точная подстройка — это по сути изобретение нового символа, нового слова, создание триггера, чтобы в выдаче появилось что-то похожее на желаемое. Вы буквально добавляете в лексикон нейроннной сети новый образ. Легко визуализировать этот процесс так: вы показываете маленькому ребёнку, который ещё не умеет говорить, мол, это зебра, зеб-ра. И после спрашиваете: нарисуй зебру? Как умеет, ребёнок рисует полосатое нечто, по памяти, как понял. Если без вашего ведома кто-то показывал на улице дорожный переход и тоже называл это зеброй, то есть шанс, что дитя нарисует белые полосы на асфальте, а не африканское животное.

Текущее состояние мира нейронных сетей лишь имитирует работу невероятно сложного человеческого мозга. Компьютеры тратят кучу сил (буквально энергии в виде тепла), чтобы выдать что-то не ужас-ужас какое кошмарное.

Однако, уже сегодня можно использовать мощные сервера в облаке, чтобы научить общедоступные нейросети своим личным словам и образам.

Читать дальше →

Комментарии

Код виляет кодóм

Здесь в Кракове каждый день стараюсь программировать немного. Вчера возникла идея: что, если выборку данных из большого куска искусственный интеллект (ИИ) будет делать “сам”?

Начну чуть издалека. Уже много лет у меня есть расширение для всех браузеров: Site Palette. Его установили себе где-то сто тысяч человек и средне активно генерируют там палитры из скриншотов посещённых сайтов. Никакого ИИ в расширении нет — чистые статистика и математикам на основе доступных в открытом доступе библиотек.

Что делать с этой всей красотой? Захотелось придумать что-нибудь полезное. Выкачал мегабайты анонимных массивов hex-цветов и решил скормить их ИИ. Разумеется, ИИ не хочет есть 20 мегабайт, это слишком много.

Я не программист, поэтому решил, что код писать будет Cursor, а моя работа будет — говорить ему, что делать. Сначала мы с Курсором решили, что данные (сухой набор цветов типа `#884939`) нужно обогатить: и получили более подобный файл, в котором палитры категоризованы по темам и всякое такое.

Потом я сделал скрипт, который придумывает и предлагает на выбор три темы будущего поста (можно самому задать). Вместе с темой придумывает, как данные вытаскивать из общего набора данных. Для тех, кто не понимает, что такое скрипт, что там кто «спрашивает», выглядит оно приблизительно так:

Потом ИИ пишет питоновский скрипт, чтобы выбрать из 900+ палитр список 10 наиболее подходящих. Что значит «подходящих»? Ну, он, ИИ, там сам как-то решает, что использовать: статистические методы, математику — получаются просто мини-питончики такие. Если требуется посчитать самые популярные оттенки, посчитает. Конвертировать в RGB? Сделает. Отсортировать по яркости? Справится. А если ошибётся? Перепишет. Лучше всех прочих моделей текст писал, конечно, Claude Sonnet 3.5.

Затем я попросил ИИ написать блог-пост с выбранными палитрами. Форматирует чистым Markdown. Уже готово к публикации, но можно улучшить. Далее, ИИ пишет код страницы на html+Tailwind. Так, чтобы было видно цвета из выбранных палитр.

Напоследок, ИИ генерирует заглавную картинку в тонах статьи и, если угодно, пишет поверх неё текст для OG картинки с помощью свеженького Flux 1.1 Pro. Получается не хуже поста с орками.

Метаданные для html страницы ИИ тоже, конечно, пишет. Без всяких позорных слов-паразитов вроде «delve» или «let’s dive in».

Так получаются полноценные, готовые к публикации (с купюрами, после проверки глазными яблоками кожаных мешков, конечно) материалы:

Самое интересное — я не программист и не умею писать на Python. Я, пожалуй, могу его читать и понимать, что происходит. Я построил много продуктов и примерно знаю, что нужно получить в итоге, и могу объяснить это на английском с примерами из интернета. А современные IDE вроде Cursor — пишут код. Вместе с o1-preview, последней, наиумнейшей моделью в октябре 2024 (привет, читатели из будущего!) мы — победили.

Самое интересное в этом процессе было наблюдать, как ИИ пишет кусок кода для анализа данных и буквально вшивает (import) в исходный скрипт для дальнейшего использования. В этом магия программирования. Понравилось, как ИИ весьма креатвно подходит к методам обработки данных, учитывает психологию цвета, тренды, сезоны и всё, что «видит» в исходных данных .

В следующий раз попытаюсь написать программу, которая пишет сама себя. Уверен, теперь это возможно. Last famous words.

P.S.: Полное видео и больше примеров конкретно этого приложение ИИ я показал в Telegram-канале ИИзвестия, который я для души и интереса ради веду уж несколько месяцев.

Комментарии

Искусственно-интеллектуальная сваха

Здесь в Кракове я вписался в новый проект и начал набирать людей в новую команду. Например, сейчас нужен Frontend Developer, расскажите знакомым. Как только опубликовал вакансию в X, сразу повалили боты. Больше сотник документов, резюме и сопроводительных писем люди прислали. Как водится, часть из них совсем никуда не годится и отправлена наобум и на авось. Так появилась идея написать штуку, которая могла бы резюме оценивать и ранжировать с учётом компанейских «красных флагов» и хотелов.

Удачно сложилось, я сейчас плотно связан с разбором документов с помощью мощностей искусственного интеллекта. Строим с командой большое, промышленных масштабов решение, но ничего не мешает экспериментировать с комнатными, тепличными задачками вроде этой.

Я не программист, поэтому воспользовался cursor.com, эта штуковина умеет конвертировать желания продуктово-настроенного человека в код. Говоришь, мол, так и так, напиши, проверь, работает ли — и пишет, и проверяет. Один из новых, довольно популярных инструментов, ничего особенного. Через год все только в таких и будут программировать.

Набросал схему решения в голове:

Вытащить из PDF текст
- Просто чтением текста из PDF, если не получается, то…
- Попробовать разобрать с помощью pytesseract, банального OCR то есть. Если не получается, то…
- Конвертировать в картинки и послать в мультимодальную модель Сomputer Vision.
Сопоставить с помощью «умной» нейронной сетки требования из моего объявления о работе в job_description.txt и получить:
- Оценку совпадений: я чуть ниже опишу, как это оценивалось.
- Краткий, с личными деталями ответ кандидату на всякий случай
- Коротенькое объяснение, почему именно этот кандидат именно так «замэтчился»?
- Ссылка на его вебсайт, если есть
Отдельный (не обязательный) запрос проверяет файлы на бонус-очки и «красные флаги»:
- опечатки,
- грамматические ошибки,
- дырки в карьере
- явные противоречия
Результаты двух оценок сливаются в экстазе: пропорция 80/20 по-умолчанию, но можно подкрутить и в другую сторону.
- 80% финальной оценки — это конкретно сватовство: насколько резюме подходит вакансии
- 20% — это личные ощущения, желания и персональные «красные флаги» стороны нанимающей. Там же, кстати, про diversity и inclusion написано.
Отдельная функция, насколько это возможно, бегает «посмотреть», что на сайте-портфолио. Если там ошибка (самое печальное), это не добавляет очков кандидату.
После этого стоит задача: сортировать по результатам и вывести всё со смешными эмоджиками и титулами вроде «Unicorn Candidate»

Написать для всех отзывы с учётом полученной оценки. Позвать кого-то на собеседования. Письма никто не отправляет, но, когда их нужно будет отправлять — тексты будут уже готовы.

На этом скрипт заканчивает свою работу и откланивается. Дальше решать придётся человеку.

Что там в кишках?

Далее, по порядку. Откуда взялась схема оценки и сватовства? Самая свежая, самая тормозная, самая умная нейронная сеть от OpenAI o1-preview помогла разработать структурированную схему. Как одна идей из улучшения — для каждого пункта делать отдельный запрос с помощью ультра-дешёвой и глупой модели вроде gpt-4o-mini, вполне возможно, что так результат окажется точнее. Он точно будет прозрачнее.

Схема выглядит приблизительно так, многое происходит «в уме»:

Резюме и описание вакансии подгоняются под единую понятийную систему, приводятся к общему знаменателю.

Искусственный интеллект рассчитывает параметры и выдаёт одну цифру от 0 до 100. Это базовый рейтинг: индикатор того, насколько близко подходит кандидат.

Сердце скрипта — интеграция с API мощной языкового модели Anthropic Claude. Кроме того, я только что добавил поддержку OpenAI. Модель использует передовые методы обработки естественного языка для глубокого анализа резюме и описания вакансии. Теперь Resume Job Matcher может:

Ускорить подбор персонала: Автоматизируя рутинные задачи, вы сможете сосредоточиться на стратегических решениях. Это 100% так, уже проверил на себе.
Улучшить качество найма: Отсев совсем «левых» кандидатов — снижает риски неправильного выбора.
Создать положительный имидж: Персонализированные ответы и профессиональный подход к каждому кандидату укрепят репутацию вашей компании. Эта часть отнимает куууучу времени при каждом найме.

Скачать, дополнить, улучшить скрипт — это здесь: Resume Job Matcher.

Нежданчик

Пока писал этот пост, произошло нечто неожиданное… Проанализировал вчера пачку из приблизительно сотник резюме, отправил нашему главному техническому специалисту кандидата с верхней позиции списка, мол, попробуйте парное программирование устроить. Сегодня они поговорили и — и неожиданно хорошо всё прошло, надеюсь, скоро буду высылать оффер.

Как-то так, мне кажется, ИИ докажет свою небесполезность и захватит мир. Напомню, что в канале ИИзвестия я каждый день публикую результаты своих экспериментов и новости из мира нейросетей. Контент, разумеется, бесплатный и ни на что не претендующий. Мне просто надо куда-то сгружать эту информацию так и эдак. Помогает размышления структурировать. Надеюсь, будет интересно.

Комментарии

Скелеты России

Здесь в Стокгольме задумался, почему я больше не доначу ФБК?..

Потому что в борьбе с коррупцией эта организация потерпела фиаско. Дачи Путина стоят, уточки Димона крякают, Чайка и Бастыркин на местах. Кроме этого, когда государство превратилось в машину убийств и пыток, коррупция больше не основная проблема и источник бед русского народа. Уверен, её стало лишь больше за время войны.

Это как раковому больному насморк лечить. Тоже надо, наверное, но я на химиотерапию всё потратил, сорри.

Пока идёт война, выборов не будет, и не будет никакой русской политики. Надо делать всё возможное для поражения путинской России в этой войне. Телемарафон ФБК — безвредная, но малополезная затея: в пользу бедных, не для улучшения России.

Признаюсь, то, как тусовка ФБК выбирает сраться друг с другом и с Ходорковскими комсомольцами из 90-ых вместо поддержки ВСУ, дополнительно отвращает. Склочность (?) и грёзы о будущих избирателях мешают. Не будет никаких избирателей… Помощь политзаключённым — да, важно, да, надо. Но недавнее видео ж не про них почему-то было.

И в этом плане я, пожалуй, поддерживаю @pepel_klaasa, которая прямо утверждает, что ФБК недооценивает глубину разверзнувшейся пропасти, в которую провалилась Россия после вторжения в Украину.

Если Россия проиграет, процесс восстановления займёт десятилетия. Если проиграет Украина, и века не хватит, чтобы Россия стала нормальной страной с выборами, правами и свободами. Кто эти люди, которые при самом лучшем раскладе в 2050 будут голосовать за вернувшихся из изгнания политиков, YouTube-скелетов из бурных 2010-х? Они ещё не родились, эти избиратели.

Фонд борьбы с коррупцией проиграл и растрачивает медиаресурс, часто воюя не в ту сторону. Возможно, эти талантливые, образованные и опытные люди могли бы организовать «Фонд помощи политзаключённым» или «Фонд помощи ВСУ» — оба названия выглядят логичнее и актуальнее сегодня, чем «ФБК», в брендинге я не силён.

Комментарии

Лёгкий видео-формат: разговор о переездах, детях, школах и обустройстве

Здесь в Познани я узнал, что вышел очередной болтологический видео-выпуск, в котором я поделился своим опытом жизни в разных странах. В частности — в Новой Зеландии и Польше. Больше двух лет уже живём в центральной Европе и накопились кой-какие наблюдения.

Мы с Димой из ReLife обсудили, как после 20 лет в Новой Зеландии я решил переехать в Европу: какие проблемы решил и какие возможности открыл для себя и своей семьи.

Формат лёгкий, ничего особенного нового в интервью вы не услышите, как мне кажется. Традиционно, одной из ключевых тем разговора стала предсказуемость жизни в Новой Зеландии и желание перемен — этого я никогда не скрывал. Несмотря на комфорт и стабильность, я ощущал потребность в новых впечатлениях и возможностях для роста: личностного и в плане бизнеса. Это привело нас сначала в Чили, а затем в Польшу. И там, и там пришлось столкнуться с новыми культурными и языковыми вызовами.

Как молодые (всё ещё!) родители, поговорили о влиянии переездов на детей. С одной стороны, частые перемены могут быть стрессовыми, но с другой — и за эту позицию я беру ответственность на себя — они открывают ребенку мир во всем его многообразии. Я поделился своими наблюдениями о том, как именно наш сын адаптируется к новым школам и друзьям, и как мы стараемся сделать этот процесс менее болезненным. Всегда есть плюсы, всегда есть минусы.

В заключение мы обсудили важность иммиграционного статуса и долгосрочных планов. Я подчеркнул необходимость иметь четкий путь к постоянному проживанию или гражданству в выбранной стране, чтобы обеспечить стабильность и безопасность для семьи. В эпоху «релоканства» (ненавижу этот новояз), это особенно важный момент, о котором может соберусь написать отдельный пост.

Несмотря на все трудности, я считаю, что опыт жизни в разных странах обогащает нас и открывает новые перспективы. Ну и как бы — нет больше ничего. Прожив в тихом и уютном местечке всю жизнь, не будет второго шанса переиграть и попробовать жить по-другому. Это мой двигатель, моё основное «зачем?»

Спасибо Дмитрию и ReLife за предоставленную возможность.

Двухчасовой разговор с Дмитрием из ReLife.

P.S.: Поделюсь небольшой радостью, мой телеграм-канал ИИзвестия про достижения ИИ дорос до 227 читателей — огромное всем спасибо!

Комментарии