В этой статье мы создадим и обучим собственную нейросеть с помощью
и разработаем
для автоматического решения капчи Amazon.
Создать нейросеть и решить капчу Amazon.
Будем решать нашу задачу в несколько этапов:
Чтобы получить доступ к официальному потребуется зарегистрироваться в их , совершить в течении 180 дней 3 продажи и получить одобрение от модераторов Амазон.
Можно воспользоваться . И вот тут мы столкнемся с :
Вот так выглядит капча Amazon
Давайте посмотрим какие есть готовые решения для решения капчи:
Скачаем несколько оригинальных капч Амазон. Мы будем их использоваться для создания обучающих данных и для тестирования нашей нейросети. Напишем скрипт на JavaScript для NodeJS:
Разберем капчи Amzon по буквам:
Подготавливаем весь алфавит: A, B, C ... Z
Также сгенерируем все английские буквы с разным наклоном самостоятельно:
И так для каждой буквы от A до Z
Тем больше входящих данных подготовим, чем точнее сможем обучить нашу нейронную сеть.
Обучение нейронное сети в Teachable Machine
Далее жмём кнопку "Обучить модель" и ждем завершения процесса обучения.
Проверяем, как хорошо наша нейронная модель обучилась:
Скачиваем обученную модель нейросети через "Экспорт модели":
Сохраняем свою модель в файл
Итак, мы создали, обучили и проверили работу нашей нейронной сети. Она со 100% точностью распознает все буквы из Амазон капчи. Переходим к следующему этапу.
В результате мы нашли все контуры букв на изображении:
Найденные буквы на изображении выделены зелёной рамкой.
import tensorflow as tfimport numpy as npdef predict_image(image, model_path, class_names): model = tf.saved_model.load(model_path) prediction = model(image) index = np.argmax(prediction) class_name = class_names[index] letter = class_name[2:].strip() return letter
Создать нейросеть и решить капчу Amazon.
Будем решать нашу задачу в несколько этапов:
- Постановка задачи и анализ входных данных
- Подготовка данных для обучения нейронной сети
- Обучение нейронной сети в Teachable Machine
- Находим контуры на изображении с помощью OpenCV
- Распознаем текст с помощью Tensoflow
- API для распознавания капчи Amazon
- Вопросы, предложения, контакты
Постановка задачи и анализ входных данных
Давайте предположим, что перед нами стоит задача: получить данные об 1 млн товаров размещенных на Амазон.Чтобы получить доступ к официальному потребуется зарегистрироваться в их , совершить в течении 180 дней 3 продажи и получить одобрение от модераторов Амазон.
Можно воспользоваться . И вот тут мы столкнемся с :
Вот так выглядит капча Amazon
Давайте посмотрим какие есть готовые решения для решения капчи:
- к Puppeteer: из 20 попыток распознал 1 капчу.
- Модуль распознавания текста - не распознает искаженный текст.
- Платные решения предлагают оплату за каждую капчу и имеют низкую скорость решения: 5-25 секунд.
Подготовка данных для обучения нейронной сети
Капча Амазон состоит из английских букв, наклон букв произвольный. Задача распознавания капчи сводится к тому, чтобы обучить нашу нейронную сеть распознавать весь английский алфавит состоящий из букв с разным наклоном и искажением.Скачаем несколько оригинальных капч Амазон. Мы будем их использоваться для создания обучающих данных и для тестирования нашей нейросети. Напишем скрипт на JavaScript для NodeJS:
Разберем капчи Amzon по буквам:
Подготавливаем весь алфавит: A, B, C ... Z
Также сгенерируем все английские буквы с разным наклоном самостоятельно:
И так для каждой буквы от A до Z
Тем больше входящих данных подготовим, чем точнее сможем обучить нашу нейронную сеть.
Обучение нейронной сети в Teachable Machine
Загружаем подготовленные данные для обучения вОбучение нейронное сети в Teachable Machine
Далее жмём кнопку "Обучить модель" и ждем завершения процесса обучения.
Проверяем, как хорошо наша нейронная модель обучилась:
Скачиваем обученную модель нейросети через "Экспорт модели":
Сохраняем свою модель в файл
Итак, мы создали, обучили и проверили работу нашей нейронной сети. Она со 100% точностью распознает все буквы из Амазон капчи. Переходим к следующему этапу.
Распознаем объекты на изображении с помощью OpenCV
Прежде чем распознать букву нам нужно научиться находить буквы на самом изображении. В этом нам поможет библиотека . Скрипт разработаем на Python:В результате мы нашли все контуры букв на изображении:
Найденные буквы на изображении выделены зелёной рамкой.
Распознаем текст с помощью Tensoflow
После того как все буквы найдены на изображении, можно передать их в нашу нейронную сеть для распознавания. Будем использовать библиотеку :import tensorflow as tfimport numpy as npdef predict_image(image, model_path, class_names): model = tf.saved_model.load(model_path) prediction = model(image) index = np.argmax(prediction) class_name = class_names[index] letter = class_name[2:].strip() return letter
