Поиск публикаций  |  Научные конференции и семинары  |  Новости науки  |  Научная сеть
Новости науки - Комментарии ученых и экспертов, мнения, научные блоги
Реклама на проекте

Учу DeepLabCut - крутой deep learning фреймворк на Python для pose estimation

Четверг, 30 Июль, 14:07, d-kishkinev.livejournal.com
DeepLabCut (DLC) - это open source проект, использующий deep learning для автоматического видео трекинга человека, животных или даже любых иных объектов (живые клетки, частички, неодушевленные объекты), и не просто трекинга "центр массы объекта" (это сейчас могут многие проги типа пакетов в R), а "умное" распознавания частей тела на каждом фрейме. При чем большой прорыв тут в том, что никаких прикрепленных markers, потенциально изменяющих поведение, не нужно, т.е. это markerless approach.

DLC - это разработка быстро растущего коллектива девелоперов, изначально вокруг такого чувака Alexander Mathis (постдок из Harward University и скоро завлаб в EPFL (École polytechnique fédérale de Lausanne), Швейцария) и его жены Mackenzie W. Mathis, но теперь проект набирает скорость и популярность, подключаются новые разработчики.

Демонстрация возможностей DLC для автоматического определения "скелета" позы множества животных (при этом вы обучаете программу делать определение поз только на некоторых фреймах - модель далее применима на множестве новых видео с разным количеством животных, при несколько разных углах и освещениях)


дрозофила откладывает яйца


Презентация проекта от создателя


На рынке есть некоторые, даже иногда довольно развитые, программные продукты для video tracking, но они с проприетарными и негибкими алгоритмами, часто заточенными на pre-clinical trials и популярных модели типа крысы/мыши. К тому же они неоправданно дорогие (например EthoVision от Noldus начинается от 5000 фунтов и далее по 1,5k за допмодули). Эта платформа бесплатна и чрезвычайно гибкая. Есть GUI, но в целом нужно или очень желательно знать Python. Конечно есть проблемы и документация вызывает вопросы, но в целом всё круто.

Мы планируем использовать DLC для нескольких проектов для оцифровки сложных поведенческих актов у животных (например, сканирующие движения головы у птиц в изменяющемся магнитном поле или расположение разных частей тела у рыб в одиночку или в стае).

Проект с документацией, тьюториалами выложен на Github, а еще есть отдельный информационно-демонстрационный сайт.
Читать полную новость с источника 

Комментарии (0)