5 классных вещей, которые вы можете освоить с Python
Язык программирования Python стал третьим по популярности в индексе TIOBE и первым у PYPL. Джеймс Гавернер, сооснователь аналитической компании RedMonk, заявил, что этот язык уже стал основным для Data Science. Для каких проектов подходит Python и что вы сможете сделать уже сегодня, если знаете как работать с простейшими командами? Погнали разбираться вместе.
Преимущества Python
Python сравнительно лёгок в изучении за счёт простого синтаксиса и универсален благодаря богатой стандартной библиотеке (набору инструментов и готовых решений, которые не требуют дополнительной установки и настройки), поэтому его применяют в самых разных областях.
Python вообще славится своими классными библиотеками — в какой бы области вы ни делали проект, скорее всего, для этого уже есть готовая Python-библиотека: обработка изображений, математика, распознавание речи — для всего есть инструменты. А чтобы вы понимали, насколько это универсальный язык, посмотрите, для чего используют Python-фреймворки:
Мы собрали для вас несколько ярких примеров применения этого языка программирования — возможно именно они вдохновят вас на более глубокое изучение Python и создание чего-то инновационного. 😉
1. Веб-разработка
Python имеет очень хорошую поддержку для веб-разработки с фреймворками. Распространенный стэк технологий, который можно встретить во многих компаниях — Django на бэкэнде и JavaScript фреймворк на фронтенде, например, React. Кстати такой стэк использует DropBox. 😉
Пример — настройка доступа к файловой системе компьютера со смартфона
Вы можете получить доступ к вашей файловой системе Linux, запустив файловый сервер на вашем компьютере. Перейдите в нужный каталог, к которому вы хотите получить доступ, и выполните следующую команду:
Эта команда запускает файловый сервер, к которому можно получить доступ в той же сети, что и ваш смартфон. Чтобы получить доступ к своим файлам на мобильном устройстве, просто подключитесь к той же сети (Wi-Fi или воспользуйтесь точкой доступа телефона на ноутбуке). Теперь откройте браузер в вашем телефоне.
Проверьте свой IP, запустив — ip addr | grep inet. Проверьте ваш локальный IP (предположим, ваш IP — адрес-192.168.43.155). Затем вы должны открыть — 192.168.43.155:8000 на смартфоне и там вы увидите нужный каталог с файловой системой вашего ПК.
2. Автоматизация
Автоматизировать всё, что можно автоматизировать, и освободить время под более важные задачи и дела — это ли не прекрасно? 😉 И в этом тоже поможет python. Существует куча вещей, которые вы можете автоматизировать всего за 4-5 строк кода: от установки заданий cron и напоминаний до загрузки ваших любимых видео на YouTube.
Пример — конвертировать CSV в JSON
Вы можете преобразовать файл CSV в JSON с помощью всего одной команды в Python!
Замените его на filename.csv, и вы получите вывод JSON!
3. Создание игр
С помощью Python вы можете разрабатывать игры. Его библиотека Pygame очень крутая. Он поддерживает художественные, музыкальные, звуковые, видео и мультимедийные проекты, которые будут создаваться с её использованием. Также вы можете создавать кроссплатформенные игры, используя Kivy, который работает на Windows, Mac, Linux, Android и iOS.
Пример — игра «Виселица» в терминале
Терминал — часть некой системы для взаимодействия с внешней средой. Если кратко — окно коммуникации между человеком и операционной системой на компьютере.
Вот простая программа на Python, которая позволяет вам играть в виселицу в терминале.Скопируйте нижеуказанный код в текстовый файл с расширением “.py”, например: hangman.py.
Запустите игру командой: python3 hangman.py где hangman.py название вашего файла. Результат будет выглядеть примерно так:
4. Веб-парсинг
Каждый разработчик встречает огромное количество данных на сайтах. И представьте, как было бы круто, если бы вы могли легко получить доступ ко всей этой информации — запарсить её с помощью Python.
Парсинг (англ. «web scraping») — это автоматизированный сбор открытой информации в интернете по заданным условиям. Парсить можно данные с сайтов, поисковой выдачи, форумов и социальных сетей.
Данные в Сети неструктурированы, и пайтон предоставляет простой способ для анализа и использования этих данных и даже для дальнейшего анализа и операций. Вот некоторые популярные Python-библиотеки для парсинга:
Пример — узнать значение валюты в сравнении с долларом США
Давайте используем парсинг для получения значений валюты. Для этого примера нужно установить две библиотеки для запросов и для парсинга. Выполните в консоли команду:
Создайте файл с названием currency_scrap.py и вставьте в него код ниже:
5. Дата сайнс и машинное обучение
Python хорошо подходит для различных манипуляций с данными, анализа и реализации сложных алгоритмов. Синтаксический анализ и визуализация данных обычно представляют собой простые функции или несколько строк кода с библиотеками Python, такими как NumPy, scipy, scikit-learn и другими.
Python можно использовать в приложениях с интенсивным использованием данных и машинном обучении, используя множество популярных библиотек, таких как:
Есть много инструментов глубокого обучения, которые поддерживают Python. Вот популярные библиотеки и фреймворки:
Еще одна причина, по которой Python популярен, заключается в том, что даже сложные модели машинного обучения могут быть реализованы с помощью 20-40 строк кода.
Проекты, которые мы привели в пример — лишь малая часть того, что можно сделать на python. Но если вы новичок, они помогут вам улучшить свои знания, навыки и прокачать уверенность в себе.
Изучайте Python и не забывайте выбирать надёжную структуру для ваших проектов. Меняйте будущее вместе с нами!
Возможности Python 3, достойные того, чтобы ими пользовались
Многие программисты начали переходить со второй версии Python на третью из-за того, что уже довольно скоро поддержка Python 2 будет прекращена. Автор статьи, перевод которой мы публикуем, отмечает, что основной объём Python 3-кода, который ему доводилось видеть, выглядит как код со скобками, написанный на Python 2. По его словам, он и сам грешит чем-то подобным. Здесь он приводит примеры некоторых замечательных возможностей, доступных лишь тем, кто пользуется Python 3. Он надеется, что эти возможности облегчат жизнь тем, кто о них узнает.
Все примеры, приведённые в этом материале, написаны с использованием Python 3.7. В описании каждой возможности имеются сведения о минимальной версии Python, необходимой для её применения.
Форматные строки (3.6+)
Без использования строк сложно написать что-то полезное на любом языке программирования. Но для эффективной работы со строками разработчику нужны удобные инструменты. Такие инструменты, которые позволяют оперировать сложными структурами, не теряя при этом душевного равновесия. Большинство Python-разработчиков пользуется методом format :
Модуль pathlib (3.4+)
Форматные строки — замечательная технология, но для работы с некоторыми строками, вроде путей к файлам, созданы специальные инструменты, сильно упрощающие манипуляции с ними. В Python 3 имеется модуль pathlib, который представляет собой удобную абстракцию для работы с путями к файлам. Если вы пока не уверены в полезности этого модуля для решения ваших задач — взгляните на этот материал.
Аннотации типов (3.5+)
Что лучше — статическая или динамическая типизация? Пожалуй, почти каждый программист имеет собственный ответ на этот непростой вопрос. Я оставляю на усмотрение читателей то, как именно они типизируют свои программы. Но я считаю, что всем полезно будет хотя бы знать о том, что Python 3 поддерживает аннотации типов.
Перечисления (3.4+)
Из документации по Python 3 можно узнать о том, что перечисление — это набор символических имён (членов), привязанных к уникальным, неизменным значениям. Члены одного перечисления можно сравнивать на идентичность. Перечисления можно обходить.
Встроенный LRU-кэш (3.2+)
В наши дни механизмы кэширования применяются практически во всех программных и аппаратных системах. Python 3 значительно упрощает кэширование благодаря декоратору lru_cache, который реализует алгоритм LRU-кэширования (Least Recently Used).
Ниже показана функция, которая вычисляет числа Фибоначчи. Эта функция вынуждена по много раз выполнять одни и те же операции в ходе рекурсивных вызовов. В результате оказывается, что её производительность можно улучшить благодаря кэшированию.
Теперь используем lru_cache для оптимизации этой функции (такая техника оптимизации называется мемоизацией). В результате время выполнения функции, которое раньше измерялось секундами, теперь измеряется наносекундами.
Распаковка итерируемых объектов (3.0+)
Классы данных (3.7+)
Вот то же самое, но уже написанное с применением dataclass :
Поддержка папок пакетов без файла __init__.py (3.3+)
Один из способов структурирования Python-кода заключается в использовании пакетов (пакеты размещаются в папках, в которых есть файл __init__.py ). Вот пример из официальной документации:
Надо отметить, что на самом деле всё не так просто. А именно, в соответствии с этой официальной спецификацией, файл __init__.py всё ещё нужен для обычных пакетов. Если убрать его из папки, то пакет превращается в так называемый пакет пространства имён, к которому применяются дополнительные ограничения.
Итоги
В этом материале рассмотрены далеко не все интересные возможности Python 3, но мы надеемся, что вы нашли здесь что-то полезное. Код примеров можно найти в этом репозитории.
Уважаемые читатели! Какие возможности Python 3 вы добавили бы в приведённый здесь список?
22 полезных примера кода на Python
Python — один из самых популярных языков программирования, чрезвычайно полезный и в решении повседневных задач. В этой статье я вкратце расскажу о 22 полезных примерах кода, позволяющих воспользоваться мощью Python.
Некоторые из примеров вы могли уже видеть ранее, а другие будут новыми и интересными для вас. Все эти примеры легко запоминаются.
1. Получаем гласные
2. Первая буква в верхнем регистре
Этот пример используется для превращения каждой первой буквы символов строки в прописную букву. Он работает со строкой из одного или нескольких символов и будет полезен при анализе текста или записи данных в файл и т.п.
3. Печать строки N раз
Этот пример может печатать любую строку n раз без использования циклов Python.
4. Объединяем два словаря
Этот пример выполняет слияние двух словарей в один.
5. Вычисляем время выполнения
Этот пример полезен, когда вам нужно знать, сколько времени требуется для выполнения программы или функции.
6. Обмен значений между переменными
Это быстрый способ обменять местами две переменные без использования третьей.
7. Проверка дубликатов
Это самый быстрый способ проверки наличия повторяющихся значений в списке.
8. Фильтрация значений False
9. Размер в байтах
Этот пример возвращает длину строки в байтах, что удобно, когда вам нужно знать размер строковой переменной.
10. Занятая память
Пример позволяет получить объём памяти, используемой любой переменной в Python.
11. Анаграммы
Этот код полезен для проверки того, является ли строка анаграммой. Анаграмма — это слово, полученное перестановкой букв другого слова.
12. Сортировка списка
Этот пример сортирует список. Сортировка — это часто используемая задача, которую можно реализовать множеством строк кода с циклом, но можно ускорить свою работу при помощи встроенного метода сортировки.
13. Сортировка словаря
14. Получение последнего элемента списка
15. Преобразование разделённого запятыми списка в строку
Этот код преобразует разделённый запятыми список в единую строку. Его удобно использовать, когда нужно объединить весь список со строкой.
16. Проверка палиндромов
Этот пример показывает, как быстро проверить наличие палиндромов.
17. Перемешивание списка
18. Преобразование строки в нижний и верхний регистры
19. Форматирование строки
Этот код позволяет форматировать строку. Под форматированием в Python подразумевается присоединение к строке данных из переменных.
20. Поиск подстроки
Этот пример будет полезен для поиска подстроки в строке. Я реализую его двумя способами, позволяющими не писать много кода.
21. Печать в одной строке
Мы знаем, что функция print выполняет вывод в каждой строке, и если использовать две функции print, они выполнят печать в две строки. Этот пример покажет, как выполнять вывод в той же строке без перехода на новую.
22. Разбиение на фрагменты
Этот пример покажет, как разбить список на фрагменты и разделить его на меньшие части.
На правах рекламы
Серверы для разработчиков — выбор среди обширного списка предустановленных операционных систем, возможность использовать собственный ISO для установки ОС, огромный выбор тарифных планов и возможность создать собственную конфигурацию в пару кликов, активация любого сервера в течение минуты. Обязательно попробуйте!
Топ-16 Python-приложений в реальном мире
Удовольствие от написания Python-кода заключается в возможности создавать короткие, лаконичные и читаемые классы, которые выражают большой объем логики в небольшом объеме кода, а не в сотнях строк, утомляющих читателя.
За последние несколько лет технологии вокруг нас поменялись почти во всех аспектах. Мы живем в мире, где во главе угла стоит программное обеспечение, а за почти любой службой стоит какая-нибудь строчка кода. Индустрия путешествий, банкинг, образование, исследования, военная сфера — лишь немногие из тех, кто полагается на ПО.
Любой софт написан на каком-то языке программирования. А число последних лишь растет.
Однако одним из самых популярных в мире на сегодня является Python. В этом материале рассмотрим примеры реальных приложений, работающих на этом языке.
Реальные приложения на Python
Python сильно поменялся с момента создания в 1991 году Гвино ван Россумом. Это динамический, интерпретируемый, высокоуровневый язык программирования, с помощью которого можно создать массу разнообразных приложений. У него плавная кривая обучения и понятный синтаксис.
С помощью Python делают веб-приложения, видеоигры, занимаются Data Science и машинным обучения, разрабатывают софт, работающий в реальном мире, а также встроенные приложения и многое другое.
1. Веб-разработка
Наверняка все разработчики знают, что такое веб-разработка. Это квинтэссенция применимости Python. Также этот язык выделяет широкое разнообразие фреймворков и систем управления контентом (CMS), которые упрощают жизнь разработчика. Среди самых популярных решений — Django, Flask, Pyramid и Bottle. Среди CMS выделяются Django CMS, Plone CMS и Wagtail.
Веб-разработка на Python дает такие преимущества, как повышенная безопасность, масштабируемость и удобство в процессе работы. Также язык из коробки поддерживает такие протоколы, как HTML, XML, email-протоколы, FTP. У Python одна из крупнейших коллекций библиотек, упрощающих и улучшающих жизнь разработчика.
Посмотреть список сайтов, которые использую python можно на https://trends.builtwith.com/framework/Python.
2. Разработка игр
По аналогии с веб-разработкой в Python есть масса инструментов и библиотек для разработки игр. Кстати, а вы знали, что на этом языке программирования была написала популярная некогда Battlefield 2?
Для разработки игр используются такие библиотеки, как PyGame, Pycap, Construct, Panda3D, PySoy и PyOpenGL.
Также с помощью Python были разработаны такие проекты, как Sims 4, World of Tanks, Civilization IV и EVE Online. Можно вспомнить еще Mount & Blade, Doki Doki Literature Club, Frets on Fire и Disney’s Toontown Online.
3. Искусственный интеллект и машинное обучение
По данным GitHub Python расположился на втором месте среди языков, используемых для машинного обучения.
Искусственный интеллект и машинное обучение — очень популярные темы сегодня. С помощью них мы сегодня принимаем очень много решений. Python отчасти повлиял на такой рост популярность отрасли.
Стабильность и безопасность языка сделали его идеальным для интенсивных вычислений, без которых AI и ML не обходятся. А широкая коллекция библиотек помогает при разработке моделей и алгоритмов. Вот самые популярные библиотеки:
4. Графический интерфейс для настольных приложений
Иногда можно обойтись и без полноценного интерфейса, но для большинства проектов сегодня важен GUI. И для них в Python тоже есть множество решений.
При этом доступный синтаксис и модульная структура позволяют создавать быстрые и отзывчивые интерфейсы, делая еще и сам процесс разработки приятным. Среди самых популярных библиотек и фреймоворков — PyQt, Tkinter, Python GTK+, wxWidgets и Kivy.
5. Обработка изображений
Благодаря росту популярности машинного обучения, глубокого обучения и нейронных сетей выросла и роль инструментов для (предварительной) обработки изображений. Python в полной мере удовлетворяет этот спрос.
Среди самых популярных инструментов в Python можно выделить OpenCV, Scikit-Image, Python Imaging Library (PIL). Среди известных приложений, использующих Python — GIMP, Corel PaintShop, Blender и Houdini.
6. Обработка текста
Обработка текста — чуть ли не самый распространенный сценарий использования Python. Она руку идет с NLP (обработкой естественного языка), но не будем погружаться в эту тему сейчас. Обработка текста позволяет обрабатывать большие объемы текста, предоставляя гибкость структуры. Можно запросто сортировать строки, извлекать определенный текст, форматировать абзацы и так далее.
7. Бизнес приложения
Бизнес приложения во многом отличаются от обычного потребительского ПО. Во-первых, они предлагают ограниченный набор функций вместо десяток или даже сотен возможностей. Во-вторых, у них есть конкретная целевая группа (чаще всего ею выступает определенная организация).
Python отлично подходит для разработки таких высоконагруженных приложений.
Еще одной важной составляющей любого приложения является безопасность. И хотя почти все программы создаются с прицелом на безопасность, возможности Python в этом плане очень важны для бизнес-решений. Также Python позволяет писать масштабируемый код.
8. Образовательные и тренировочные программы
Python — отличная точка входа для каждого, кто хочет познакомиться с миром современного программирования. Все благодаря максимально простому синтаксису языка, который очень напоминает английский. Также изучается Python быстрее других языков. Именно поэтому этот язык один из основных кандидатов на то, чтобы быть первым языком программирования.
Есть масса обучающих ресурсов для получения начальных знаний по Python, но среди самых популярных можно выделить Coursera, edX, Udemy, Python Institute и Harvard.
9. Аудио и видео приложения
Эффективность Python позволяет использовать его для аудио и видео приложений. Для этого есть масса инструментов и библиотек. Сигнальная обработка, управление аудио, распознавание звуков — все это доступно с помощью таких библиотек, как Pyo, pyAudioANalysis, Dejavu и других.
Для видео же есть Scikit-video, OpenCV и SciPy. С их помощью можно управлять видеороликами и готовить их к использованию в других приложениях. На Python написаны Spotify, Netflix и YouTube.
10. Парсинг
В интернете просто невероятные объемы информации. И с помощью веб-парсеров данные на сайтах можно собирать, сохраняя их в одном месте. После этого их могут использовать исследователи, аналитики или организации для самых разных задач.
На Python есть такие библиотеки, как PythonRequest, BeautifulSoup, MechanicalSoup, Selenium и другие. Парсеры используются для отслеживания цены, аналитики, анализа в социальных медиа, проектах машинного обучения и в любых других проектах, где есть большие объемы данных.
11. Data Science и визуализация данных
Данные играют ключевую роль в современном мире. Они помогают понимать людей, их вкусы, собирать и анализировать интересные наблюдения. Это все — важная часть Data Science. В этой области требуется определить проблему, собрать данные, обработать их, изучить, проанализировать и визуализировать.
В экосистеме Python есть такие решения, как TensorFlow, PyTorch, Pandas, Scikit-Learn, NumPy, SciPy и многие другие.
Визуализация важна, когда данные нужно преподнести команде или держателям акций. Для этого в Python есть Plotly, Matplotlib, Seaborn, Ggplot, Geoplotlib и другие.
12. Научные и математические приложения
Мы уже определили, что в Python есть библиотеки для научных и математических вычислений, включая AI, ML и Data Science. Но даже если не брать эти сферы, язык пригодится, например, для работы с высокоуровневыми математическими функциями.
Стоит отметить такие инструменты, как Pandas, IPython, SciPy, Numeric Python, Matplotlib и другие. С помощью Python созданы такие приложения, как FreeCAD и Abaqus.
13. Разработка программного обеспечения
Python подходит не только для веб-разработки, научной разработки, создания игр или встраиваемых систем. По большому счету, это универсальное решение для софта любого типа. Все это возможно благодаря тому, что Python обеспечивает высокую скорость исполнения, хорошую совместимость, отличную поддержку со стороны сообщества, а также огромное количество библиотек. С помощью Python были созданы Roundup, Buildbot, SCons, Mercurial, Orbiter и Allura.
Часто разработчики используют Python как вспомогательный язык для управления проектами, контроля сборок и тестирования.
14. Операционные системы
Операционные системы — мозг любого компьютера. На Python, например, работают ОС, построенные на базе Linux. Как минимум, отдельные части таких систем.
В качестве примеров можно вспомнить Ubiquity Installer от Ubuntu, Anaconda Installer от Red Hat Enterprise. Также язык использовался для создания Gentoo Linux и системы управления пакетами Portage в Google Chrome OS. Вообще комбинация Python и C дает огромные преимущества при проектировании и разработке операционных систем.
15. CAD-приложения
CAD (computer aided design) приложения преимущественно используются в автомобильной, аэрокосмической и архитектурной сферах. Они помогают инженерам и дизайнерам проектировать продукты с точностью до миллиметров.
В среде Python из таких приложений есть FreeCAD, Fandango, PythonCAD, Blender и Vintech RCAM. Они предоставляют такие функции, как макрозапись, верстаки, симуляция роботов, скетчинг, поддержка мультиформатного импорта/экспорта, модули технического чертежа и многое другое.
16. Встроенные приложения
Одна из самых впечатляющих возможностей Python — работа на встроенном железе. Это такие устройства, которые предназначены для выполнения ограниченного набора действий. Встроенный софт — это тот, который отвечает за работу таких устройств. Среди самых популярных приложений MicroPython, Zerynth, PyMite и EmbeddedPython.
В качестве примера встроенных устройств можно вспомнить цифровые камеры, смартфоны, Raspberry Pi, промышленные роботы и другие, которые могут работать с помощью Python. Не все знают, но Python может использоваться как слой абстракции там, где на системном уровне работают C или C++.
Другие приложение на Python
Вывод
Python — продвинутый и универсальный язык программирования, который быстро приобретает популярность среди разработчиков в разных отраслях. Его можно применить почти в любой сфере благодаря широкому набору библиотек.
Если вы только знакомитесь с программированием в целом, то этот материал должен был убедить вас выбрать в качестве первого языка Python. Благо, выучить его сегодня легко с помощью обилия книг, курсов, GitHub-репозиториев, популярных инструментов и библиотек.
3 самых важных сферы применения Python: возможности языка
Существует множество областей применения Python, но в некоторых он особенно хорош. Разбираемся, что же можно делать на этом ЯП.
Если вы собираетесь изучать Python или совсем недавно начали его учить, вы точно задумывались, что же можно на нем сделать. Вопрос не простой, так как этот язык используется во многих сферах.
Но можно выделить 3 самых популярных направления применения Python:
Каждое из них заслуживает отдельного рассмотрения.
Веб-разработка
Относительно недавно в веб-разработке стали очень популярны Python-фреймворки, такие как Django и Flask. Они облегчают процесс написания на языке Python кода серверной части приложений. Это тот код, который запускается на сервере, а не на устройствах и браузерах пользователей (frontend-код). Если вы не знакомы с отличиями backend- и frontend-разработки, вам будет интересна заметка в конце статьи.
Зачем нужен веб-фреймворк?
Фреймворки позволяют легко и быстро создать базовую логику бэкенда. Она включает в себя сопоставление разных URL-адресов с частями Python-кода, работу с базами данных, создание HTML-представлений для отображения на устройствах пользователя.
Какой Python-фреймворк выбрать?
Django и Flask – два самых популярных веб-фреймворка, созданных для языка Python. Новичку следует выбрать один из них.
В чем разница между Django и Flask?
Другими словами, Flask – это, возможно, лучший выбор для начинающего разработчика, так как он содержит меньше компонентов. Кроме того, его стоит выбрать, если необходима тонкая настройка проекта.
Flask из-за своей гибкости лучше подходит для создания REST API.
С другой стороны, если стоит задача сделать что-то просто и быстро, вероятно, стоит выбрать Django.
Data Science: машинное обучение, анализ данных и визуализация
Прежде всего, следует разобраться, что такое машинное обучение.
Предположим, что вы хотите разработать программу, которая будет автоматически определять, что изображено на картинке.
Например, предлагая ей это изображение, вы хотите, чтобы программа опознала собаку.
А здесь она должна увидеть стол.
Возможно, вы думаете, что для решения этой задачи можно просто написать код анализа изображения. Например, если на картинке много светло-коричневых пикселей, делаем вывод, что это собака.
Или вы можете научиться определять на изображении края и границы. Тогда картинка с большим количеством прямых границ, вероятно, окажется столом.
Однако это довольно сложный и непродуманный подход. Что делать, если на фотографии изображена белая собака без коричневых пятен? Или если на картинке круглый стол?
Здесь вступает в игру машинное обучение. Обычно оно реализует некоторый алгоритм, который позволяет автоматически обнаруживать знакомый шаблон среди входных данных.
Вы можете предложить алгоритму машинного обучения, скажем, 1000 изображений собаки и 1000 снимков столов. Он выучит разницу между этими объектами. Затем, когда вы дадите ему новую картинку со столом или собакой, он сможет определить, что именно на ней изображено.
Это очень похоже на то, как учатся маленькие дети. Каким именно образом они узнают, что одна вещь похожа на стол, а другая – на собаку? Из большого количества примеров.
Вы ведь не даете ребенку четкую инструкцию: «Если нечто пушистое и светло-каштановое, значит, это собака». Напротив, вы говорите: «Это собака. Это тоже собака. И это. А это стол. И это тоже стол».
Алгоритмы машинного обучения в основном работают сходным образом.
Эта технология может применяться:
Среди самых популярных алгоритмов машинного обучения, о которых вы, вероятно, слышали:
Любой из вышеперечисленных алгоритмов может быть использован для решения задачи с собаками и столами на изображениях.
Способы применения Python для машинного обучения
Существуют разные библиотеки и фреймворки для машинного обучения на Python. Две самые популярные – это scikit-learn и TensorFlow.
Новичкам в машинном обучении лучше начать со scikit-learn. Более опытным разработчикам, которые столкнулись с проблемами эффективности, стоит присмотреться к TensorFlow.
Как изучать машинное обучение?
Для ознакомления с основами предмета прекрасно подойдут курсы Стэнфорда или Калтеха (Калифорнийский технический институт). Следует отметить, что для понимания материала требуются базовые знания в области математического анализа и линейной алгебры.
Затем можно переходить к практике на платформе Kaggle. Это сайт, на котором исследователи в области data science создают различные алгоритмы машинного обучения для решения реальных проблем. Победители получают солидные денежные призы. У них также есть отличные учебники для начинающих.
Анализ и визуализация данных
Чтобы понять, о чем идет речь, следует обратиться к простому примеру.
Предположим, вы работаете аналитиком данных в компании, которая продает товары через Интернет. Вы можете получить такую гистограмму:
Из этого графика можно понять, что в это воскресенье мужчины купили более 400 единиц продукта, а женщины – около 350. Ваша задача, как аналитика, придумать несколько возможных объяснений такой разницы.
Один из очевидных вариантов заключается в том, что этот продукт больше популярен у мужчин, чем у женщин. Другое объяснение может быть связано со слишком маленьким размером выборки, который привел к недостоверным результатам. Третий вариант – мужчины по какой-либо причине склонны покупать продукт по воскресеньям.
Чтобы разобраться, в чем дело, вы можете просмотреть данные за всю неделю и составить новый график.
Из схемы видно, что различие довольно устойчиво и проявляется не только по воскресеньям.
Можно сделать вывод, что наиболее убедительным объяснением является принципиально большая заинтересованность мужчин в этом продукте.
С другой стороны, график за неделю может выглядеть вот так.
Как здесь объяснить большую разницу в продажах в воскресенье?
Вы можете предположить, что мужчины в конце недели почему-то склонны покупать больше. Или это может оказаться простым совпадением.
Это упрощенный пример того, как выглядит реальный анализ данных.
Настоящие аналитики, например, в Google или Microsoft, делают то же самое, только их работа более сложная и комплексная.
Они используют язык запросов SQL, чтобы извлекать данные из баз. Затем для анализа и визуализации применяются специальные инструменты, например, Mathplotlib (для Python) или D3.js (для JavaScript).
Способы применения Python для анализа и визуализации данных
Одна из самых популярных библиотек для визуализации – Mathplotlib.
Новичкам следует начинать обучение с нее по двум причинам:
Как изучать анализ данных на Python?
Сначала следует изучить основы. Вот хорошее видео, посвященное данной теме:
Закрепить знания поможет курс по визуализации данных на Pluralsight. Получить его бесплатно можно, подписавшись на 10-дневную пробную версию.
Чтобы разобраться в основах статистики, пройдите курсы на Coursera и Khan Academy.
Автоматизация процессов
Одна из самых популярных сфер применения Python – это написание небольших скриптов для автоматизации различных рабочих операций и процессов.
В качестве примера можно привести систему обработки электронной почты. Для сбора статистики и анализа данных требуется подсчитывать количество входящих писем, содержащих определенные ключевые слова. Это можно делать вручную, или же написать простой скрипт, который все посчитает сам.
Есть несколько причин применения Python для задач автоматизации:
Встроенные приложения
Python является самым популярным языком программирования для Raspberry Pi.
Python и игры
Несмотря на то, что существует библиотека PyGame, популярность применения Python для создания игр невелика. Для серьезных проектов он не подходит.
Чтобы создавать хорошие мультиплатформенные игры, стоит присмотреться к одному из самых популярных движков Unity, работающем с языком C#.
Десктопные приложения
Вы можете создать парочку, используя Tkinter, но это не самое популярное решение.
Для этой задачи лучше использовать такие языки, как Java, C# и C++.
С недавних пор некоторые компании начали использовать для создания настольных приложений JavaScript. Например, десктопное приложение Slack было создано с помощью JavaScript-фреймворка Electron.
Преимущество написания настольных приложений на JavaScript заключается в том, что можно повторно использовать код веб-версии.
Python 3 или Python 2
Python 3 – это более современный и популярный выбор.
Пояснение о backend- и frontend-коде
Предположим, вы хотите сделать нечто, напоминающее Инстаграм.
Вам необходимо создать frontend-код для каждого типа устройств, который должен поддерживаться. Для этого могут использоваться разные языки программирования, например:
На каждом типе устройства будет запускаться свой набор кода. Он определит формат приложения, его внешний вид и т.д.
Однако вам требуется хранить личные данные и фотографии. Вы хотите использовать для этого свой сервер, а не устройства пользователей, чтобы подписчики могли просматривать фотографии друг друга.
Для решения этой задачи потребуется backend-код (server-side). Он будет выполнять следующие операции:
