Czym jest web scraping? To proces pozyskiwania danych z Internetu. Dane są przenoszone do pliku lokalnego lub wrzucane do bazy danych. Proces kopiowania danych możesz być czasochłonny. Jak w takim razie zautomatyzować proces pobierania danych? Posłuchaj 8. odcinku podcastu, w którym opowiadam o istotnych aspektach oraz przykładowych bibliotekach w Pythonie.

Już niedługo startuje Szkoła Big Data (www.szkolabigdata.pl), zapisz się na listę zainteresowanych. 

Linki do dokumentacji: 1. Requests (dokumentacja: https://requests.readthedocs.io/en/master/), 2. BeautifulSoup (https://www.crummy.com/software/BeautifulSoup/bs4/doc/), 3. Scrapy (https://docs.scrapy.org/en/latest/intro/tutorial.html)

#Python #automatyzacja #webscraping #beautifulsoup #scrapy #dane #bigdata #ilovedata

Jak w praktyce są wykorzystane ML, AI i Data Science w czasach walki z COVID-19? Posłuchaj odcinka i poznaj 6 praktycznych przykładów.

Dodatkowe linki:

https://zindi.africa/

https://pages.semanticscholar.org/coronavirus-research

https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge

W tym odcinku opowiadam o 4 krokach, które pomogą w opracowaniu aktywności Twojej firmy w obszarze marketingu, szczególnie w warunkach,  z którymi musimy zmierzyć się w związku z epidemią koronawirusa. Zachęcam do oceny oraz obserwowania kanału. Odwiedź również www.ilovedata.pl i dołącz do społeczności!

#marketing #bigdata #data #ilovedata

Zastanawiasz się czy praca w technologiach Big Data jest dla Ciebie? Obecne stanowisko nie daje Tobie satysfakcji i szukasz inspiracji do zmiany specjalizacji? A może po prostu chcesz wiedzieć więcej o co w tym wszystkim chodzi? Posłuchaj odcinka, w którym opowiem dlaczego warto zainteresować się pracą z technologiami Big Data.

Zachęcam do oceny oraz obserwowania kanału. Odwiedź również www.ilovedata.pl i dołącz do społeczności!

Niezależnie od dystrybucji Hadoop - Cloudera czy Hortonworks, do uruchomienia klastra Big Data jest wymagany pewien zestaw usług. W ramach odcinka omawiam takie usługi, bez których uruchomienie klastra nie jest możliwe: HDFS, YARN, Apache Zookeeper oraz Apache Hive Metastore.

Jeżeli chcesz dowiedzieć się więcej o tych usługach lub są to dla Ciebie nowe zagadnienia zachęcam do wysłuchania odcinka i obserwowania kanału. #ilovedata #bigdata #hdfs #yarn #hadoop #zookeeper 

Zachęcam również do zapisania się na liście mailingowej na ilovedata.pl

W ramach odcinka opowiadam o tym, co należy wziąć pod uwagę podczas realizacji projektu data science. Czy wiesz, że do roku 2020(według Gartnera) tylko 20% projektów analitycznych zakończy się sukcesem.

Link do artykułu, o którym wspominam w odcinku: https://hackernoon.com/the-ai-hierarchy-of-needs-18f111fcc007

Zachęcam do subskrybowania kanału oraz dołączenia do listy mailingowej na www.ilovedata.pl