Strona korzysta z plików cookies w celu realizacji usług i zgodnie z Polityką Plików Cookies.



20.07.2020

Baramundi

Pomoc w czasie pandemii.
20.07.2020

Stop infekcjom

CloudGuard
17.07.2020

Analiza zagrożeń

Kaspersky Threat Attribution Engine
17.07.2020

Strażnik danych

QGD-1602P
16.07.2020

Dysk przemysłowy

Transcend MTE352T
16.07.2020

Połączenie sił

Fugaku
16.07.2020

Brama bezpieczeństwa

Check Point 1570R
23.06.2020

PLNOG Online

PLNOG Online
23.06.2020

Nowe zagrożenie

Ramsay

Metody wzbogacania modeli za pomocą usług Azure

Data publikacji: 21-01-2020 Autor: Marcin Szeliga
W poprzednim artykule opisane zostały trzy wizualizacje Power BI wykorzystujące sztuczną inteligencję do automatycznej analizy danych. W tej części przyjrzymy się metodom wzbogacania modeli przy użyciu usług poznawczych Azure.
 
Usługi poznawcze Azure to zestaw przygotowanych przez firmę Microsoft modeli uczenia maszynowego dostępnych poprzez interfejs REST API. Programiści mogą korzystać z nich, dodając do aplikacji umiejętności: analizowania obrazów i filmów, komunikowania się z użytkownikiem przy użyciu języka naturalnego, oraz inteligentnego przeszukiwania danych w różnych formatach (w tym grafiki i dźwięku). Co ważne, skorzystanie z usług poznawczych nie wymaga wiedzy z zakresu uczenia maszynowego.
Dzięki wbudowanym mechanizmom Power BI upraszcza korzystanie zarówno z wybranych usług poznawczych, jak i modeli samodzielnie utworzonych na platformie Azure Machine Learning Service. Ponadto z obu tych usług można korzystać, używając zintegrowanego z Power BI języka Power Query. 
Użyte w artykule dane pochodzą z portalu Data For Everyone (figure-eight.com/data-for-everyone). Dostępny pod tym adresem zbiór „Twitter sentiment analysis: Self-driving cars” został użyty we wszystkich przykładach analizy tekstu.
 
> PRZEKSZTAŁCENIA AI
 
Przekształcenia AI początkowo były obecne tylko w przepływach danych (Dataflows) – dostępnej dla subskrybentów Premium funkcji online, która pozwala przekształcać i przechowywać w chmurze dane. W listopadzie 2019 roku przekształcenia AI zostały dodane do programu Power BI Desk­top. Ponieważ w czasie powstawania artykułu funkcja ta dostępna była w wersji zapoznawczej, przed użyciem należało ją włączyć, wybierając File | Opcje i ustawienia | Opcje | Funkcje w wersji zapoznawczej i zaznaczając pole wyboru przy funkcji Przeglądarka funkcji AI Insight. Ta zmiana wymaga ponownego uruchomienia programu.
Przekształcenia AI zostały podzielone na trzy kategorie:
 
  • analiza tekstu obejmująca analizę sentymentu, wyodrębnianie kluczowych fraz i rozpoznawanie języka,
  • przetwarzanie obrazów – w czasie powstawania artykułu jedyną dostępną funkcją inteligentnej analizy obrazów było opisywanie ich zawartości,
  • Azure Machine Learning – funkcja pozwalająca wysyłać z poziomu Power BI zapytania predykcyjne do wcześniej utworzonego modelu uczenia maszynowego.
 
Przekształcenia AI wykonywane są na platformie Power BI, a korzystanie z nich nie wymaga subskrypcji Azure, ale wymaga konta Premium na platformie Power BI z włączoną funkcją AI (opis integracji usługi Power BI z uczeniem maszynowym można znaleźć na blogu Microsoft Power BI: powerbi.microsoft.com pod adresem tinyurl.com/PowerBI-ML).
 
> ANALIZA TONACJI (SENTYMENTU)
 
Analiza sentymentu ma na celu określenie nacechowania emocjonalnego tekstu i sklasyfikowanie jego wydźwięku na skali pozytywna – neutralna – negatywna. Tego typu analizę powszechnie stosuje się do automatycznej klasyfikacji opinii użytkowników na dany temat, my przeprowadzimy ją dla zbioru tweetów dotyczących autonomicznych pojazdów.
Po pobraniu dostępnego na portalu Data For Everyone pliku Twitter-sentiment-self-drive-DFE.csv należy zaimportować go do modelu Power BI Desktop. W celu przygotowania danych do analizy:
 
  • klikamy przycisk Pobierz dane, jako typ wskazujemy Plik tekst­owy lub CSV i wybieramy Połącz,
  • otwieramy pobrany plik Twitter-sentiment-self-drive-DFE.csv – wyświetlony zostanie podgląd jego zawartości,
  • klikamy przycisk Przekształć dane – tworzone zapytanie zostanie wyświetlone w edytorze Power Query,
  • zaznaczamy kolumny sentyment i text, a następnie klikamy prawym przyciskiem myszy nagłówek jednej z zaznaczonych kolumn i wybieramy opcję Usuń inne kolumny – w ten sposób ograniczamy ładowane do modelu zmienne do dwóch wskazanych (zmienna text będzie nam potrzebna do przeprowadzenia analizy sentymentu, a zmienna score do oceny wyników),
  • po rozwinięciu nagłówka kolumny score w dolnej części wyświetlonego okna dialogowego znajdować się będzie lista występujących w tej kolumnie wartości – po odznaczeniu wartości not relevant i kliknięciu OK usuniemy tweety, które nie dotyczą autonomicznych pojazdów,
  • zmieniamy nazwę kolumny sentyment na label, a kolumny text na comments.
 
Żeby zmniejszyć liczbę wysyłanych zapytań predykcyjnych w celu skrócenia czasu wykonania ćwiczenia, można wybrać pięćset wierszy tabeli. 
Wycinek wyczyszczonych danych został pokazany na rys. 1. Żeby ocenić sentyment tekstów:
 
  • zaznaczamy kolumnę comments i klikamy przycisk Analiza tekstu,
  • w przypadku gdy użytkownik nie był zalogowany w usłudze Power BI, zostanie wyświetlone okno logowania,
  • zalogowany użytkownik zostanie poproszony o połączenie z usługą Power BI Premium, dla której włączone zostały funkcje AI, po połączeniu z usługą wyświetlona zostanie lista dostępnych funkcji automatycznej analizy tekstu,
  • zaznaczamy funkcję Score sentiments, wskazujemy kolumnę comments jako pierwszy parametr jej wywołania, drugi, opcjonalny parametr Language ISO code pozostawiamy pusty (niewskazanie języka spowoduje, że Power BI automatycznie wykryje język poszczególnych komentarzy, rys. 2),
  • po kliknięciu OK funkcja zostanie wywołana, w rezultacie czego do wyniku zapytania dodana zostanie nowa kolumna z oceną sentymentu,
  • zmiana nazwy nowo dodanej kolumny na sentyment i upewnienie się, że jest ona typu Liczba dziesiętna, kończy analizę sentymentu. Można zamknąć okno edytora Power Query i załadować wzbogacone dane do modelu.
 
W tym momencie uzupełnione o ocenę sentymentu komentarze są gotowe do analizy. W najprostszym wypadku możemy po prostu wyświetlić dane w tabeli. Można też wyszukać pozytywne lub negatywne wpisy. Warto również sprawdzić rozkład zmiennych, co pozwoli lepiej zrozumieć dane.
Dzięki temu że przykładowe dane były już opisane, możemy też porównać uzyskane wyniki z oryginalnymi etykietami. Ponieważ nastawienie komentarzy oryginalnie zostało ocenione na skali od 1 do 5, a nasza funkcja zwraca ocenę sentymentu jako liczbę z przedziału od 0 do 1, najprościej będzie policzyć średnie oceny dla każdej z oryginalnych kategorii. Dodatkowo sprawdzimy odchylenie standardowe ocen oraz liczbę zaklasyfikowanych do każdej kategorii komentarzy (rys. 3).
 
> WYODRĘBNIANIE KLUCZOWYCH FRAZ
 
Użycie pozostałych przekształceń AI jest równie łatwe. Za każdym razem wystarczy wywołać odpowiednią funkcję i wskazać jej kolumnę z parametrami. Na przykład żeby wyodrębnić z komentarzy frazy kluczowe, wystarczy:
 
  • wyświetlić edytor zapytań Power Query,
  • wybrać zapytanie, do którego chcemy dodać przekształcenie AI,
  • zaznaczyć kolumnę zawierającą przekształcane dane, w naszym wypadku kolumnę comments, i wywołać dla niej analizę tekstu,
  • wybrać funkcję Extract key phrases i kliknąć OK.
 
Wyniki tego przekształcenia pokazane zostały w dalszej części artykułu, w której te same przekształcenia zostały wykonane przy użyciu własnych funkcji języka Power Query wywołujących odpowiednie usługi poznawcze.
 
[...]
 
Pracownik naukowy Wyższej Szkoły Bankowej w Poznaniu Wydział Zamiejscowy w Chorzowie; jest autorem książek poświęconych analizie danych i posiada tytuł Microsoft Most Valuable Professional. 

Pełna treść artykułu jest dostępna w papierowym wydaniu pisma.

.

Transmisje online zapewnia: StreamOnline

All rights reserved © 2019 Presscom / Miesięcznik "IT Professional"