Materiały do nauki programu R

Na przełaj przez Data Mining z pakietem R

Zbiór przykładów użycia wybranych funkcji statystycznych
i Data Mining dostępnych w programie R.

[Opis projektu i licencji poniżej!!!]

Wersja skompilowana
[pdf 10.1MB] >>>
Zródła książki
[zip 3MB] >>>

Sugerowane cytowanie

Przemysław Biecek, Krzysztof Trajkowski (2011). 
Na przełaj przez Data Mining,
URL http://www.biecek.pl/NaPrzelajPrzezDataMining.

BibTeX:

@Manual{,
   title = {Na przełaj przez Data Mining},
   author = {Przemysław Biecek, Krzysztof Trajkowski},
   year = {2011},
   url = {http://www.biecek.pl/NaPrzelajPrzezDataMining},
}

Spis tresci:

1 Kilka słów zamiast wstępu
2 Redukcja wymiaru
- 2.1 Analiza składowych góównych (PCA, ang. Principal Components Analysis)
- 2.2 Nieliniowe skalowanie wielowymiarowe (Sammon Mapping)
- 2.3 Skalowanie wielowymiarowe Kruskalla (MDS, ang. Multidimensional Scaling)
3 Analiza skupień
- 3.1 Metoda k-średnich
- 3.2 Metoda grupowania wokół centroidów (PAM, ang. Partitioning Around Medoids)
- 3.3 Metoda aglomeracyjnego klastrowania hierarchicznego
- 3.4 Ile skupień wybrać?
- 3.5 Inne metody analizy skupień
- 3.6 Case study
4 Analiza dyskryminacji
- 4.1 Dyskryminacja liniowa i kwadratowa
- 4.2 Metoda najbliższych sąsiadów
- 4.3 Naiwny klasyfikator Bayesowski
- 4.4 Drzewa decyzyjne
- 4.5 Lasy losowe
- 4.6 Inne klasyfikatory
5 Analiza kanoniczna
- 5.1 Problem
- 5.2 Rozwiązanie
- 5.3 Założenia
- 5.4 Jak to zrobić w R
- 5.5 Przykładowe wyniki
- 5.6 Studium przypadku
6 Analiza korespondencji (odpowiedniości)
- 6.1 Problem
- 6.2 Rozwiązanie
- 6.3 Jak to zrobić w R?
- 6.4 Studium przypadku
7 Przykład analizy szeregów czasowych
- 7.1 Wprowadzenie
- 7.2 Identyfikacja trendu i sezonowości
- 7.2.1 Analiza wariancji - ANOVA
- 7.2.2 Funkcja autokorelacji - ACF
- 7.3 Modele autoregresyjne ARIMA
- 7.3.1 Estymacja
- 7.3.2 Weryfikacja
- 7.3.3 Prognozowanie
- 7.4 Modele adaptacyjne
- 7.4.1 Estymacja
- 7.4.2 Prognozowanie
8 Przykład analizy tabel wielodzielczych
- 8.1 Wprowadzenie
- 8.2 Test chi-kwadrat
- 8.3 Model logitowy
- 8.4 Model Poissona
9 Przykład badania rozkładu stopy zwrotu z akcji
- 9.1 Wprowadzenie
- 9.2 Statystyki opisowe
- 9.3 Rozkład normalny
- 9.4 Rozkład Cauchy'ego
- 9.5 Rozkład Laplace'a
- 9.6 Rozkład Stabilny
10 Przykład budowy dynamicznego modelu liniowego
- 10.1 Wprowadzenie
- 10.2 Badanie wewnętrznej struktury procesu
- 10.2.1 Trend
- 10.2.2 Sezonowość
- 10.2.3 Stopień autoregresji - funkcja PACF
- 10.2.4 Stopień integracji - test ADF/PP
- 10.3 Weryfikacja modelu
- 10.3.1 Estymacja dynamicznego modelu liniowego
- 10.3.2 Ocena jakości modelu
- 10.4 Diagnostyka modelu
- 10.4.1 Normalność procesu resztowego
- 10.4.2 Autokorelacja procesu resztowego
- 10.4.3 Heteroskedastyczność procesu resztowego
- 10.4.4 Stabilność parametrów modelu
- 10.4.5 Postać analityczna modelu
11 Przegląd wybranych testów statystycznych
- 11.1 Testy normalności
- 11.2 Testy asymptotyczne
- 11.3 Testy dla proporcji
12 Przykład analizy liczby przestępstw w Polsce w 2009 r.
- 12.1 Wprowadzenie
- 12.2 Mapy
- 12.3 Analiza wariancji
- 12.4 Modele dla liczebności
- 12.5 Modele dla częstości
13 Modele regresji
- 13.1 Wprowadzenie
- 13.2 Estymacja modelu liniowego
  - 13.2.1 Metoda najmniejszych kwadratów
  - 13.2.2 Poprawność specyfikacji modelu
  - 13.2.3 Normalność
  - 13.2.4 Heteroskedastyczność
  - 13.2.5 Obserwacje odstające
  - 13.2.6 Metoda najmniejszych wartości bezwzględnych
- 13.3 Estymacja modelu nieliniowego
  - 13.3.1 Model kwadratowy
  - 13.3.2 Model wykładniczy
  - 13.3.3 Model hiperboliczny
14 Zbiory danych
- 14.1 Zbiór danych GUSowskich
Bibliografia

Program R jest najszybciej rozwijającym się oprogramowaniem do analizy danych. Zaimplementowano setki procedur statystycznych, algorytmów z dziedziny data mining czy machine learning.
W sieci dostępna jest całkiem przyzwoita choć rozproszona dokumentacja w jerzyku angielskim.

Planowałem przygotowanie serii opisów rożnych ciekawych algorytmów analizy danych, wraz z przykładami ich użycia w pakiecie R. Dla każdej metody planowałem dodać krotki szkielet teoretyczny wraz z przykładem użycia i dyskusja wyników. Niestety z uwagi na rożne inne obowiązki brakuje mi czasu by poważniej się w to zaangażować.

Pojawił się wiec inny pomysł.

Na tej stronie udostępniam tak wersje pdf jak i źródła aktualnej wersji książki. Książka pisana/składana jest w LaTeXu. W załączonych źródłach znajdują się wszystkie niezbędne pliki, niezbędne by samodzielnie skompilować aktualna wersje książki.

Z tych źródeł można korzystać do dowolnych niekomercyjnych celów. Z zastrzeżeniem, ze w przypadku wykorzystania jakiegokolwiek fragmentu należny załączyć odnośnik do tej strony i odpowiednia informacje.
W przypadku zastosowań komercyjnych proszę o kontakt.

Zapraszam każda zainteresowana osobę do pomocy w uzupełnianiu książki.

Każdy chętny może napisać rozdział, opatrzyć go imieniem i nazwiskiem, wysłać na adres przemyslaw.biecek tutaj małpka gmail.com. Ja zamieszczę uaktualniona wersje na tej stronie. Kolejne rozdziały mogą powstawać w dowolnej formie, mogą opisywać dowolne funkcje statystyczne czy data miningowe zaimplementowane w pakiecie R. Mogą dotyczyć nowych algorytmów lub inaczej opisywać procedury z poprzednich rozdziałów. Oczywiście zakładam ze opracowany rozdział został przygotowany przez osobę zgłaszająca, która będzie miała pełnie praw autorskich do tego rozdziału i będzie odpowiadała za zawartość rozdziału.

Interesującym dodatkiem do powyższej pozycji są

,,Przeglad pakietów do optymalizacji liniowej''
Krzysztof Trajkowski [pdf 170kB] >>>
,,Przeglad pakietów do optymalizacji nieliniowej''
Krzysztof Trajkowski [pdf 650kB] >>>
,,Przeglad pakietów do analizy zmiennych niezależnych''
Krzysztof Trajkowski [pdf 450kB] >>>
,,Analiza i wizualizacja danych naukowych''
Krzysztof Trajkowski [pdf 300kB] >>>

Na przełaj przez Data Mining z pakietem R

Zbiór przykładów użycia wybranych funkcji statystycznych i Data Mining dostępnych w programie R.

Zbiór przykładów użycia wybranych funkcji statystycznych
i Data Mining dostępnych w programie R.