Z jakich źródeł możemy pozyskać dane do bazy?

Bazy danych tworzy się, aby pomóc ich użytkownikom w gromadzeniu i przetwarzaniu informacji. W jaki sposób dane są wprowadzane do bazy danych? Właściciel sklepu internetowego wprowadza do bazy dane o produktach, natomiast klienci – rejestrując się przez stronę internetową sklepu – przekazują swoje dane niezbędne do zawarcia transakcji oraz dostarczenia zakupionych artykułów pod wskazany adres.

Dane możemy gromadzić również za pośrednictwem różnego rodzaju systemów pomiarowych. Np. stacja meteorologiczna jest wyposażona w odpowiednie oprogramowanie umożliwiające zapisywanie zarejestrowanych parametrów pogodowych o ustalonych godzinach.

Innym sposobem jest pozyskiwanie danych z już istniejących zbiorów danych, wśród których możemy wyróżnić tzw. otwarte daneotwarte daneotwarte dane. Dane takie udostępniają niektóre instytucje publiczne lub niezależne instytucje pozarządowe, np. Bank Światowy, Światowa Organizacja Zdrowia, UNICEF, a w Polsce m.in. Główny Urząd Statystyczny, rządowy serwis dane.gov.pl czy Otwarte Dane Miasta Wrocław.

Import danych z plików tekstowych

Często wykorzystywanym źródłem służącym do zasilenia bazy danych są pliki tekstowe. Mogą nimi być zarówno tradycyjne pliki tekstowe z rozszerzeniem .txt, jak i inne, wśród których na uwagę zasługują pliki w formacie CSVCSVCSV.

Pliki te charakteryzują się określoną strukturą:

  • poszczególne wiersze danych, zwane rekordamirekordrekordami, są oddzielone od siebie znakiem końca liniiznak końca liniiznakiem końca linii,

  • wartości pólpole rekordupól w obrębie pojedynczego rekordu są zazwyczaj rozdzielone przecinkiem (zgodnie z nazwą formatu), rzadziej w roli separatora pól występuje średnik lub tabulator,

  • pierwszy wiersz może zawierać tzw. atrybutyatrybutatrybuty, czyli nazwy pól rekordów.

Oto zawartość pliku CSV pobranego z portalu Otwarte Dane Wrocław:

R1JY76geTq9CS
Źródło: Contentplus.pl sp. z o.o., licencja: CC BY-SA 3.0.

Dane te stanowią fragment bieżącego odczytu z urządzeń rejestrujących zapełnienie parkingów w określonych lokalizacjach. Pierwszy wiersz zawiera nazwy pól rekordów.

Wykorzystując przedstawione dane, można zaprojektować np. użyteczną aplikację dla kierowców poszukujących wolnych miejsc parkingowych w popularnych lokalizacjach we Wrocławiu.

Zanim jednak dane będą mogły być przetwarzane, powinny zostać zaimportowane do systemu zarządzania bazą danych. Film prezentuje, w jaki sposób można przeprowadzić operację pobierania danych zewnętrznych zapisanych w pliku CSV w programie Microsoft Access:

RcShF665vMd8k
Film nawiązujący do treści materiału: Import danych z pliku CSV w programie Microsoft Access.

Zwróć uwagę na typy źródeł, z których można importować dane do bazy Microsoft Access. Mogą to być dane pochodzące z plików Excel, HTML, XML lub tekstowych:

RdEYiwNxmixxu
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Dane mogą pochodzić również z plików bazy danych Access, SQL Server, platformy Azure lub dBase:

R2sGVCNHNzqHC
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Jest także możliwość pozyskania danych z usług online, takich jak lista programu SharePoint, lub z tzw. usług danych:

RYkG970L6EuiB
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Pozostałe opcje w Microsoft Access to tzw. inne źródła, czyli baza danych ODBC oraz folder programu Outlook:

R1NUo9hJdjMW8
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Import danych z pliku CSV jest również możliwy w programie LibreOffice Base:

R1EcanRXeNZFm1
Film nawiązujący do treści materiału: Import danych z pliku CSV w programie LibreOffice Base.

Zwróć uwagę na typy źródeł, z których można importować dane do bazy LibreOffice Base:

RoNffrR2BIbY1
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Pobrane przedstawionym sposobem dane zewnętrzne w programie Microsoft Access są gotowe do edycji i wykonywania na nich operacji. Natomiast jeśli chodzi o przykład w LibreOffice Base, to zaimportowane dane będą dostępne wyłącznie do odczytu, a żeby można było je również edytować, wystarczy zastosować przejście z programem Calc, tak jak na załączonym filmie:

R1E8OCJfAsmSO1
Film nawiązujący do treści materiału: Import danych z pliku CSV w LibreOffice Base oraz Calc.

Podczas importu danych są tworzone tzw. klucze, czyli posiadające unikalną wartość w obrębie danej kolumny pola, dzięki którym każdy rekord zostanie jednoznacznie zidentyfikowany. Taki klucz jest wybierany spośród istniejących pól lub jest tworzone nowe pole, np. o nazwie „ID” (sposób oznaczenia klucza w widoku projektu tabeli w LibreOffice Base):

R1TFTAx1QFtEj
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

W programie Microsoft Access klucz podstawowy jest oznaczony następująco:

RCvXEWHcz7Scr
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Sortowanie danych w bazie

Kiedy dane zostaną zaimportowane, jedną z podstawowych operacji, jaką możemy na nich wykonać, jest sortowanie.

Przykład prezentuje efekt posortowania malejąco danych w kolumnie Liczba_Wolnych_Miejsc, dzięki czemu możemy w łatwy sposób uzyskać informację, który parking oferuje (lub oferował) największą liczbę wolnych miejsc o określonej godzinie:

R1NcqM5kZDiUh
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

A oto efekt analogicznego sortowania w programie LibreOffice base:

R2Y8CcWC892CT
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Filtrowanie danych w bazie

Oprócz sortowania przydatną funkcją ułatwiającą wstępną selekcję danych jest filtrowanie.

Przykład prezentuje efekt zastosowania filtru w kolumnie Liczba_Wolnych_Miejsc, dzięki któremu możemy w łatwy sposób uzyskać informację na temat parkingów oferujących więcej niż 50 wolnych miejsc:

RlmMGlhc8IK6o
Źródło: Contentplus.pl Sp. z o.o., licencja: CC BY-SA 3.0.

Sortowanie i filtrowanie to funkcje znane ci zapewne z arkusza kalkulacyjnego. Bardziej zaawansowane operacje bazodanowe poznasz przy okazji realizacji tematów dotyczących tzw. kwerend.

Słownik

atrybut
atrybut

jednostkowa cecha opisująca encję bazy danych (inaczej: kolumna tabeli)

CSV
CSV

plik tekstowy, w którym dane są rozdzielone określonym separatorem (najczęściej przecinkiem)

otwarte dane
otwarte dane

dane udostępniane publicznie, m.in. przez instytucje, urzędy, z których mogą korzystać zainteresowani obywatele, realizując działalność gospodarczą, badania itp.

pole rekordu
pole rekordu

pojedyncza wartość określonego typu dotycząca danego atrybutu tabeli bazy danych

rekord
rekord

pojedynczy, konkretny obiekt w tabeli bazy danych opisany za pomocą wartości reprezentujących wszystkie atrybuty tabeli

znak końca linii
znak końca linii

połączenie dwóch znaków o wartościach ASCII równych 13 i 10, oznaczające koniec bieżącej linii tekstu