posts

Kolejna reinstalacja, tym razem kamal + obrazy docker

Kolejna reinstalacja, nowe założenia:

Próba zebrania całej dotychczasowej wiedzy na temat devops-u

Premiera 14 wersji PostgreSQL to dobry pretekst żeby zacząć pracować z tą bazą danych.

FastAPI spełnia bardzo dobrze moje backend-owe potrzeby, ale budowanie warstwy wizualnej opartej o Jinja jest trochę problematyczne i wprowadza bałagan. Stąd pomysł na opanowanie podstaw frontend, podobno najporściej zrobić to z Vue.js.

Mam działający serwis z możliwością używania danych konfiguracyjnych, pora na zaproszenie na niego użytkowników

Jak pisałem wcześniej, sporo tutoriali dla FastAPI kończy się na kodzie hello world. Jeżeli myślimy o poważnym serwisie to trzeba przygotować sobie pod niego teren.

W I części zbudowałem mikro-serwis działający lokalnie. Teraz pora przenieś go do internetu.

W poszukiwaniu idealnego frameworka webowego.

Przed weekendem wymyśliłem że będę monitorował korki na trasie autobusów miejskich. Zabrałem się za poszukiwania informacji i po godzinie przepadłem na nowym pomyśle: System zliczania pasażerów.

Dalekie dojazdy do pracy (która odbywa się w godzinach 9-17) spowodowały że zacząłem zastanawiać się jak zoptymalizwać powroty do domu. Problem: wrócić z Gliwic do Mysłowic w jak najkrótszym czasie. Rozwiązanie: Monitorowanie opóźnień miejskich autobusów żeby wyznaczyć optymalne okno czasowe na powrót do domu.

Krótka teoria wprowadzająca do OpenCV oraz rozwiązania prostych projektów (opis + Jupyter notebooki).

Praca na Linuksie pozwoliła mi w końcu skorzystać z zalet konteneryzacji. na razie wykorzystuje go wyłącznie do uruchamiania Jupyter Lab w odseparowanym środowisku korzystając z oficjalnego obrazu jupyter/scipy-notebook.

Zbiór informacji o tym co każdy młody adept ML i DataScience wiedzieć powinien. Temat jest rozległy i nie mam jeszcze pomysłu jak to dobrze ustrukturyzować, ale będę próbował.

Sztandarowa biblioteka do Computer Vision. Poznałem Pythona (i kupiłem OpenCV AI Kit :D ) na tyle, że pora zacząć wykorzystywać go do czegoś bardziej interesującego. Chciałbym żeby ten post był spisem zagadnień i zapisem postępów nauki.

REST API - krótki przewodnik po najważniejszych informacjach.

JSON w skrócie: lekki, tekstowy format wymiany danych (w odróżnieniu od XML). Pomimo swojej nazwy, JSON jest formatem niezależnym od konkretnego języka programowania. Kodowany za pomocą UTF-8, który jest dla JSON domyślnym systemem kodowania. Ma podobną postać do zapisu słownika Python.

Matplotlib, Seaborn, Bokeh, Plotly - w Pythonie jest w czym wybierać jeżeli chodzi o biblioteki do wizualizacji.

Wprowadzenie do Machine learning wyglada na razie słabo, może z NLP (Natural Language Processing) bedzie lepiej :)

Machine learning podział i informacje ogólne.

Wprawadzenie do wyrażen regularnych zacznę od złotej mysli :)

Some people, when confronted with a problem, think: “I know, I’ll use regular expressions.” Now they have two problems.

There are four basic principles of OOP. They are encapsulation, abstraction, inheritance, and polymorphism.

Bazy danych

Opisane na podstawie książki: “Head first, Statystyka”.

Opisałem drogę w wyniku której zacząłem używać scrapy, dzisiaj chciałym pokazać jak skonfigurowałem to narzędzie żeby móc pobierać dane z otomoto.

Jestem na etapie sprzedaży używanego samochodu, uznałem że będzie to dobry pretekst do tego żeby lepiej poznać Pythona w zastosowaniach pobierania danych ze stron WWW, analizy danych i wizualizacji.

Testy w Python

Najciekawsze rzeczy, które pomagają mi w pracy z bibliotekami Numpy i Pandas.

Najważniejsze (podstawowe) informacje pomocne przy pracy z systemem Linux.

Serwer VPS z skonfigurowanym JupyterLab to doskonałe środowisko do pracy i rozwiajania swoich projektów. Ciężko się jednak nimi pochawalić, dlatego postanowiałem rozszerzyć konfigurację o serwer NGINX i Flask, tak żeby mieć włąsną stronę internetową.

Serwer VPS kosztuje tyle co droższe kraftowe piwo. Kupiłem I nie żałuje. Za kilka złotych ciężko oczekiwać wydajność rozwiązań chmurowych i faktycznie pojawiło się kilka zgrzytów :) Poniże krótka instrukcja konfiguracji, która sprawdza się u mnie. Dla sportu robię reinstalację servera raz na jakiś czas dopracowując szczegóły. Pojawia się kilka drobnych różnic w stosunku do oryginalnego tekstu Łukasza Prokulskiego ( stawiamy własny serwer ), ale mają one charakter kosmetyczny.

Python: informacje wybrane. Kiedyś myślałem że będę opisywał dla siebie i potomnych elementy i składnię pythona. Ale potem pojawił się Jetbrains Academy i przestało mieć to sens. Pozbierałem i zarchiwizowałem tutaj wszystkie swoje stare notatki ,ale jeżeli potrzebuje dowiedzieć się czegoś w szczegółach to zaglądam do JetBrains Academy.

Praca w firmie z graficznym SVN dała mi podstawy idei systemów kontroli wersji. Był on używany w większości do plików binarnych, co powodowało że było to raczej bardziej rozbudowane narzędzie do tworzenia kopii przyrostowych. Do wersjonowania swoich projektów używałem na początku GitHub poprzez desktopową aplikację GitHub Desktop.

Z różnymi językami programowania miałem do czynienia wielokrotnie, ale żadnego nie nauczyłem się porządnie. Postanowiłem że Python będzie tym pierwszym który opanuje w zaawansowanym stopniu. Powody? Machine learning, Computer Vision i Robot Operating System. Oraz to że ciężko w nim zacząć od pisania okienkowych aplikacji, dzięki czemu nie grozi mi utknięcie na cyzelowaniu GUI zamiast nauki programowania. Poniżej dziennik tego, co faktycznie się nauczyłem do tej pory.

Zażółć gęślą jaźń – zdanie zawierające wszystkie polskie znaki diakrytyczne, służące do demonstrowania możliwości edytorów tekstu w zakresie obsługi alfabetu polskiego