Kategorie
Szkolenie Zrób to sam

Szkolenie z automatyzacji pobierania danych z internetu

Pobieranie danych z internetu w sposób zautomatyzowany to coś, co mam przećwiczone na wiele sposobów. Przez pół roku co minutę rejestrowałem informacje o statystykach wypożyczeń samochodów elektrycznych w sieci Vozilla i wyszedł z tego raport na kilkanaście stron i kilkadziesiąt wykresów. Przez 21 miesięcy rejestrowałem co minutę aktywność Traficara a potem za pomocą technik uczenia maszynowego prognozowałem trendy obciążenia sieci – dzienne, tygodniowe czy sezonowe. Była też analiza popularności portalu Albicla, wiecie bo czytaliście.

Wiele projektów, wiele podejść, wiele pułapek w które wpadłem, abyście wy nie musieli! Niby automatyczne pobieranie danych nie jest trudne, to prawda. Czasem jednak nie znamy tego jednego narzędzia albo techniki, dzięki którym cała robota byłaby zrobiona dziesięć razy szybciej.

Tutaj wchodzę ja i dzielę się z wami swoim doświadczeniem oraz materiałami. Obejrzycie moje skrypty, dowiecie się jak ogarniam miliony plików, jak organizuję przetwarzanie danych – oraz masę innych rzeczy. Poniżej szczegółowa agenda, cennik (nietypowy!) oraz informacje o zapisach.

Czytaj dalej „Szkolenie z automatyzacji pobierania danych z internetu”
Kategorie
Publicystyka Statystyki

Kulisy bloga po raz trzeci czyli kolejne trzy kwartały za nami

Minęły trzy czwarte drugiego roku blogowania. Kolejny raz dzielę się informacjami zza kulis i kolejny raz ubolewam, że robi to tak niewielu autorów hobbystycznych serwisów tematycznych. Dajcie znać w komentarzach, u kogo jeszcze można poczytać podobne artykuły, jestem bardzo ciekaw cudzych doświadczeń.

W niniejszym tekście opisuję okres od początku lutego do końca października 2021 –  opublikowałem wówczas 26 artykułów. Gołym okiem widać jednak, że w ostatnim czasie teksty pojawiały się rzadziej, niż na początku roku. Dlaczego? Jak wpłynęło to na czytelnictwo? Zapraszam do lektury!

Czytaj dalej „Kulisy bloga po raz trzeci czyli kolejne trzy kwartały za nami”
Kategorie
Publicystyka

Pliki poliglotyczne – prezentacja z OMH 2020

Co to jest plik poliglotyczny? To plik, który spełnia wymagania dwóch lub więcej formatów naraz, na przykład jest (jednocześnie) obrazkiem GIF i archiwum ZIP albo (jednocześnie!) dokumentem PDF, animacją SWF oraz obrazem dysku typu ISO zawierającym grę Tetris. W ramach ubiegłorocznej konferencji online Oh My Hack 2020 przedstawiłem prelekcję opowiadającą o plikach poliglotycznych – ich genezie, budowie czy sposobach konstruowania. Tradycyjnie nie zabrakło też licznych dygresji i ciekawostek.

Poniżej znajdziecie nagranie wideo prezentacji (50 minut) oraz informację, jak wziąć udział w losowaniu gratisowej wejściówki na edycję OMH 2021, która rozpocznie się już za miesiąc.

Czytaj dalej „Pliki poliglotyczne – prezentacja z OMH 2020”
Kategorie
Administracja publiczna Publicystyka

Poznaliśmy algorytm losowania SLPS czyli… co dokładnie?

Fundacja Moje Państwo od roku 2017 walczy ze zmiennym szczęściem o ujawnienie algorytmu stojącego za Systemem Losowego Przydziału Spraw, programem komputerowym rozdzielającym sprawy sądowe między składy sędziowskie. Ministerstwo przez lata odmawiało jego publikacji, jednak w połowie września 2021 nagle poddało się – na stronie gov.pl umieszczono dokument o nazwie Algorytm_losowania_utworzony_na_podstawie_dokumentacji_analitycznej_v111.pdf, dostępny pod ścieżką Ministerstwo Sprawiedliwości → O ministerstwie → Informacje publiczne → Algorytm SLPS.

Czy rzeczywiście Ministerstwo ujawniło komplet informacji niezbędnych do odtworzenia sposobu działania kluczowego modułu systemu? A może ustępstwo było pozorne a my dostaliśmy zestaw niekompletnych i niespójnych informacji, które grają rolę listka figowego skrywającego nieprzejrzystość SLPS? Zapraszam do lektury mojej analizy dokumentu!

Czytaj dalej „Poznaliśmy algorytm losowania SLPS czyli… co dokładnie?”
Kategorie
Publicystyka Zrób to sam

Litwo! Ojczyzno moja! Ty jesteś jak PNG 4K UHD!

To jedna z tych sytuacji, gdy w głowie pojawia się nietypowe pytanie i od tej chwili nie da się spokojnie żyć, dopóki nie znajdziemy odpowiedzi. Pytanie brzmiało: jak duża musi być bitmapa, aby zmieścił się na niej czytelny tekst poematu „Pan Tadeusz” Adama Mickiewicza. Też jesteście ciekawi? No to drążymy, zanim dotrze do nas, że to bez sensu!

Czytaj dalej „Litwo! Ojczyzno moja! Ty jesteś jak PNG 4K UHD!”
Kategorie
Administracja publiczna Publicystyka

O algorytmach dla prawników

Kopciuszek nie podał Dobrej Wróżce specyfikacji karety, zaprzęgu, sukni ani pantofelków, wystarczyło Marzenie. Dobra Wróżka nie potrzebowała algorytmu opisującego kolejność transformacji flory i fauny w dwuślad z rzędem i fiakrem, miała Zaklęcie. Odległe echo takiego podejścia odnajdujemy w Regulaminie urzędowania sądów powszechnych, gdzie zamiast algorytmów działania SLPS mamy jedynie zarysy kształtu i okruchy specyfikacji. Niestety, życie to nie bajka, kobiety żyjące z uprawiania magii nie zniżają się do realizacji projektów IT – zamiast karety mamy więc furmankę z dyszlem z tyłu. Niby da się jechać, ale nie uciekniemy od pytania „gdzie był opis wymagań tego czegoś”.

Niniejszy artykuł inspirowany jest wieloletnim sporem sądowym Fundacji Moje Państwo o dostęp do kodu źródłowego i algorytmu działania Systemu Losowego Przydziału Spraw (o którym pisałem tutaj i tutaj). Zastanowimy się, czy rzeczywiście algorytm zawsze oderwany jest od kodu źródłowego oprogramowania, czy zawsze algorytm zostanie prawidłowo przełożony na kod, i wreszcie – w jaki sposób spełnić takie żądanie, gdy… spójna specyfikacja algorytmu nigdy nie powstała, zaś wyprodukowane oprogramowanie zawiera fundamentalne błędy. Mam nadzieję, że informacje zawarte w tekście przydadzą się prawnikom – wraz z cyfryzacją usług publicznych podobnych tematów będzie raczej przybywać niż ubywać.

Czytaj dalej „O algorytmach dla prawników”
Kategorie
Porady Publicystyka Zrób to sam

No code, no woman, no cry

Temat dzisiejszego artykułu zaczął kształtować się, gdy pierwszy raz poznałem (i wypróbowałem) możliwości dojrzałych narzędzi działających w modelu „programowania bez programowania”, czyli tzw. no-code. Założona teza brzmiała – serwisy te są na tyle dojrzałe i dają tyle swobody, że można przy ich użyciu przygotować interaktywne witryny nie umiejąc kodować. Potem przebyłem długą podróż, starając się ową tezę udowodnić. Poległem.

Środowiska do tworzenia projektów no-code są fajne, nawet bardzo fajne. Problem polega na tym, że obiecują więcej, niż są w stanie dostarczyć. Prosta automatyzacja – super. Innowacyjna baza danych współużywana przez kilka osób o różnych uprawnieniach – bez problemu. Prosta logika złożona z kilku decyzji i akcji? Tu pojawiają się schody.

Czytaj dalej „No code, no woman, no cry”
Kategorie
Publicystyka

Nie płać za kurs programowania

Jest taka branża, w której zarobki są świetne, zlecenia płyną z całego świata a pracodawcy prześcigają się w pomysłach na zdobycie i zatrzymanie pracowników. Owszem, próg wejścia jest wysoki, bez sumienności i dokładności nie ma mowy o wynikach – za to opanowanie kilku rzadziej używanych technik i narzędzi sprawia, że pensja szybuje w kosmos.

Mowa oczywiście o spawaniu podwodnym.

Dlaczego nie widzimy natrętnych reklam divecampów, obiecujących gwarantowane zatrudnienie po półrocznym, intensywnym szkoleniu nurkowo-spawalniczym? Czemu nikt nie namawia do porzucenia obecnego stanowiska i rozpoczęcia suto płatnej podwodnej przygody? Pewnie dlatego, że większość ludzi boi się pływać, gdy nie sięga stopami dna, niewielu ma predyspozycje do bycia dobrym spawaczem a samo zajęcie jest dość niebezpieczne.

Czytaj dalej „Nie płać za kurs programowania”
Kategorie
Administracja publiczna Android Epidemia iOS

Co zawierają QR-kody w Unijnym Certyfikacie Covid i jak to sprawdzić?

Za niecałe dwa tygodnie Unia Europejska zacznie stosować Unijne Certyfikaty Covid zwane także paszportami covidowymi albo unijnymi cyfrowymi zaświadczeniami Covid (EU Digital COVID Certificates). Co jest zapisane w QR-kodzie, który znajduje się w tym dokumencie? Jak możemy to sami sprawdzić? W tym artykule rozbieramy temat na czynniki pierwsze. Roześlijcie link znajomym, którzy obawiają się zaświadczeń i panikują, że zawartość jest zakodowana, nieczytelna a rząd na pewno coś ukrywa.

Dzięki certyfikatom covidowym, zgodnym z rozporządzeniem Parlamentu Europejskiego, od początku lipca osoby zaszczepione, przetestowane i ozdrowiałe będą mogły przemieszczać się po Unii Europejskiej bez konieczności odbywania izolacji i kwarantanny. Jest to coś zupełnie co innego, niż wycofane z użycia rodzime zaświadczenia o szczepieniach. Tym razem nie ma mowy o częściowej anonimizacji danych, certyfikat covidowy zawiera imię, nazwisko i datę urodzenia. Co jeszcze powinniśmy wiedzieć?

Czytaj dalej „Co zawierają QR-kody w Unijnym Certyfikacie Covid i jak to sprawdzić?”
Kategorie
Publicystyka

Analiza popularności serwisu Albicla

Założenie nowego serwisu społecznościowego nie jest rzeczą prostą – mówimy przecież o konkurowaniu z gigantami internetu, dysponującymi praktycznie nieskończoną ilością pieniędzy i rąk do pracy. Gdy określimy tworzony serwis jako „wolny od cenzury”, będzie jeszcze trudniej, bo przeżyjemy najazd trolli sprawdzających, czy cenzury faktycznie nie ma, a jeśli jest, to gdzie się zaczyna.

Dziś przyglądamy się serwisowi Albicla.com – niemal pięć miesięcy po jego trudnym starcie. Spróbujemy wyznaczyć metryki opisujące społeczność Albicli, aktywność użytkowników, dynamikę zmian; poszukamy liderów w kilku różnych kategoriach. Sprawdzimy, ile naprawdę założono kont, ile z nich pozostaje aktywnych, jakiego typu treści są najbardziej popularne, i jeszcze więcej. Zaczynajmy!

Czytaj dalej „Analiza popularności serwisu Albicla”