Powershell Logfile Archiver

Leider gibt es heutzutage immer noch massenhaft Anwendungen, welche frisch fröhlich ihre Logfiles auf die Festplatte schreiben als gäbe es kein Morgen mehr. Dies hat zur Folge, dass der Platz auf der Festplatte immer weiter schrumpft und im ungünstigsten Fall, wenn es sich um die Systemplatte handelt, der ganze Server nicht mehr starten kann.

Um dem entgegen zu wirken habe ich ein kleines Script erstellt, welches alle Dateien welche älter als X Tage sind in komprimierten Archiven nach Monat ablegt. Die Monate wiederum in Ordner als Jahr abgelegt. Weiter löscht das Script alle Archiv Dateien, welcher älter als Y Tage sind. Somit haben wir die Logfiles welche jünger als X Tage sind im Klartext, alle die älter als X Tage sind komprimiert in Monats Archiven und alles was älter als Y Tage ist gar nicht mehr.

<#
.SYNOPSIS
  Moves Logfiles to archive packages for amount of time

.DESCRIPTION
  Moves logfiles older than specified days to monthly archives. Deletes archives older than archive retention days.

.PARAMETER Path
  Path to the folder where the logfiles are

.PARAMETER ArchivesRoot
  Path where the archives shall be stored. Defaults to $Path\Archives

.PARAMETER RetentionDays
  Number of days to skip archiving for. Defaults to 30

.PARAMETER RetentionArchiveDays
  Number of days which trigger an archive to be deleted if older. Defaults to 365

.INPUTS
  Path of the logfile folder

.OUTPUTS
  Reorganized Logfiles folder

.NOTES
  Author: Philipp R
  Version: 1.0
  Last Modify: 01.04.2020

.EXAMPLE
  .\LogArchiver.ps1 -Path C:\my\logs
#>
#Requires -Version 4

Param(
    [Parameter(Mandatory=$true, ValueFromPipeline=$true)][string]$Path,
    [string]$ArchivesRoot = "$Path\Archives",
    [int]$RetentionDays = 30,
    [int]$RetentionArchiveDays = 365
)

Begin{
    if(-not(Test-Path $Path)){
        Write-Host -ForegroundColor Red "Path not found, $Path"
        return
    }
}

Process{
    $CompressionCandidates = Get-ChildItem $Path -File | Where-Object { $_.LastWriteTime -lt (Get-Date).AddDays(-$RetentionDays)}
    try{
        $CompressionCandidates | 
        Group-Object -Property {$_.LastWriteTime.Year} | ForEach-Object {
            $Year = $_.Name
            $_.Group | Group-Object -Property {$_.LastWriteTime.Month} | ForEach-Object {
                $TargetArchive = "$ArchivesRoot\$Year\$($_.Name).zip"
                # Create the year folder
                $null = New-Item -ItemType Directory -Path (Split-Path $TargetArchive) -ErrorAction SilentlyContinue
                # if archive exists add it otherwise create new
                $_.Group | Compress-Archive -Update:(Test-Path $TargetArchive) -DestinationPath $TargetArchive
            }
        }
        # Only remove files if we successfully archived them
        $CompressionCandidates | Select-Object -ExpandProperty FullName |  Remove-Item  -Force
    }
    catch {
        Write-Host -ForegroundColor Red "Something strange happened"
        $_.Exception
    }

    # Remove old archives
    $DueDate = (Get-Date).AddDays(-$RetentionArchiveDays)
    Get-ChildItem $ArchivesRoot | Where-Object { [int]($_.Name) -lt [int]($DueDate.Year) } | Select-Object -ExpandProperty FullName | Remove-Item -Recurse -Force
    Get-ChildItem "$ArchivesRoot\$($DueDate.Year)" | Where-Object { [int]($_.Name.Split(".")[0]) -lt $DueDate.Month } | Select-Object -ExpandProperty FullName | Remove-Item -Recurse -Force
}

End{

}

Home Automation: Ledstrip mit ESP8266 und WS2812

Der Zeit schreitet voran und die Möglichkeiten vervielfältigen sich. So gerne ich Dinge von Grund auf selber entwickle um zu verstehen wie etwas funktioniert, erweitere ich mittlerweile auch gerne Bestehendes um mein Ziel zu erreichen.

So habe ich mein selbst entwickeltes Home Automation Programm (Python Web Applikation) durch das Community gestützte Projekt Homeassistant abgelöst. Die RGB Led Streifen (12V mit RF433 Empfänger) habe ich durch eine Kombination von ESP8266, WS2812 und ESPhome, die mit der FastLed Library ein super Bild erzeugen, abgelöst. Ein entsprechendes Gehäuse für den Controller habe ich mit Fusion 360 entworfen und mit meinem 3D Drucker gedruckt.

Material
Material

Zuerst habe ich 2 Dupont Stecker an das abgeschnittene USB Kabel gelötet, auf den RGB Controller aufgesteckt und das Kabel mit Sekundenkleber am Eingangsloch befestigt um eine Zugentlastung zu erhalten. Anschliessend habe ich den ESP8266 mit ESPHome geflashed (siehe Source YAML weiter unten) und eingesteckt. Deckel drauf, die Stützstruktur beim RGB Port entfernt und der Node ist bereit.

Dies ist die Yaml Datei für ESPHome. Wichtig: Die rgb_order für WS2812 ist Grün-Rot-Blau

esphome:
  name: ledstrip03
  platform: ESP8266
  board: esp01_1m

wifi:
  ssid: !secret WIFI_SSID
  password: !secret WIFI_PSK

  # Enable fallback hotspot (captive portal) in case wifi connection fails
  ap:
    ssid: "Ledstrip03"
    password: !secret PORTAL_PSK

captive_portal:

# Enable logging
logger:

# Enable Home Assistant API
api:
  password: !secret API_PASSWORD

ota:
  password: !secret API_PASSWORD

light:
  - platform: fastled_clockless
    chipset: WS2812
    pin: 2
    num_leds: 30
    rgb_order: GRB
    name: "Ledstrip03"
    effects:
      - random:
      - strobe:
      - flicker:
      - addressable_rainbow:
      - addressable_color_wipe:
      - addressable_scan:
      - addressable_twinkle:
      - addressable_random_twinkle:
      - addressable_fireworks:
      - addressable_flicker:

Anschliessend habe ich den neuen Node in Homeassistant via Integration eingebunden.

Provisorisch am Zielort montiert und das Ganze bei Tageslicht und Dämmerung getestet.

ADFS ID8025 Fehler

Die Konfiguration eines neuen ADFS Server ist mit dem nicht sehr aussagekräftigen Fehler ID8025 fehlgeschlagen. Die naheliegendste Ursache dafür scheint mir mit dem SSL Zertifikate zusammen zu hängen, da alle anderen Einstellungen Standart sind. Leider liefert mir weder eine Suche nach ID8025 noch das Handbuch von Microsoft einen Hinweis auf den Fehler. Also setzte ich beim Erstellen des Zertifikates an. Da es sich um meine HomeLab Installtion handelt, löse ich das Zertifikat von der Lets Encrypt CA mit dem Kommandozeilen Tool lego.

https://github.com/go-acme/lego

Mehr oder weniger zufällig fällt mir beim Anschauen der Hilfe für lego auf, dass beim erzeugen des privaten Schlüssel ein Algorithmus basierend auf elliptischen Kurven verwendet wird. Sobald ich das Zertifikat mit dem Argument -k rsa4096 erstelle lässt es sich ohne Probleme für ADFS verwenden.

Grim Fandango und ResidualVM

Neulich beim Keller aufräumen fiel mit eine alte Kindheitserrinerung in die Hände:
IMG_20160414_062654~2
Dieses Meisterwerk von LucasArts aus dem Jahre 1998 ist offiziell nur unter Windows 95 / 98 lauffähig, allerdings gibt es einen Open Source Interpreter, welcher es erlaubt Lua basierte LucasArts Adventures auf verschiedenen Plattformen zu spielen.
Benötigtes Material:

  • Original CD von Grim Fandango
  • ResidualVM
  • LabCopy

Bei der Version die ich habe sind die Spieldaten (.LAB Dateien) mit einem Kopierschutz versehen, der sie viel grösser aussehen lässt als sie sind. Hier kommt das Hilfstool LabCopy zum Einsatz, welches den Header der Dateien liest und nur die entsprechenden Blöcke kopiert.
Die Quelle ist hier zu finden: https://github.com/klusark/residual-tools/blob/master/tools/labcopy.cpp
Ich habe das Tool von der oben angegebenen Quelle kompiliert:

OSX: labcopy_osx Mach-O 64-bit executable x86_64
Windows x86: labcopy_win
Linux x86: labcopy_lin ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.24, not stripped

Also mit dem LabCopy bewaffnet kopieren wir alle .Lab Dateien von den beiden CDs in einen Ordner (vorhandene Dateien können überschrieben werden, die sind auf beiden CDs dieselben)
In ResidualVM fügen wir das Spiel mittels “Add Game” hinzu. Dabei kann es zu einer Warnung kommen mit der aktuellen Version von ResidualVM (0.2.1) welche sagt, dass die Game Dateien nicht korrekt sind. Diese Warnungen (ca. 5) können mit OK bestätigt werden, die MD5 Prüfsummen wurden in zukünftigen Releases angepasst, so dass sie stimmen.
Nun geniessen wir eine schöne Runde Grim Fandango

Ingame Szene “erste Begegnung mit Glottis”

Meine Home Automation

Als ich das erste Mal mit Arduino in Berührung kam wurde ich sofort wieder gepackt von der Faszination der Elektronik (als Kind hatte ich mich immer dafür interessiert, allerdings hat sich das mit der Zeit gelegt). Ich kaufte mir allerlei Sensoren und Elemente und fing an wild zu experimentieren. Bereits damals überlegte ich mir, wie ich diese Entwicklungen in den täglichen Haushalt einbauen könnte. Als mir dann eine Freundin ihre Funkgesteuerten Steckdosen zeigte war die Idee geboren. Ich wollte die Lichter über diese Steckdosen nicht mit einer Fernbedienung steuern, sondern mit etwas das mittlerweile fast jeder Mensch besitzt: Das Smartphone. Da ich noch nie eine App programmiert hatte und das ganze Projekt ständig weiter entwickelt werden soll entschied ich mich für ein responsive Webinterface, welches mit einem Arduino kommuniziert, der die Funk Befehle für die Steckdose sendet. Um möglichst Platform unabhängig zu sein verwendete ich Python, welches die Befehle via USB an den Arduino sendet.
Technologien
Frontend: HTML5, AngularJS und Bootstrap
Backend: Python mit CherryPy
Interface: Arduino mit 433Mhz RF Link Kit
Master_Steckplatine
Der erste Wurf funktionierte äusserst zuverlässig und ich entschied mich das Ganze auszubauen. Geräte nur ein- und auszuschalten reichte mir nicht mehr. Zu dieser Zeit hatte ich bereits eine RGB Licherkette im Einsatz um dekoratives Licht zu spenden. Diese wird allerdings mit Infrarot angesteuert, was den Nachteil hat, dass ich nicht von einem Raum aus Ketten in anderen Räumen steuern kann.
Die erste Version war ein Infrarot Emulator, der 433Mhz Codes empfängt und das entsprechende Signal auf den Infrarot Port der Licherkette Steuerung schickt.
<Bild IR EMULATOR>
Dadurch konnte ich die Schaltung der Lichterkette fast vollkommen intakt lassen.
Einige Zeit später fragte mich meine Freundin, ob ich nicht eine hellere Lichterkette in eine Vase die sie gebastelt hat einbauen kann. Die vorhandene war eine mit 2 AA Batterien betriebene 3V Warm White Kette. Kein Problem dachte ich, allerdings wieso muss die Vase nur eine Farbe anzeigen können? Als ich die Schaltung im Geiste bereits zusammen setzte überlegte ich mir, dass ich die gleiche Schaltung auch für die RGB Lichterkette bauen könnte, also einmal eine 5V Variante und eine 12V Variante. Wenig später wurde daraus nur eine Schaltung, bei der mit einem Jumper die Eingangsspannung wahlweise via Spannungsregler 7805 oder direkt auf die Steuerelektronik geführt wird. Dadurch hatte ich ein Modell, das sowohl für 5V wie auch für 12V LEDs ausgelegt geschaffen.
20150621_110020
Später habe ich dem Master einen 433 Mhz Empfänger hinzugefügt, um Daten von Sensoren aufzuzeichen.

Der Fade Mode

Attiny84 und 85 Programmer Shield

Da ich bei Projekten häufig den Attiny85 und Attiny84 verwende habe ich mir aus einem Arduino Prototype Shield einen Programmer gebastelt, der bei Bedarf einfach auf einen UNO gesteckt werden kann um so die Attiny’s zu programmieren.
Stückliste:

  • 1x Arduino Prototype Shield v.5
  • 28x Male Pin Header
  • 1x Sockel DIP 8 Pin
  • 1x Sockel DIP 14 Pin
  • 2x Kondensator 66nF
  • 1x Elko 220uF
  • 2x Drucktaster
  • 1x Led 5mm Grün
  • 1x Led 5mm Rot
  • 2x Widerstand 560 Ohm

Dies sind die Pin Belegungen der beiden Tiny’s:
attiny84_pins attiny85_pins
Das Schaltbild sieht folgendermassen aus:
Attiny Programmer Shield
Die Einzelteile:
DSC00295
Zusammengebaut:

433Mhz Funkkerzen mit dem Arduino schalten

Viele kennen rc-switch die Arduino Library um Funksteckdosen via 433 Mhz zu schalten.
Nun habe ich kürzlich Kerzen gesehen, die auch mit einem Handsender der auf 433 Mhz sendet an- und ausgeschalten werden können.  Leider habe ich nirgendwo eine Dokumentation gefunden, wo die Übertragung nachzulesen ist. Auf dem Handsender steht lediglich Typ QL3957 mit dem ich allerdings auch nicht viel anfangen konnte.

Also entschloss ich mich die Codes vom Handsender selber mit einem billigen 433Mhz Receiver und einem digitalen Speicheroszilloskop auszulesen und einen Arduino Sketch zu schreiben.
Für die an- und ausschalt Funktionen habe ich folgende Codesequenzen aufgezeichnet:

Kerzen 433Mhz aus
Ausschalt Sequenz

Kerzen 433Mhz ein
Einschalt Sequenz

Es lässt sich eine Manchester Codierung vermuten und daraus ergibt sich folgende Bit Folge:
Ausschalt Sequenz: 010101010101010100110000 (24 Bit)
Einschalt Sequenz: 010101010101010100000011 (24 Bit)
Die Pulslängen betragen:
Langer Puls: 500 µS
Kurzer Puls: 200 µS
Am Anfang muss ein Low Signal, dass 4080 µS lang ist gesendet werden und am Schluss nochmals das Bit 0.
Mit folgendem Code lassen sich die Kerzen ein und ausschalten (der Code gewinnt sicher keinen Schönheitswettbewerb 🙂 )

#define longPulse 500
#define shortPulse 200
int senderPin = 10;
char* CandleOn  = "010101010101010100000011";
char* CandleOff = "010101010101010100110000";
void send0()
{
  // Sends a 0 Bit
  //            _
  // Waveform: | |__
  digitalWrite(senderPin, HIGH);
  delayMicroseconds(shortPulse);
  digitalWrite(senderPin, LOW);
  delayMicroseconds(longPulse);
}
void send1()
{
  // Sends a 1 Bit
  //            __
  // Waveform: |  |_
  digitalWrite(senderPin, HIGH);
  delayMicroseconds(longPulse);
  digitalWrite(senderPin, LOW);
  delayMicroseconds(shortPulse);
}
void sendCandleCode(char* code)
{
  for(int i=0;i<3;i++) // send the code 3 times
  {
    delayMicroseconds(4080); //wait a minimum of 4080 uS
    for(int i=0; i< 24;i++)
    {
      if(code[i] == '0') send0();
      if(code[i] == '1') send1();
    }
    send0();
  }
}
void setup()
{
  pinMode(senderPin, OUTPUT);
}
void loop()
{
  sendCandleCode(CandleOn);
  delay(5000);
  sendCandleCode(CandleOff);
  delay(5000);
}

Raspberry Pi, Hifiberry und Pi Musicbox

Als neuer Audioplayer habe ich mir kürzlich ein Raspberry Pi B+ mit Hifiberry Digi+ und als Software Pi Musicbox gebastelt. Angeschlossen habe ich das ganze via SPDIF.
Am Anfang war ich frustriert, weil kein Sound zu hören war. Nach einiger Zeit Basteln und Recherchen habe ich einen Workaround gefunden: https://www.hifiberry.com/forums/topic/digi-and-pimusicbox-sync-error/
Im Script /opt/musicbox/setsound.sh muss die Identifikation für die Hifiberry Digi+ angepasst werden:

elif [[ ${dev[1]} == "snd-rpi-hifiberry-digi" ]]; then

ändern in

elif [[ ${dev[1]} == "snd-hifiberry-digi" ]]; then

danach rebooten und prüfen ob der richtige Ausgang gewählt wird:

aplay -l
**** List of PLAYBACK Hardware Devices ****
card 0: ALSA [bcm2835 ALSA], device 0: bcm2835 ALSA [bcm2835 ALSA]
  Subdevices: 8/8
  Subdevice #0: subdevice #0
  Subdevice #1: subdevice #1
  Subdevice #2: subdevice #2
  Subdevice #3: subdevice #3
  Subdevice #4: subdevice #4
  Subdevice #5: subdevice #5
  Subdevice #6: subdevice #6
  Subdevice #7: subdevice #7
card 0: ALSA [bcm2835 ALSA], device 1: bcm2835 ALSA [bcm2835 IEC958/HDMI]
  Subdevices: 1/1
  Subdevice #0: subdevice #0
card 1: sndrpihifiberry [snd_rpi_hifiberry_digi], device 0: HifiBerry Digi HiFi wm8804-spdif-0 []
  Subdevices: 1/1
  Subdevice #0: subdevice #0

bei mir ist die hifiberry die card 1, dies muss mit der Einstellung in /etc/asound.conf übereinstimmen

cat /etc/asound.conf
pcm.!default {
    type hw
    card 1
}
ctl.!default {
    type hw
    card 1
}

 
 

tt-rss Full Feed News

Um alle News an einem zentralen Ort zu sammeln benutze ich Tiny Tiny RSS (tt-rss).
Dieser kann als eine selber gehostete Google Reader Alternative angesehen werden. Leider wird bei einigen Seiten (z.B Golem.de, Heise.de, inside-it.ch etc.) nur eine kleine Beschreibung auf den Artikel geladen und nicht der ganze.
Mit dem Plugin af_feedmod ist es möglich den ganzen Artikel in den RSS Reader zu laden, vorausgesetzt man kennt die Parameter. Für heise.de und Golem.de sind diese auf der Github Seite des Plugin Entwicklers aufgeführt.
Anbei einige weitere:
Inside-IT.ch

"inside-it.ch": {
   "type": "xpath",
   "xpath": "div[@class='article']",
   "cleanup":"div[@class='microsite']"
}

Computerworld.ch

"computerworld.ch": {
   "type": "xpath",
   "xpath": "div[@class='main-article']",
   "cleanup":["div[@class='article-box']","div[@class='article-col']","div[@class='line-news line-news2']"]
}