How to stream your Raspberry Pi camera (using PiCamera2) as mjpg

Views: 14

A Raspberry Pi with an attached PiCamera can work as a simple surveillance system. A very simple way to stream the images is using MJPEG.

To quickly set up streaming MJPEG, I created a Python script that encodes the images in separate threads. Therefore the whole CPU of the Pi can be utilized. The maximum framerate is equal to what the camera can deliver (47 frames). On a Pi 4 this makes the CPU quite hot, so the script allows to throttle the throughput. 25 FPS is easily possible without any cooling.

Prerequisites

A Raspberry Pi with an attached camera module. I tested this on a Pi 2, 3 and 4, it probably works on a Pi 1 just as well, albeit with a severely reduced framerate.

Install the latest version of the OS:

sudo apt update
sudo apt upgrade

Install necessary python modules

sudo apt install python3-flask python3-libcamera python3-picamera2 python3-opencv

And then run the script

python pystream.py

The stream will be available at port 9000 of your Raspberry Pi: http://your-pi-IP:9000/mjpg

If you run this in a terminal, the process will of course stop once the window is closed, unless you run it using screen. If you haven’t installed it yet:

sudo apt install screen

Start the screen by just typing

screen

A short explanation will show, you can end that with <RETURN>. Anything you start in this will continue to run, even if you close the window.

To get back to a running screen process, just type

screen -r

The script (download here):

#!/usr/bin/env python3

from flask import Flask, Response
import cv2
from picamera2 import Picamera2
import libcamera
import time
import threading

# Creates an mjpg stream from a PiCamera. It's a quick and dirty example how to use your Pi as a surveillance camera
# Uses 2 separate threads to encode the captured image to maximize throughput by using all 4 cores
# The way this "double-buffering" is implemented causes it to only work correctly with one client. 


# Set your desired image size here
# The timing for approximating the frames per second depends largely on this setting
# Larger images means more time needed for processing
CAM_X = 1280
CAM_Y = 720


# Change this, depending on the orientation of your camera module
CAM_HFLIP = False
CAM_VFLIP = False

# Change this to control the usage and therefore temperature of your Pi. On my Pi 4 a setting of 25 FPS
# results in CPU usage of roughly 40% and no temperature throttling (no additional cooling here)
# Set to 0 to impose no restrictions (on my Pi 4 this results in ~47 FPS (maximum of my PiCamera model 2), on my Pi 2 ~17 FPS)
MAX_FPS = 25

# Flask is our "webserver"
# The URL to the mjpg stream is http://my.server:WEB_PORT/mjpg
WEB_PORT = 9000
app = Flask(__name__)

# Keeps all data for the various threads in one place
class MgtData(object):
    stop_tasks = False            # If set, all threads should stop their processing
    frame1_has_new_data = False   # Is being set when frame1 receives a new buffer to encode
    lock1 = False                 # Is being set when frame1 receives a new buffer to encode, and cleared when encoding is done
    frame2_has_new_data = False   # Same for frame 2
    lock2 = False

    img_buffer1 = None            # Receives the image as a byte array for frame 1
    img_buffer2 = None            # ... for frame 2
    encoded_frame1 = None         # Stores the JPG-encoded image for frame 1
    encoded_frame2 = None         # ... for frame 2

    # If there is new data available on frame 1, return True
    def frame1_new_data():
        return (MgtData.frame1_has_new_data and not MgtData.lock1)

    # If there is new data available on frame 2, return True
    def frame2_new_data():
        return (MgtData.frame2_has_new_data and not MgtData.lock2)


# Deliver the individual frames to the client
@app.route('/mjpg')
def video_feed():
    generated_data  = gen()
    if (generated_data):
        response = Response(gen(), mimetype='multipart/x-mixed-replace; boundary=frame') 
        response.headers.add("Access-Control-Allow-Origin", "*")
        return response
    return None

# Generate the individual frame data
def gen():
    while not MgtData.stop_tasks:  
        while (not (MgtData.frame1_new_data() or MgtData.frame2_new_data())):
            time.sleep (0.01) # Wait until we have data from one of the encode-threads

        frame = get_frame()
        yield (b'--frame\r\n'
               b'Content-Type: image/jpeg\r\n\r\n' + frame + b'\r\n')

# If one of the frames has data already processed, deliver the respective encoded image
def get_frame():
    encoded_frame = None
    if (MgtData.frame1_new_data() or MgtData.frame2_new_data()):
        if (MgtData.frame1_new_data ()):
            encoded_frame = MgtData.encoded_frame1
            MgtData.frame1_has_new_data = False
        elif (MgtData.frame2_new_data ()):
            encoded_frame = MgtData.encoded_frame2
            MgtData.frame2_has_new_data = False
    else:
        print ("Duplicate frame")

    return encoded_frame




# Start the server
def start_webserver():
    try:
        app.run(host='0.0.0.0', port=WEB_PORT, threaded=True, debug=False)
    except Exception as e:
        print(e)

# Definition for the encoding thread for frame 1
def encode1():
    newEncFrame = cv2.imencode('.jpg', MgtData.img_buffer1)[1].tobytes()
    MgtData.encoded_frame1 = newEncFrame
    MgtData.frame1_has_new_data = True
    MgtData.lock1 = False

# Definition for the encoding thread for frame 2
def encode2():
    MgtData.lock2 = True
    MgtData.frame2_has_new_data = True
    newEncFrame = cv2.imencode('.jpg', MgtData.img_buffer2)[1].tobytes()
    MgtData.encoded_frame2 = newEncFrame
    MgtData.lock2 = False



def run_camera():
    # init picamera
    picam2 = Picamera2()

    preview_config = picam2.preview_configuration
    preview_config.size = (CAM_X, CAM_Y)
    preview_config.format = 'RGB888'
    preview_config.transform = libcamera.Transform(hflip=CAM_HFLIP, vflip=CAM_VFLIP)
    preview_config.colour_space = libcamera.ColorSpace.Sycc()
    preview_config.buffer_count = 4 # Looks like 3 is the minimum on my system to get the full 47 FPS my camera is capable of
    preview_config.queue = True
    preview_config.controls = {'FrameRate': MAX_FPS and MAX_FPS or 100}

    try:
        picam2.start()

    except Exception as e:
        print(e)
        print("Is the camera connected correctly?\nYou can use \"libcamea-hello\" or \"rpicam-hello\" to test the camera.")
        exit(1)
    
    fps = 0
    start_time = 0
    framecount = 0
    try:
        start_time = time.time()
        while (not MgtData.stop_tasks):
            if (not (MgtData.frame1_new_data() and MgtData.frame2_new_data())):

                # get image data from camera
                my_img = picam2.capture_array()

                # calculate fps
                framecount += 1
                elapsed_time = float(time.time() - start_time)
                if (elapsed_time > 1):
                    fps = round(framecount/elapsed_time, 1)
                    framecount = 0
                    start_time = time.time()
                    print ("FPS: ", fps)

                # if one of the two frames is available to store new data, copy the captured image to the
                # respective buffer and start the encoding thread
                # At max we have 4 threads: our main thread, flask, encode1 and encode2
                if (not MgtData.frame1_new_data()):
                    MgtData.img_buffer1 = my_img
                    MgtData.frame1_has_new_data = True
                    MgtData.lock1 = True
                    encode_thread1 = threading.Thread(target=encode1, name="encode1")
                    encode_thread1.start()
                elif (not MgtData.frame2_new_data()):
                    MgtData.img_buffer2 = my_img
                    MgtData.frame2_has_new_data = True
                    MgtData.lock2 = True
                    encode_thread2 = threading.Thread(target=encode2, name="encode1")
                    encode_thread2.start()
            time.sleep (0.0005) # No need to constantly poll, cut the CPU some slack
            
    except KeyboardInterrupt as e:
        print(e)
        MgtData.stop_tasks
    finally:
        picam2.close()
        cv2.destroyAllWindows()



def streamon():
    camera_thread = threading.Thread(target= run_camera, name="camera_streamon")
    camera_thread.daemon = False
    camera_thread.start()

    if camera_thread != None and camera_thread.is_alive():
        print('Starting web streaming ...')
        flask_thread = threading.Thread(name='flask_thread',target=start_webserver)
        flask_thread.daemon = True
        flask_thread.start()
    else:
        print('Error starting the stream')

    while not MgtData.stop_tasks:
        time.sleep (25) # Just waiting to end this thread



if __name__ == "__main__":
    try:
        streamon()
    except KeyboardInterrupt:
        pass
    except Exception as e:
        print(e)
    finally:
        print ("Closing...")
        MgtData.stop_tasks = True

EMS Bus Dekodieren und Steuern

Views: 77

Meine alte Heizung ist ausgefallen. Die wurde von einer Junkers TRQ21 gesteuert – was nichts anderes war als ein Thermostat, der für eine Wärmeanforderung 24V auf die Steuerleitung legt.

Da bei mir der Thermostat in der Küche hängt, die am wenigsten geheizt wird, ist die Steuerung für meine anderen Räume suboptimal. Ich hatte den Thermostat weiter in Betrieb, damit der für Frostschutz funktioniert, aber ich hatte zusätzlich einen Raspberry Pi, der mittels eines einfachen Scheduling-Systems und einer simplen Weboberfläche den Thermostat überbrücken konnte, und einfach die volle Spannung auf die Steuerleitung legte, wenn ich es wärmer haben wollte.

Die neue Heizung, eine Bosch Condens 5300i, hat (leider) eine EMS Steuerung, was zwar technisch viel besser ist, aber es schwieriger macht, mit selbstgebauten Systemen eine Fernsteuerung umzusetzen.

Grundsätzlich kann der Raspberry Pi die Daten vom Bus lesen, er braucht aber einen Pegel von 0V (0) bzw. 3,3V (1). Der EMS-Bus liefert bei mir gemessen 10V (0) und 15V (1). Bei kbza.de fand ich den Bauplan für einen Pegelwandler, der jetzt bei mir auch so läuft. Ich habe nur für R1 10kΩ genommen, da meine Messungen ergaben, dass meine Schaltung schon bei etwas unter 10V einen HIGH Pegel ergab, mit 10kΩ statt 8,2kΩ schaltet es bei mir zuverlässig und das Ergebnissignal sieht auf dem Oszilloskop sehr gut aus.

Auf der Webseite ist auch ein Python-Skript, das allerdings für mich nicht funktioniert. Das Skript selber ist auch nicht ein Beispiel für gute Programmierung, aber immerhin ein Hinweisgeber.

Das Skript erkannte keine der Nachrichten, die bei mir vom EMS Bus kommen. Eine extrem vereinfachte Form liefert die eingehenden Daten als Hexwerte:

#!/usr/bin/env python
# -*- coding: iso-8859-1 -*-

import time
import serial
import sys

ser = serial.Serial(
 port='/dev/ttyAMA0',
 baudrate = 9600,
 parity=serial.PARITY_NONE,
 stopbits=serial.STOPBITS_ONE,
 bytesize=serial.EIGHTBITS,
 timeout=1
)

while 1:
    char = ser.read()
    hex = char.encode('HEX')
    sys.stdout.write(hex + ' ');
    sys.stdout.flush()

Bei mir kommt dann z.B. folgendes raus:

89 00 08 00 88 00 09 00 89 00 12 00 18 00 98 00 08 00 88 00 08 00 88 00 13 00 09 00 89 00 08 00 88 00 09 00 89 00 14 00 18 00 98 00 08 00 88 00 08 00 88 00 15 00 09 00 89 00 08 00 88 00 09 00 89 00 16 00 18 00 98 00 08 00 88 00 08 00 88 00 17 00 09 00 89 00 08 00 88 00 09 00 89 00 20 00 18 00 98 00 08 00 88 00 08 00 88 00 28 00 09 00 89 00 08 00 88 00 09 00 89 00 30 00 18 00 98 00 08 00 88 00 08 00 88 00 38 00 09 00 89 00 08 00 88 00 09 00 89 00 40 00 18 00 98 00 08 00 88 00 08 00 88 00 48 00 09 00 89 00 08 00 88 00 09 00 89 00 50 00 18 00 98 00 08 00 88 00 08 00 88 00 58 00 09 00 89 00 08 00 88 00 09 00 89 00 60 00 18 00 98 00 08 00 88 00 08 00 88 00 68 00 09 00 89 00 08 00 88 00 09 00 89 00 0a 00 18 00 98 00 08 00 88 00 08 00 88 00 0b 00 09 00 89 00 08 00 88 00 09 00 89 00 0c 00 18 00 98 00 08 00 88 00 08 00 88 00 0d 00 09 00 89 00 08 00 88 00 09 00 89 00 0e 00 18 00 98 00 08 00 88 00 08 00 88 00 0f 00 09 00 89 00 08 00 88 00 09 00 89 00 10 00 18 00 98 00 08 00 88 00 08 00 88 00 11 00 09 00 89 00 08 00 88 00 e4 00 10 20 2d 2d 00 c8 40 02 84 64 12 03 00 02 6e 00 00 80 00 00 87 0f 00 02 83 00 00 02 00 88 00 e4 23 00 01 54 00 9a 12 64 f9 00 88 00 e3 00 01 00 01 00 00 00 00 00 00 00 00 02 84 12 64 46 00 40 00 00 0e 00 88 00 09 00 89 00 12 00 18 00 98 00 08 00 88 00 e9 00 00 80 00 80 00 00 00 00 00 46 3c 00 00 00 00 10 ba 00 01 cf 00 00 00 05 02 00 3c 00 88 00 08 00 88 00 13 00 09 00 89 00 08 00 88 00 09 00 89 00 14 00 18 00 98 00 08 00 88 00 08 00 88 00 15 00 09 00 89 00 08 00 88 00 09 00 89 00 16 00 18 00 98 00 08 00 88 00 08 00 88 00 17 00 09 00 89 00 08 00 88 00 09 00 89 00 19 00 18 00 98 00 08 00 88 00 08 00 88 00 21 00 09 00 89 00 08 00 88 00 09 00 89 00 29 00 18 00 98 00 08 00 88 00 08 00 88 00 31 00 09 00 89 00 08 00 88 00 09 00 89 00 39 00 18 00 98 00 08 00 88 00 08 00 88 00 41 00 09 00 89 00 08 00 88 00 09 00 89 00 49 00 18 00 98 00 08 00 88 00 08 00 88 00 51 00 09 00 89 00 08 00 88 00 09 00 89 00 59 00 18 00 98 00 08 00 88 00 08 00 88 00 61 00 09 00 89 00 08 00 88 00 09 00 89 00 69 00 18 00 98 00 08 00 88 00 08 00 88 00 0a 00 09 00 89 00 08 00 88 00 09 00 89 00 0b 00 18 00 98 00 08 00 88 00 08 00 88 00 0c 00 09 00 89 00 08 00 88 00 09 00 89 00 0d 00 18 00 98 00 08 00 88 00 08 00 88 00 0e 00 09 00 89 00 08 00 88 00 09 00 89 00 0f 00 18 00 98 00 08 00 88 00 08 00 88 00 10 00 09 00 89 00 08 00 88 00 09 00 89 00 11 00 18 00 98 00 08 00 88 00 08 00 88 00 12 00 09 00 89 00 08 00 88 00 09 00 89 00 13 00 18 00 98 00 08 00 88 00 08 00 88 00 14 00 09 00 89 00 08 00 88 00

Nichts sieht so aus wie die “Header”, die das Originalskript suchte. Den Beschreibungen im EMS Wiki scheine ich auch nicht zu verstehen. Wenn ich mir nur 08 00 88 00 09 00 89 00 ansehe, macht das im Moment keinen Sinn. Was ich glaube zu verstehen ist dass eine Nachricht, in der das oberste Bit in der Empfänger-ID gesetzt ist, gefolgt von einem BREAK, eine dringende Anfrage an die entsprechende ID ist. Die Antwort – wenn es nichts zu senden gibt – ist die ID ohne das oberste Bit, gefolgt von einem BREAK.

08 ist eine ID – wenn ich das richtig verstehe sollte das die ID des Brenners sein. 00 kann ein Break sein, oder eine echte 0. Danach aber kommt 88 (= 08 + bit 7) gefolgt von 00.

Was ist ein BREAK frage ich mich da – das ist ein Byte mit Wert 0 und nicht gesetztem Stop-Bit, oder auch: die Leitung liegt relativ lange auf 0. Das serial Modul von Python kann diese Unterscheidung nicht liefern, allerdings kann der PL011 UART im Raspberry Pi das erkennen.

Mit cat /proc/tty/driver/ttyAMA kann man die Anzahl von Breaks sehen, die entdeckt wurden während Daten vom seriellen Port gelesen wurden:

0: uart:PL011 rev2 mmio:0x20201000 irq:81 tx:0 rx:2663 brk:1154 oe:1 CTS

Im Schnitt kam es also etwa auf 2 1/2 empfangenen Bytes ein Break. Wenn ich die Daten oben genauer ansehe, dann scheint es oft zu sein, dass eine ID (mit und ohne 7. Bit) kommt, dann 00 gelesen wird, dann wieder ID und 00. Dann gibt es noch ein paar Bereiche, die mehr nach sinnvollen Daten aussehen. Grob geschätzt würde ich glauben, dass fast alle als 00 gelesene Bytes in Wirklichkeit Breaks sind.

Natürlich könnte ich mir bei BBQKees Electronics ein EMS-Gateway kaufen, das soll alles wichtige können, aber ich würde gerne das Problem für mich selber lösen.

Also: wie komme ich an die Info vom UART, dass wir einen Break und keine 0 haben?

Darktable and Nikon Z 30

Views: 174

Unfortunately the NEF format used by the Nikon Z 30 is not supported by Lightroom 6.0 (yes, that was the last version that I could actually buy and sort of own), so I tried Darktable. The Z 30 is not in the list of supported cameras, but the Z 50 is. And Nikon would not have changed the format within the Z cameras, now would they?

Trying to open one of the files results in error messages:

RawSpeed:Unable to find camera in database: 'NIKON CORPORATION' 'NIKON Z 30' '12bit-compressed'
Please consider providing samples on <https://raw.pixls.us/>, thanks!
[rawspeed] (xxx_0059.NEF) bool rawspeed::RawDecoder::checkCameraSupported(const rawspeed::CameraMetaData*, const string&, const string&, const string&), line 170: Camera 'NIKON CORPORATION' 'NIKON Z 30', mode '12bit-compressed' not supported, and not allowed to guess. Sorry.
[temperature] failed to read camera white balance information from `xxx_0059.NEF'!
[temperature] `NIKON CORPORATION NIKON Z 30' color matrix not found for image
[temperature] failed to read camera white balance information from `xxx_0059.NEF'!
[temperature] failed to read camera white balance information from `xxx_0059.NEF'!
[colorin] could not find requested profile `standard color matrix'!

The same goes for 14bit versions.

However, as the Z 50 is supported, I tried just changing the signature of the files. Darktable is fine with that and can load the files.

However, I do not know if that would lead to issues with eg. white balance or other processing which might be different for the Z-cameras. But it works for me and now. To change the signature of all files in the current directory, you can use:

perl -pi -e 's/NIKON Z 30/NIKON Z 50/g' *

As I found out later, it looks like there is already an issue logged in github regarding the Z 30. The solution described in there works for me – it is after all the same general idea: Z 30 and Z 50 files are essentially the same. If you add the definition to your cameras.xml file (which is at /usr/share/darktable/rawspeed on my system), darktable works with Z 30 files as expected.

Linux: warum geht meine Festplatte nicht in den Schlafmodus?

Views: 190

Ich habe mich nach langer Zeit wieder entschieden, dass einer meiner Server mit Gentoo laufen soll, statt mit Ubuntu. Im Zuge des Umbaus kam dann auch ein RAID mit netto 30 TB Speicherplatz zum Einsatz.

Ich möchte immer, dass meine Festplatten nur dann angeschaltet sind, wenn sie auch benutzt werden, daher setze ich gewöhnlich mit hdparm -S40 /dev/sd? einen sleep timeout von knapp 4 Minuten.

Nachdem ich alle notwendigen Daten auf das RAID kopiert hatte, blieben die Festplatten noch aktiv.

lsof brachte leider keine Erkenntnis, aber grob jede Sekunde schrieb irgendetwas auf das RAID. Ich bin dann auf laptop mode tools gestoßen, was ich mir auch mal näher ansehen muss. Das verspricht, dass ich Energieoptionen besser einstellen kann und auch, Festplattenaktivität besser analysieren kann.

Aber mit ps aux fiel mir dann noch der prozess ext4lazyinit auf. Dieser sorgt – sehr simple ausgedrückt – dafür, dass die eigentliche Formatierung der Platte im Hintergrund geschieht, und die Festplatte schon genutzt werden kann. Das ist auch schön so, aber ich hätte doch gerne, dass das bald vorbei ist.

Die Geschwindigkeit, in der ext4lazyinit arbeitet, kann mittels mount Optionen eingestellt werden (man 5 ext4):

   init_itable=n
          The lazy itable init code will wait n times the number  of  mil‐
          liseconds  it  took to zero out the previous block group's inode
          table. This minimizes the impact on system performance while the
          file system's inode table is being initialized.

Und das schöne hier ist, dass das im laufenden Betrieb gemacht werden kann:

mount -o remount,init_itable=0 <mount point>

Ich hoffe, das ist schon der einzige Prozess, der die Festplatten wach bleiben lässt, aber ich werde es sehen, wenn die Initialisierung wirklich durch gelaufen ist.

Home Automation für mich – erste Schritte

Views: 274

ZigBee ist also ein Funkprotokoll, mit dem IoT-Geräte sich mitteilen können. Es ist nicht WiFi, also muss ich den Geräten auch nicht einen potentiellen Zugang zum Internet bieten. Es ist ein etablierter Standard, also erwarte ich, dass das auch funktioniert.

ZigBee benötigt eine Empfangsstation, also habe ich mir einen Sonoff ZigBee 3.0 USB Stick sowie einen ESSENTIALS Heizkörper-Thermostat Zigbee gekauft. Ich empfehle Geräte grundsätzlich nur und dann auch explizit, wenn ich der Meinung bin, dass sie gut sind. Diese beiden Geräte erwähne ich nur, weil ich jetzt mit denen angefangen habe.

Weil ich dachte, bzw. eher nur hoffte, dass wir vielleicht mit Heinautomatisierung bereits an wirklich vernünftigen Standards angekommen sind, bin ich erstmal davon ausgegangen, dass ich einfach Home Assistant installieren könne und alles funktioniert wie Magie.

Home Assistant kann unter anderem mittels HAOS (Home Asssistant Operating System) direkt auf einem Raspberry Pi ausgeführt werden, im Idealfall braucht es nur etwas Zeit und dann ein Pairing mit allen Geräten. Benutzt man HAOS, dann richtet sich weitgehend alles selber ein, der USB-Stick wurde erkannt, aber nach dem ersten Boot mit der neu geschriebenen SD-Karte dauert die Einrichtung noch fast eine halbe Stunde. Allerdings ist alles noch automatisch und man muss nur warten.

Unter http://homassistant:8123/ steht dann eine Weboberfläche zur Verfügung. Mit ein paar Klicks konnte ich dann nach ZigBee-Geräten suchen lassen. Diese müssen sich im Pairing-Modus befinden. Wie das aber bei dem Thermostat geht, dazu lässt sich die Betriebsanleitung nicht aus. In der steht

Die Steuerung und Verbindung mit dem Smartphone sowie der
essentials Smart Home App erfordert zwingend den Einsatz der
essentials Smart Home Zentrale.

Und wenn man die Smart Home Zentrale gekauft hat, dann soll die App die Information raus geben, wie der Thermostat in den Pairing-Modus gebracht wird. Andernfalls darf ich nicht wissen, wie das geht.

ESSENTIALS Heizkörper-Thermostat Zigbee Pairing: oberen Knopf für 4 Sekunden halten

Wenn der Thermostat in den Pairingmodus geht, kommt kurz auf dem LCD das Wort “Pair”. Home Assistant findet dann auch ein Gerät, allerdings weiß HA nicht, was es damit anfangen soll.

Zu dem Thermostat kamen nur 2 Datenpunkte automatisch ins System, RSSI (received signal strength indication) und LQI (link quality indicator), mehr nicht.

So direkt weiß ich nicht weiter. Ich kenne mich auch nicht genug mit ZigBee bzw. home automation aus, um zu beurteilen, wo das eigentliche Problem liegt.

  • Ist der Standard einfach nicht ausreichend, um – z.B. wie bei Bluetooth – alle wichtigen Gerätetypen per Class compliance zu erkennen und anzusprechen?
  • Ist Home Assistant einfach nicht gut genug?
  • Möchten alle Hersteller von Geräten vielleicht möglichst nicht kooperieren?

Ich vermute, dass es letzteres ist. Jeder Hersteller von Home automation Geräten will immer noch zusätzlich seine höchst eigene Zentrale mit verkaufen und den Anwender in sein Ökosystem zwingen. Dann muss das Opfer der Kunde alle zusätzlichen Geräte auch von diesem Ökosystem kaufen.

Nicht nur, dass ich das für sehr kundenunfreundlich halte, ich bin auch der Meinung, dass dadurch viel Elektromüll produziert wird. Weiterhin bin ich der Meinung, dass sich solche Hersteller gerade über längere Sicht selber damit ins Aus manövrieren. Gerade, wenn ich eine größere Installation plane und z.B. alles in meinem Haus automatisierbar machen möchte, muss ich mir Gedanken über Interoperabilität oder Zukunftssicherheit machen. Wird <kleiner Hersteller> noch in 3 Jahren existieren und weitere Geräte / Ersatzteile liefern können? Wird <kleiner Hersteller> Firmwareupdates liefern, wenn Sicherheitslücken bekannt werden? Wird der Cloudservice von <kleiner Hersteller> in 2 Jahren noch am Netz sein? Stehen die Server für die Dienste von <kleiner Hersteller> alle in China?

Bei diesen Fragen muss ich eigentlich zu dem Schluss kommen, dass <kleiner Hersteller> nicht in die engere Wahl kommen kann, und <großer Monopolist> auf dem Papier die sicherere Möglichkeit ist. Im Linux Magazin von 2017 ist das Dilemma schon beschrieben:

Und es gibt weitere gute Gründe, die gegen die fertige Hue Bridge von Philips sprechen: Wer etwa die schlauen Lampen von Ikea (Trådfri) besitzt, kann diese nicht mit dem Hue-Gateway verbinden. Denn die Ikea-Lampen sprechen ZHA, während Hue zwingend ZLL als Zigbee-Profil will. Im schlimmsten Falle muss man also zwei separate Steuergeräte betreiben, die voneinander nichts wissen: Komfortabel geht anders.

Natürlich könnte man verschiedenste Zentralen kaufen und diese dann über Home Assistant (in vielen Fällen zumindest) koordinieren, aber warum sollte ich mehr als eine Zentrale überhaupt haben? Zusätzlich ist es auch nicht so, dass <großer Hersteller> notgedrungen für Qualität steht, besonders schön beschrieben in einem Video von Linus Tech Tips.

Das vorläufige Fazit ist auf jeden Fall, dass es auch heute nicht möglich ist, einfach Heimautomatisierungs-Bestandteile zu kaufen und sie “einfach so” einzusetzen. Mindestens muss man sich lange mit Kompatibilitäten auseinander setzen.

Ich experimentiere jetzt erstmal mit Zigbee2MQTT rum, da ich da zumindest schonmal die Meldungen vom Thermostat roh sehen kann.

Home automation für mich

Views: 206

Meine Heizung soll besser für mich funktionieren. D.h. dass nur geheizt werden soll wo und wann ich das möchte. In meiner Wohnung gibt es 5 Räume und einen Thermostat. Dieser Thermostat ist in der Küche montiert – die Küche gehört aber zu den Räumen, die ich am wenigsten heizen möchte.

Damit ein Thermostat an- und ausschalten kann, benötigt er neben einer Zieltemperatur, die über der aktuellen Raumtemperatur liegt (zum Anschalten) einen heizenden Heizkörper, damit die Raumtemperatur zur Zieltemperatur steigen kann (zum Ausschalten). Entweder heize ich die Küche gar nicht – dann kann der Thermostat aber auch nicht aus schalten, oder ich heize sie mit und rate, welche Temperatur in der Küche sein muss, wenn ich in meinen Wohnräumen vernünftige Bedingungen haben möchte. Allerdings, abhängig gerade auch von der Außentemperatur, ist das alles nur ein Raten.

Das Ziel für mich ist, 2 Räume sollen kontrolliert geheizt werden, 1 Raum bekommt etwas vom Heizwasser ab, und 2 Räume werden nicht geheizt. Solange einer der kontrollierten Räume noch geheizt werden muss, muss die Gastherme an sein (was sonst die Aufgabe des Thermostats in der Küche wäre). In den zu heizenden Räumen müssen Heizkörperthermostate jeweils dort die Wärme kontrollieren.

An-/Ausschalten der Therme ist eigentlich ganz einfach, da ist eine Signalleitung, die 0V – 24V hat. Mit einer simplen Transistorschaltung kann ein Raspberry-Pi das schalten. Ich habe mir da auch eine simple Weboberfläche für geschrieben, mit der ich die Therme (eigentlich die Pumpe der Therme) an und aus schalten kann, sowie simple Vorprogrammierung. Da die Schaltung parallel zu der bestehenden Funktion des Thermostats existiert, kann der originale Thermostat noch als Frostschutz funktionieren. Allerdings habe ich damit noch keine detaillierte Kontrolle darüber, wie warm die einzelnen Räume werden.

Also benötige ich ein Temperatur-Feedback sowie Thermostate an den einzelnen Heizkörpern.

Für mich klingt das so, als müsste das durch die eine oder andere Heimautomatisierung machbar sein.

Und jetzt versuche ich, zu verstehen, wie ich das hinkriegen kann. Insbesondere, da sämtliche Geräte nicht nach Hause telefonieren sollen. Alles soll über einen lokalen Server gehen (wie das von außen steuerbar ist, ist erstmal ein nachrangiges Problem). Ich möchte nicht, dass meine Steuerung davon abhängig ist, dass ein Hersteller einen Cloudservice auch in einem Jahr noch anbietet. Ich möchte auch nicht, dass der Cloudservice eines Herstellers die Information erhält, wie mein Lebensrhythmus ist.

Ein erster Versuch von mir, die Zusammenhänge und Anforderungen an die einzelnen Komponenten zu verstehen, brachte mir nur noch mehr Konfusion. Entweder bin ich nicht in der Lage, richtig zu suchen, oder es gibt sehr wenig Material für einen ersten Einstieg. Wäre ich nicht so paranoid, würde ich jetzt vielleicht doch irgendeinen scheinbaren Standard mit Cloud Service nehmen und dann unnötige Daten über mich auf Amazon Web Services speichern lassen, es scheint furchtbar kompliziert.

Glücklicherweise haben mir nette Benutzer auf Reddit geholfen, meine erste Verständnisblockade zu beheben.

Theoretisch sollte es also so funktionieren, dass ich an meinen lokale Server einen Zigbee-USB-Stick stecke, der dann mit einem Zigbee-Thermostat kommuniziert. Soweit so gut, insbesondere, da das Gerät dann nicht unkontrolliert im WLAN hantiert, sondern es ein anderer Kommunikationsweg ist.

Ich bin gespannt, was der Thermostat wirklich kann, insbesondere in Zusammenarbeit mit einem lokalen Server. In meiner Vorstellung kann ich nicht nur dem Thermostat mitteilen, dass er anmachen soll, sondern auch, dass ich Feedback bekomme, ob der Thermostat an ist, welche Temperatur er misst etc. Thermometer haben die alle, damit sie auch ihre eigene Funktion steuern können.

Wahrscheinlich wird es dann aber eher so sein, dass ich nur dem Thermostat eine Zieltemperatur geben kann, und es kommen keine auswertbaren Daten zurück. Aber ich weiß es im Moment noch nicht, die technischen Daten schweigen sich über so etwas natürlich aus.

Crumar Organizer T1 / T2 Netzteil

Views: 351

Beide Geräte, Crumar Organizer T1 und T2, benutzen das gleiche Netzteil. Ein Transformator mit Mittenabgriff produziert Wechselspannung, die in einen Brückengleichrichter geht und dann +/- 22-24 Volt gegen Masse bzw. den Mittenabgriff darstellt. Über Spannungsregulierer (78M15 für positiv, 79M15 für negativ) werden dann die +/- 15V erzeugt, mit denen ein T1 / T2 arbeitet.

Fehlersuche

Alle T1 / T2, die ich bisher in den Händen hatte, hatten mindestens einen Fehler im Netzteil. Dank des übersichtlichen Aufbaus ist eine Fehlersuche recht einfach. In den meisten Fällen brennen die beiden 1A-Sicherungen (6) direkt beim Einschalten durch, daher sind die zuerst zu prüfen. Wenn die Sicherungen durchgebrannt sind, kann man natürlich sein Glück versuchen, die Sicherungen austauschen und hoffen, dass die nur zufällig durchgebrannt sind – ja, so etwas kommt vor, aber das habe ich bei diesen Netzteilen noch nicht gesehen.

Da die Spannungsregler (13) per Design auf 500 mA begrenzt sind (und +300mA / -200mA im Schaltbild gefordert werden), müssten die Sicherungen auch bei kurzfristig erhöhter Last funktionieren. Die Spannungsregler sind in Realität irgendwelche, je nachdem, was Crumar zu dem Zeitpunkt ergattern konnte. Hauptsache +/- 15V.

Wenn die Sicherungen aufgeben kann ich mir hier sicher sein, dass ein echter Kurzschluss vorliegt. Bei all meinen Netzteilen waren die 1µF-Kondensatoren (9/11/14) Tantal-versionen, und bei allen haben diese Kondensatoren aufgegeben was sich meistens als Kurzschluss gezeigt hat. Bei den größeren Elkos (laut Schaltbild beide 2000 µF, in Realität war aber immer der Kondensator in der negativen Spannungsversorgung lediglich ein 1000 µF) war es bisher 50/50 ob die defekt waren. In jedem Fall lohnt es sich, die Tantals mindestens an einem Beinchen auszulöten. Ich habe es bei 2 Netzteilen ausprobiert, dass ich die größeren Kondensatoren austausche, aber die Tantals drin lasse. Beides Mal explodierten die Tantals in der selben Reihenfolge – positiv vor Spannungsregler, negativ vor, positiv nach, negativ nach Spannungsregler.
Ich würde daher im Netzteil einfach sofort alle Kondensatoren tauschen.

Mir ist es noch nicht passiert, dass einer der Spannungsregler defekt wäre. Wären die direkt auf der Platine, würde ich die aber auch direkt austauschen, die Teile kosten nichts. Allerdings sind die Regler mit einer Steckplatine und dünnen Drähtchen verbunden. Ich möchte immer soweit möglich alles so original wie möglich erhalten, daher bleiben die Regler, wo sie sind. Würde ich da etwas anpassen wollen, dann würde ich mir direkt 2 15Volt Netzteile kaufen und die als vollen Austausch vom Originalnetzteil nehmen. Schon alleine, weil moderne Netzteile viel effizienter arbeiten. Das musste ich bei einem T1 machen, da dort der Transformator selber einen Kurzschluss hatte, und ich ehrlich gesagt keine Lust hatte, dann noch einen Ersatztrafo zu finden.

Wenn die Glimmlampe im Schalter nicht leuchtet, ist entweder das Kaltgerätekabel zum Netzteil kaputt, die 250 mA-Sicherung durchgebrannt, der Schalter defekt oder einfach die Glimmlampe hinüber – defekte Glimmlampe hatte ich schon, aber keins der anderen Probleme.

Mechanisches

Um an die Lötseite der Hauptplatine zu kommen, müssen 4 Schrauben gelöst werden. Die beiden näher am Transformator haben Abstandshalter während die beiden anderen Winkel zum Fixieren der Platine haben. Für mich ist die Schraube rechts oben im Bild nicht erreichbar, spätestens beim Einbau habe ich mit meinen Fingern keine Chance mehr.
Aber der Sicherungshalter und der Kühlkörper mit den Spannungsreglern kann abgeschraubt werden. Etwas Vorsicht ist hier geboten, ich reiße regelmäßig die dünnen Drähtchen ab und muss sie dann wieder anlöten.

Wenn alles gut gegangen ist, alle Kondensatoren ausgetauscht und neue Sicherungen eingesetzt sind, sollte das Netzteil am großen Steckverbinder (15) eine direkte Verbindung zu Erde haben, der kleinere daneben (16) eine Spannung von etwa -15V und der dritte (17) etwa +15V haben.

Da das Netzteil nicht immer (alleine) Schuld an Problemen ist, hilft eine kurze Messung bei dem ausgesteckten Stromanschluss (also hinter dem Netzteil). Wenn zwischen Masse und den +/- 15 Volt-Anschlüssen ein Widerstand im Bereich von 20kOhm besteht, kann man die Stromversorgung verbinden und alles könnte wieder funktionieren.

Bei einem T2 habe ich derzeit zwischen +15V und Masse gerade mal 63 Ohm, und das sinkt noch, wenn wirklich Spannung anliegt. Damit habe ich an diesem Gerät dann doch mal den positiven Spannungsregler erledigt.

Korg i3 – power rail repair

Views: 886

I bought a Korg i3 – broken – from ebay, the seller claimed it just stopped working. If that is true, usually the power rail is to blame. And in most cases it’s a dead capacitor. No big deal – usually.

The first board to come out is KLM-1631:

And a check on the components showed me that something let the magic smoke out – LC1. And it was right at the connector to the power supply:

The power supply looked good, so I assumed this was the culprit.

According to the Service manual, LC1 is a DST310, a component I hadn’t seen before, but I had guessed right, a blown capacitor.

I don’t have these and couldn’t find a source – maybe these aren’t produced anymore? But it’s just a power filter, I could probably get away with just connecting CN8A-5 directly to the “A” point. But having capacitive storage in a power rail is always a good thing. And since I’m already in there, I can do at least a decent job.

So I desoldered this LC1, cleaned the board and had to find the traces were eaten away. I additionally removed C92 as these capacitors were just in parallel. Also, maybe C92 was damaged by some surge – it was in the way and costs next to nothing. Only to find out that the trace going to C92 had left us as well.

So, if in doubt – scream and shout. Uhm… these are buffer capacitors, so they just sit between plus and minus, both traces were large enough to just scratch the solder screen off and solder in capacitors. Again, I could probably have gotten away with just one, but the original schematic had two, so I used two:

Yep, it’s ugly. Yep, I probably should have used a ceramic for the smaller one, but seriously, it is the 5V rail, quite likely this is the supply for the logic and won’t have any effect on the sound.

Starting up, it works:

So, I was right to assume a blasted capacitor in the power rail was to blame.

But, as Dr. House kept reminding us: people lie.

Next up: Repairing Power-On-Mute on an i3.

Salesforce Mailchimp integration update 1.93.2

Views: 1495

Unfortunately Mailchimp created a little hickup in the update 1.93.2 (2020-08-11) to their Salesforce integration. When you open the setup “MC Setup” you might be greeted with an error message:

“Read” permission to field “MC4SF__Prompt_For_Full_Sync__c on object “MC4SF__MC_List__c” is not allowed for the current user.

I had seen this on my Developer Edition org at first and contacted the Mailchimp support. Sadly it doesn’t seem to ring enough alarm bells, the final answer was “Since the error has a quick fix and it’s not causing an issue in all accounts, we will be keeping an eye out for further instances to see if there are any similarities.” It seems a bit strange to me, as this is breaking existing installations when the update is applied.

However, there is a solution. In the field level security settings of the field “Prompt For Full Sync” on “MC Audience” you have to give read access to this field for all profiles that will use the Mailchimp integration.

In “Setup” navigate to “Object Manager”

Then select “MC Audience”

And in Fields & Relationships select “Prompt For Full Sync”

Then go to the field level security and grant at least read permissions to all profiles that use the Mailchimp integration

It seems that “read” is all that is required, but I don’t know that for a fact.

I’m just astonished that this newly introduced field seems to be a necessity, yet the managed package does not provide any permissions for this field. Additionally I would have expected Mailchimp to quickly remedy this issue. Luckily for ConcisCons customers, I had seen that problem before they experienced problems with that.

Additionally, it seems that these missing permissions in a managed package is not a first for Mailchimp: the MC Setup page is returning an error

Salesforce Lightning Component – Strange Input Behaviour

Views: 525

I was a bit astonished by one reaction of a lightning:input field: whatever I typed in there, nothing appeared in the field. It wasn’t any event handler that I added, but a mistake on my side.

The component was very simple:

<aura:component access="global" controller="MyController">
<lightning:input value="{!v.filterText}"
label="Filter"
name="myFilter"
placeholder="Filter here...!" /> </aura:component>

The issue was, that the aura:attribute with the name “filterText” was not defined.

Okay, sure, that’s a mistake, but: really? No reaction at all? Not even an error message, only pure silence.