News items for tag statistics - Koos van den Hout

2021-11-12 Meer magische getallen in Sunspec Modbus
Na een poosje blijkt ook het getal 65534 (0xFFFE) in sunspec modbus antwoorden een vorm van 'geen geldige uitlezing' te kunnen zijn. Ik heb de scripts die de gegevens ophalen en verwerken richting influxdb hier op aangepast.

Tags: , ,
2021-11-10 Nieuwe firmware geïnstalleerd in SolarEdge omvormers
Het lokaal uitlezen van de SolarEdge omvormers via Modbus/TCP ging op den duur toch weer haperen, zeker over wifi.

Ik begreep uit wat beschrijvingen dat het bijwerken van de firmware in de omvormer hierbij zou moeten helpen dus dat heb ik vandaag gedaan. Ik had eerder naar een van de omvormers ook een netwerkkabel gelegd maar nog niet de omvormer open gemaakt om die van binnen aan te sluiten. Nu moest de omvormer ook open om de firmware bij te werken dus heb ik gelijk het ontbrekende stukje UTP kabel gemaakt en aangesloten, en de wifi module verwijderd.

De SolarEdge handleiding voor het bijwerken van omvormer firmware had na alle stappen om de omvormer veilig open te maken een aantal stappen voor het kiezen van een upgrade maar de omvormer 'zag' gelijk bij het inschakelen dat er een kaartje met firmware in zat en startte vanzelf de upgrade.

Op beide omvormers is de upgrade gelukt. De omvormer waar ik ook de netwerkaansluiting omgezet heb van wifi naar bedraad wil momenteel geen gegevens doorgeven naar SolarEdge monitoring (ik zie wel verkeer naar buiten gaan) en er staat ook geen S_OK op het display. Ik denk dat dat komt door de wijziging netwerkaansluiting. Volgens wat bronnen kan dat even duren, maximaal 2 dagen.

Ondertussen kan ik nu via Modbus/TCP de nodige gegevens goed uitlezen, en ik heb wat veranderingen aan het monitoring script gemaakt zodat er ook data van de afzonderlijke omvormers naar een influxdb database gaat.

Tags: , ,
2021-11-09 Zonnepanelen omvormers lokaal monitoren (2)
Gisterenavond de andere omvormer ingesteld voor Modbus TCP. Ook hier hetzelfde effect, de omvormer reageert eerst niet. Het lijkt dat er een dag/nacht overgang of een aantal uren wachten nodig is voor deze instelling overgenomen is.

Nu met zonlicht:
$ ./sunspec-status -v se-boven -m 0
INVERTER:
             Model: SolarEdge  SE2200
  Firmware version: 3.2434
     Serial Number: xxxxxxxx

            Status: ON (MPPT)

 Power Output (AC):          129 W
  Power Input (DC):          130 W
        Efficiency:        98.51 %
  Total Production:     2952.829 kWh
      Voltage (AC):       238.90 V (49.99 Hz)
      Current (AC):         0.78 A
      Voltage (DC):       380.10 V
      Current (DC):         0.34 A
       Temperature:        30.16 C (heatsink)

Als de omvormer iets meer actief wordt komt er inderdaad een meting uit het DC voltage. In de verwerking moet ik dus echt een uitzondering maken voor 'geen data' bij uitlezing 65535.

Tags: , ,
2021-11-07 Zonnepanelen toch (ook) lokaal monitoren
Onze zonnepanelen met SolarEdge omvormers liggen er al een tijd en na wat nadenken over monitoring heb ik toen toch voor de optie gekozen om de gegevens gewoon aan de solaredge API te vragen en wat te verwerken in rrdtool voor mooie grafiekjes en in een postgresql database voor langdurig bewaren.

Maar de laatste weken krijg ik vrij regelmatig foutcode 429 van de SolarEdge API dat ik teveel queries zou doen. Ik kan niet terugvinden waar dat vandaan komt. Ook na het vervangen van de API key (zodat eventuele andere scripts die ik heb laten slingeren met mijn api key stoppen) blijven deze status 429 resultaten komen:
HTTP Status 429 – Too Many Requests
Message Concurent limit quota exceeded
Description The user has sent too many requests in a given amount of time ("rate limiting").
Tijd om naar de opties te kijken om de omvormers uit te lezen via Modbus over TCP. De code is er: tjko/sunspec-monitor: Monitoring Sunspec (Modbus TCP) compatible Solar Inverters - GitHub maar nu de omvormers zo ver krijgen dat dit werkt.

Update: Handleiding gevonden hoe ik Modbus TCP inschakel op de SolarEdge omvormer. Voorlopig lijk ik er tegenaan te lopen dat de Modbus TCP setting dit maar 2 minuten open stelt en daarna weer afsluit. Terwijl ik dit eigenlijk eens per 5 of 10 minuten wil opvragen. Met een firmware upgrade schijnt dit te verhelpen te zijn.

Update: Een paar uur later snapt de omvormers wel Modbus TCP op poort 502. Vreemd, het lijkt wel alsof het een tijdje duurt voordat de configuratie actief wordt. Hoe dan ook, succes:
$ ./sunspec-status -m 0 -v se-schuur
INVERTER:
             Model: SolarEdge  SE2200
  Firmware version: 3.2434
     Serial Number: xxxxxxxx

            Status: SLEEPING

 Power Output (AC):            0 W
  Power Input (DC):            0 W
        Efficiency:         0.00 %
  Total Production:     3514.256 kWh
      Voltage (AC):       239.30 V (49.99 Hz)
      Current (AC):         0.00 A
      Voltage (DC):      6553.50 V
      Current (DC):         0.00 A
       Temperature:        17.79 C (heatsink)

De 6553.5 volt DC lijkt nog een vreemd iets (uitlezing 65535 keer vermenigvuldigingsfactor -1), ik moet morgen als de omvormer wakker is dit nog eens controleren. Omdat er een aantal andere variabelen ook 65535 zijn lijkt het een geval 'niet actief' of iets dergelijks. Nalezen van de sunspec modbus specificatie geeft bevestiging: waarde 0xFFFF (65535) is voor 'not implemented'.

Ik zie mooie grafiekjes zonnestroom aankomen als ik deze data in influxdb stop en er grafana op loslaat.

Tags: , ,
2021-09-11 Adding physical hardware temperatures in telegraf/influxdb/grafana
Grafana dashboard with host cpu temperatures After starting the collection of a lot of the system data I wanted with telegraf/influxdb/grafana one small part was missing: the system temperature sensors. I like these, so I had a look and found the inputs.temp plugin in telegraf which is normally disabled.

Enabling it on hosts that have actual hardware to measure worked ok. On the Raspberry Pi systems it gives one temperature:
> SHOW TAG VALUES ON "telegraf" WITH key="sensor" WHERE host='joy'
name: temp
key    value
---    -----
sensor cpu_thermal_input
On the home server conway it gives quite a lot of temperatures:
> SHOW TAG VALUES ON "telegraf" WITH key="sensor" WHERE host='conway'
name: temp
key    value
---    -----
sensor coretemp_core0_crit
sensor coretemp_core0_critalarm
sensor coretemp_core0_input
sensor coretemp_core0_max
sensor coretemp_core1_crit
sensor coretemp_core1_critalarm
sensor coretemp_core1_input
sensor coretemp_core1_max
sensor coretemp_core2_crit
sensor coretemp_core2_critalarm
sensor coretemp_core2_input
sensor coretemp_core2_max
sensor coretemp_core3_crit
sensor coretemp_core3_critalarm
sensor coretemp_core3_input
sensor coretemp_core3_max
sensor coretemp_core4_crit
sensor coretemp_core4_critalarm
sensor coretemp_core4_input
sensor coretemp_core4_max
sensor coretemp_core5_crit
sensor coretemp_core5_critalarm
sensor coretemp_core5_input
sensor coretemp_core5_max
sensor coretemp_physicalid0_crit
sensor coretemp_physicalid0_critalarm
sensor coretemp_physicalid0_input
sensor coretemp_physicalid0_max
For the dashboard showing all relevant temperatures for a system this is a bit overkill and makes the dashboard hard to read. Solution: go for all the temperature sensors that end in 'input', with the variable in the dashboard defined as 'ending in input':
> SHOW TAG VALUES ON "telegraf"  WITH key="sensor" WHERE host='conway' AND sensor=~/input$/
name: temp
key    value
---    -----
sensor coretemp_core0_input
sensor coretemp_core1_input
sensor coretemp_core2_input
sensor coretemp_core3_input
sensor coretemp_core4_input
sensor coretemp_core5_input
sensor coretemp_physicalid0_input
So far this works with all physical systems.

Tags: , ,
2021-09-09 Collecting more system data with Telegraf for Influxdb/Grafana
Grafana host dashboard with telegraf data including entropy
Grafana host dashboard with telegraf data including entropy. The dip in entropy is caused by the dnssec-signzone process
I have been collecting certain system data for ages with rrdtool, but now I see what is possible with Telegraf collecting agent and after some initial attempts I'm all in favour and data is flowing.

All the data I collected is already standard in telegraf, including entropy! Other data is also collected that is good to keep an eye on for performance.

I made some tweaks to the standard telegraf configuration: collect every 5 minutes, not exactly on the clock since I read The mystery of load average spikes which reminded me of my own experience Be very careful of what you measure. I also avoid gathering data on nfs filesystems (which come and go thanks to autofs).

I rolled out telegraf over all systems at home, and now there is a nice 'System info' dashboard in Grafana.

Tags: , ,
2021-09-05 Network traffic statistics in Influxdb/Grafana
Grafana dashboard with network traffic I continued my slow migration of statistics to Influxdb/Grafana and added the network traffic. I've been gathering this for ages in rrdtool, my earlier view was that I've been using rrdtool for network and other statistics since October 2002 so it is a bit of a change.

I updated the perl scripts that fetch network traffic statistics over SNMP to also add the data to influxdb. And it was simple to create a dashboard with that data. The overview pages with data for all interfaces for one measured host also link to detail pages per interface which also show the number of errors.

Tags: , ,
2021-07-29 Zigbee - zigbee2mqtt - mqtt-to-influxdb-forwarder - influxdb - grafana working
Grafana screen with environment data
Grafana screen with environment data
It may seem like a complicated stack compared to monitoring with rrdtool, but the wireless environmental monitoring with zigbee plans are starting to work. The zigbee stick arrived, I found out I needed to upgrade the Raspberry Pi in the utility closet to be able to run zigbee2mqtt so I did that: Raspberry pi monitoring the smart meter is now installed and the zigbee environment sensors arrived and the first one joined the network. After some changes to mqtt-to-influxdb-forwarder I was able to get the data into influxdb.

The final step was to tell grafana where to find the data and create a dashboard visualizing the results, see the screenshot.

I'm also improving small things in using zigbee sensors and improving data collection. After learning about not leaving the network running with permit_join true I had a look at the configuration messages I can send to zigbee2mqtt. It is clear zigbee2mqtt is not just from zigbee sensors to mqtt messages but also the other way around, both to adjust settings in zigbee2mqtt itself and to send commands to zigbee devices.

I did change the friendly_name of the first sensor to the name of the room it is in, and it's now showing up in the statistics under that name. This does break the history, so I should change the name as soon as I add a sensor to the zigbee network.

Tags: , , ,
2021-07-02 Be very careful of what you measure
Screenshot change in ping time I realized the high maximum IPv4 ping times never showed up when I redid the measurement by hand, and IPv4 was the first test in the crontab line.

So I guess a lot of scripts ping ping.xs4all.nl every 5 minutes and it's a bit congested at exactly that time. I added a small delay before the start of the measurement and suddenly the strange peaks are gone.

Tags: ,
2021-06-07 Wireless enviromental monitoring with zigbee
Since January 2008 I measure temperatures and other environmental data in and around the house with 1-wire sensors and adaptors. These work fine but need wires between the sensors and that isn't ideal for quick spot measurements.

So I looked into other options recently, and found affordable zigbee temperature/air pressure/humidity sensors. And an USB zigbee interface which works with linux and with a lot of the available application software. Because the next problem is going sensor - zigbee network - zigbee usb interface - some magic - database of measurements.

Because I see myself wanting long series of measurements from a number of places in the house and testing without breaking those series I ordered two USB zigbee interfaces and eight environmental sensors. I guess I want production and development enviromental monitoring.

The zigbee stick is not the cheapest solution but it is documented to work with zigbee2mqtt and buying one supports work on that software.

Tags: , ,

IPv6 check

Running test...
, reachable as koos+website@idefix.net. PGP encrypted e-mail preferred. PGP key 5BA9 368B E6F3 34E4 local copy PGP key 5BA9 368B E6F3 34E4 via keyservers

RSS
Meningen zijn die van mezelf, wat ik schrijf is beschermd door auteursrecht. Sommige publicaties bevatten een expliciete vermelding dat ze ongevraagd gedeeld mogen worden.
My opinions are my own, what I write is protected by copyrights. Some publications contain an explicit license statement which allows sharing without asking permission.
Other webprojects: Camp Wireless, wireless Internet access at campsites, The Virtual Bookcase, book reviews
This page generated by $Id: newstag.cgi,v 1.35 2021/11/09 13:09:49 koos Exp $ in 0.021044 seconds.