!Friendica Support
Gibt es eine Anleitung wie man eine #friendca instanz #umziehen kann.
Aktuell hat meine Datenbank ca. 18 GB und der Server kommt an die Grenzen.
wobei ich mich frage was da alles in der DB steht :astonished face:
Allein schon die Abfrage auf die 40 Mio Datensรคtze bringt die DB und den Server ins schwitzen.
Matthias โ
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Schau mal hier https://github.com/friendica/friendica/blob/develop/doc/Migrate.md
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Matthias โ • • •Ok danke - hoffen wir mal das dies funktioniert - weil so geht das mit der DB nicht mehr weiter - alles wird zรคher und zรคher
Hiker
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Hiker • • •nun ich hab auch nur 2 User hier laufen und die lรคuft ca. 1,5 - 2 Jahre.
Ich hab auch keine Ahnung was da alles drinnen steht.
Parallel hab ich nun eine Sharkey (Misskey) Instanz am laufen - mal schauen wie sich da die Datenbank entwickelt.
Hiker
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Matthias โ
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Rรคume die DB von Zeit zu Zeit auf, damit der Platz wieder freigegeben wird.
Die DB hier ist โ50 GB groร, lรคuft seit fast einen Jahrzehnt und beherbergt einige hundert User.
Hiker
in reply to Matthias โ • • •Matthias โ
in reply to Hiker • • •mysqloptimize -p DB-Name
Hiker
in reply to Matthias โ • • •Nordnick :verified:
in reply to Hiker • • •@Hiker
Ist es #MySQL oder #MariaDB?
Zumindest bei #MyISAM sollte auch via #SQL ein #OPTIMIZE funktionieren...
@feb @zwovierzwo
Hiker
in reply to Nordnick :verified: • • •10.6.16-MariaDB MariaDB Server
@feb @zwovierzwo
Hiker
in reply to Nordnick :verified: • • •Table does not support optimize, doing recreate + analyze instead
@feb @zwovierzwoNordnick :verified:
in reply to Hiker • • •@Hiker
Ah, okay, also keine Tabelle vom Typ #InnoDB, #MyISAM oder #ARCHIVE?!
https://dev.mysql.com/doc/refman/8.0/en/optimize-table.html
@feb @zwovierzwo
MySQL :: MySQL 8.0 Reference Manual :: 15.7.3.4 OPTIMIZE TABLE Statement
dev.mysql.comHiker
in reply to Nordnick :verified: • • •Nordnick :verified:
in reply to Hiker • • •@Hiker
Mhmm, sollte laut Doku doch eigentlich laufen?
https://mariadb.com/kb/en/optimize-table/
@feb @zwovierzwo
OPTIMIZE TABLE
MariaDB KnowledgeBaseHiker
in reply to Nordnick :verified: • • •Hab es jetzt auch gelesen - es optimiert aber wirft trotzdem die Meldung. @feb @zwovierzwo
Raroun
in reply to Hiker • • •Nur MyISAM Tabllen unterstรผtzen eine Optimierung.
InnoDB halt nicht.
Das Ergebnis ist nahezu das gleiche. MyISAM kann "on the fly" optimiert werden, InnoDB nicht.
Bei InnoDB wir die Tabelle Analysiert und und dann ohne Lรผcken neu erstellt (also sauber kopiert) - von daher die Meldung.
Hiker
in reply to Raroun • • •Raroun
in reply to Hiker • • •Nicht alle Tabellen werden von Friendica automatisch optimiert.
Die Dauer der Optimierung hรคngt stark von der zur Verfรผgung stehen Leistung ab.
Hier dauert die Optimierung einer kompletten 160gbyte groรen Friendica Datenbank derzeit ca.25 Minuten.
Hiker
in reply to Raroun • • •Raroun
in reply to Hiker • • •Das geht problemlos mit Dateisystem-Snapshots, machen wir auch so.
Be einem Shared hoster ist es leider schwierig nachvollziehen, bzw. zu erahnen wie dort die Datensicherungen durchgefรผhrt werden.
Eine Lรถsung hierfรผr habe ich nicht, aber vielleicht kann man mit dem Anbieter kommunizieren und eine Lรถsung finden, die beide Seiten zufrieden stellt.
Sollte dies fehlschlagen - aus welchem Grund auch immer - Anbieterwechsel und vorher die Anforderungen schildern.
Hiker
in reply to Raroun • • •Michael Vogel
in reply to Hiker • • •Hiker
in reply to Michael Vogel • • •Raroun
in reply to Hiker • • •@Nordnick :verified: @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Man kann auch manuell ein ANALYSE und RECREATE durchfรผhren.
Irgendwann haben sich die Entwickler dazu entschieden, das im "OPTIMZE" fรผr InnoDB automatisch zu machen.
Die Meldung teilt nur mit, das hier ein alternativer Weg gegangen wird, der nativ nicht unterstรผtzt wird.
Michael Vogel
in reply to Nordnick :verified: • • •๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Matthias โ • • •50GB ๐ณ
Ich will ja nix sagen aber wahrscheinlich hast du zig 100 Nutzer ๐ค
Raroun
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Die Nutzerzahl ist gar nicht so entscheidend - eher wie stark die Instanz "vernetzt" ist und ob relay Server abonniert sind, oder halt nicht.
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •wรคre es da nicht sinnvoll wenn man eine "anstรคndige" Datenbank wie Postgres verwendet
Hiker
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Matthias โ
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Was macht die "anstรคndiger" als mysql? Du wirst nur andere Herausforderungen haben.
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Matthias โ • • •nun eine Postgres ist fรผr groรe Daten gut geeignet
@Hiker
Matthias โ
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Jede DB braucht Pflege (egal wie sie heiรt). Wer die vernachlรคssigt wird unweigerlich in einen Flaschenhals hinein laufen.
Hiker
in reply to Matthias โ • • •Wenn ich den Provider richtig verstanden habe, wird jedes Mal, wenn worker gestartet wird (also relativ oft (alle 10 Min zB), wird auch an den Tabellen optimiert. @zwovierzwo
Michael Vogel
in reply to Hiker • • •๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Matthias โ • • •Nun das sollte die Anwendung รผbernehmen
@Hiker @Friendica Support
alfredb
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ Ich denke nicht, dass ein DB-Wechsel diese Probleme wirklich lรถsen wรผrde. Fรผr mich riecht das eher nach einem konzeptionellen Problem.
@Hiker @Matthias โ
๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to alfredb • • •das mag wohl sein - so genau hab ich mir die Datenbankstruktur noch nicht angeschaut.
Michael Vogel
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Michael Vogel • • •@Michael Vogel
Es geht prinzipiell nicht "nur" um die Datenbankgrรถรe sondern um die Geschwindigkeit. Aktuell lรคuft auf einer 8 Core Xenon und 32 GB Speicher sowie SSD eine #friendica .. und trotzdem wird die Instanz 1-single User und 1 Bot immer langsamer ...
Fรผr Projekte mit so groรe Datenmengen habe ich immer Postgres eingesetzt und fรผr schnelle immer wieder benรถtigte Info kommt eine Redis DB zum Einsatz.
Bisher bin ich damit sehr gut gefahren und hatte nie Probleme mit Geschwindigkeiten auch auf wesentlich schwรคcheren Systemen :thinking face:
Aber OK ist halt jetzt so ... und ich muร schauen wie ich damit umgehe.
@Hiker @Matthias โ
Hiker
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Steffen K9 ๐ฎ
in reply to Hiker • • •xy..
in reply to Steffen K9 ๐ฎ • • •315 GB .. thats all text ? or also images.. I have also wondered how mostly text can become so large in the db. before friendica, I thought my piwik database with 20 MB would be too big
Steffen K9 ๐ฎ
in reply to xy.. • • •filesystem
. โบ๏ธutopiArte
in reply to Steffen K9 ๐ฎ • • •filesystem als storage scheint eine wichtige und grundsรคtzliche einstellung zu sein.
hier ein link zu einer anleitung um einen server einzurichten bzw und/oder umzuziehen:
https://tupambae.org/display/0ac89072-9365-5d9d-8485-599077309156
(noch in bearbeitung)
Michael Vogel
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •alfredb
in reply to Hiker • • •Ich habe das ยซWachstumยป der DB eine Weile รผberwacht. Die Grรถsse steigt unaufhaltsam um ca. 4.5 MB/Tag.
Nordnick :verified:
in reply to alfredb • • •Wo lagert bei Euch ein Mediencache von anderen Instanzen?
Michael Vogel
in reply to Nordnick :verified: • • •Tuxi :Friendica: ๐ง โ
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Ein
mysqloptimize -p friendica-db
hatte bei mir vor einiger Zeit mal ordentlich Platz gemacht.๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Tuxi :Friendica: ๐ง โ • • •Tuxi :Friendica: ๐ง โ
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Ja klar. Du brauchst Zugriff auf die Konsole und mysql.
ginAd
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •Wolfgang P.
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •alfredb
in reply to Wolfgang P. • • •@Wolfgang P. Das mache ich schon so. Nun sind die Gigabytes einfach im Storage Verzeichnis.
Increase
DB 4.30 MB/Day
Storage 6.56 MB/Day
Total 10.86 MB/Day
@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Michael Vogel
in reply to alfredb • • •๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
in reply to Wolfgang P. • • •Also ich Speicher schon die Profilbilder nicht in der Datenbank
Wolfgang P.
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •alfredb
in reply to Wolfgang P. • • •@Wolfgang P. Aktuell 90 Tage. Ich habe jedoch die 30 Tage auch ausprobiert, in der Hoffnung auf eine Abflachung der Kurve. Fehlanzeige, das muss etwas anderes sein.
@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
in reply to alfredb • • •alfredb
in reply to Hiker • • •@Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
in reply to alfredb • • •Michael Vogel
in reply to alfredb • • •alfredb
in reply to Michael Vogel • • •@Michael Vogel Ich habe das vor einigen Wochen mal kurz probiert. Seitdem ist ein Teil der Avatare "geblurrt".
Wรคre toll, wenn ich das wieder wegbrรคchte.
@Hiker @Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Matthias โ
in reply to alfredb • • •Hast du den Avatar-Cache nur deaktiviert oder das Verzeichnis gelรถscht?
In der DB werden nach dem Deaktivieren weiter eine Relation aufgebaut aber keine neuen Avatare angelegt. Nach einiger Zeit wird die Relation entfernt und du ziehst die Daten wieder direkt รผber das Netz (so zumindest meine Beobachtung)
alfredb
in reply to Matthias โ • • •alfredb
in reply to Matthias โ • • •@Matthias โ
Welches Verzeichnis meinst du denn?
BTW hรคtte ich erwartet, dass die Funktion "Re-fetch contact data" die Originalbilder erneut abholt.
Matthias โ
in reply to alfredb • • •@alfredb
Ich habe spรคter verstanden, dass du eine Funktion im Adminbereich meinst.
Es gibt noch eine, die รผber die Config eingerichtet wird
alfredb
in reply to Matthias โ • • •Matthias โ
in reply to alfredb • • •Ok, in dem Fall war meine Frage nach dem Verzeichnis nicht hilfreich ;)
alfredb
in reply to Matthias โ • • •Michael Vogel
in reply to alfredb • • •Hiker
in reply to Michael Vogel • • •@heluecht Kaum. Auch wenn ich auf seinen Account gehe, sind Teil der Avatare kaputt.
https://social.alfredbuehler.ch/photo/contact/80/34?ts=1704566917
@powo01 @zwovierzwo @abu
Hiker
in reply to alfredb • • •alfredb
in reply to Hiker • • •@Michael Vogel @Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
in reply to alfredb • • •alfredb
in reply to Hiker • • •@Hiker Nein, natรผrlich nicht. Die Bilder mรผssten wohl echt aus dem Cache geworfen werden. Aber wie?
@Michael Vogel @Wolfgang P. @๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐
Hiker
in reply to alfredb • • •Raroun
in reply to alfredb • • •Nach dem Umstellen des Wertes, muss Du ein OPTIMZE fahren.
Das ist wie eine Defragmentierung bei HDDยดs.
Nur weil Beitrรคge gelรถscht werden, wir die Datenbankdatei nicht kleiner. Gelรถschte Beitrรคge machen Speicherplatz in der Datei frei, welcher wieder belegt werden kann, verkleinert aber nicht die Datenbank.
Das Verkleinern macht dann das OPTIMZE - die Datenbanktabellen werden dann ohne Lรผcken neu aufgebaut.
Das Ergebnis ist eine kleinere Datenbank auf dem Storage.
Montag
in reply to ๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐ • • •die mit Abstand grรถรten Tabellen sind bei mir
apcontact
mit 4,6GB undcontact
mit 4,3 GB. Friendica lรถscht wohl auch keine inaktiven Kontakt und mit dem grรถรer werdenden Fediverse werden wohl auch die potentiellen Kontakte mehr. Wรคre schรถn wenn man da mal aufrรคumen kรถnnte. Meine kleine Instanz hat jetzt auch langsam eine 22GB groรe Datenbank und das erscheint mir wirklich ein bisschen zu groร.alfredb
in reply to Montag • • •@Montag
So weit mรถchte (und werde) ich es nicht kommen lassen. Da schalte ich das vorher ab.
@๐ค ๐ณ๐ต๐ผ๐บ๐ฎ๐ โ ๐๐