Forum laadt bliksemsnel - Pagina 2

vlijmscherp · 30 november 2017, 10:28

Citaat:

Oorspronkelijk geplaatst door Jeroen

Nee, maar hier komt het

Het forum was (hopelijk!) erg traag geworden doordat de server al die jaren hetzelfde is gebleven en de database wel bleef groeien. Database en web stonden ook op één dedicated server bij OVH.
Wat ik al gedaan heb nu is de database overgezet naar CloudSQL bij Google Cloud en op een even grote instance als vroeger de gecombineerde server. Wat nog moet gebeuren is vBulletin zelf overzetten naar een aparte instance ook bij Google Cloud, en dan meteen ook eindelijk een SSL certificaat eraan hangen.

Wat er foutliep maandag is dat de database niet alleen 56GB is ondertussen en dus wel even duurt om te exporteren en importeren, maar ook dat ik jaren (11 blijkbaar) geleden (en vergeten) wijzigingen gemaakt heb aan de database van vBulletin om sneller te werken op onze toenmalige hardware en MySQL versie.
Toendertijd had ik de post tabel van vBulletin in meerdere tabellen gesplitst zodat de recentste posts altijd in het geheugen pasten. Dat gebruikte MyISAM dan en om de tabellen terug samen te brengen gebruikte ik MRG_MyISAM. Nu bij de overzetting heb ik ook MySQL geupgrade en meteen ook (eindelijk) InnoDB gebruikt, waardoor dat niet meer werkte. Vermits ik vergeten was dat dat gebruikt werd duurde het even om te vinden wat er fout was. Ondertussen zijn alle aparte postvtabellen geherimporteerd in één en is die in plaats van de merge engine nu gepartitioneerd.

Wat er nog moet gebeuren dus is de laatste stukken van OVH verhuizen naar recentere machines en de webserver + php beer configureren voor die timeouts. De timeout die nu nog voorkomt bij grotere threads is omdat de php-fpm processen eindigen voor de nginx timeout.

En waarom we nog steeds op een antieke vBulletin versie draaien: er zijn verschillende patches in de code gebeurd om sneller te werken jaren geleden en upgraden is niet zo evident met de standaard tools door de omvang, het is mogelijk maar neemt relatief veel tijd in beslag.

ik versta er niets van, het zal maw wel in orde zijn

zonbron · 30 november 2017, 10:36

Citaat:

Oorspronkelijk geplaatst door Jeroen

Nee, maar hier komt het

Het forum was (hopelijk!) erg traag geworden doordat de server al die jaren hetzelfde is gebleven en de database wel bleef groeien. Database en web stonden ook op één dedicated server bij OVH.
Wat ik al gedaan heb nu is de database overgezet naar CloudSQL bij Google Cloud en op een even grote instance als vroeger de gecombineerde server. Wat nog moet gebeuren is vBulletin zelf overzetten naar een aparte instance ook bij Google Cloud, en dan meteen ook eindelijk een SSL certificaat eraan hangen.

Wat er foutliep maandag is dat de database niet alleen 56GB is ondertussen en dus wel even duurt om te exporteren en importeren, maar ook dat ik jaren (11 blijkbaar) geleden (en vergeten) wijzigingen gemaakt heb aan de database van vBulletin om sneller te werken op onze toenmalige hardware en MySQL versie.
Toendertijd had ik de post tabel van vBulletin in meerdere tabellen gesplitst zodat de recentste posts altijd in het geheugen pasten. Dat gebruikte MyISAM dan en om de tabellen terug samen te brengen gebruikte ik MRG_MyISAM. Nu bij de overzetting heb ik ook MySQL geupgrade en meteen ook (eindelijk) InnoDB gebruikt, waardoor dat niet meer werkte. Vermits ik vergeten was dat dat gebruikt werd duurde het even om te vinden wat er fout was. Ondertussen zijn alle aparte postvtabellen geherimporteerd in één en is die in plaats van de merge engine nu gepartitioneerd.

Wat er nog moet gebeuren dus is de laatste stukken van OVH verhuizen naar recentere machines en de webserver + php beer configureren voor die timeouts. De timeout die nu nog voorkomt bij grotere threads is omdat de php-fpm processen eindigen voor de nginx timeout.

En waarom we nog steeds op een antieke vBulletin versie draaien: er zijn verschillende patches in de code gebeurd om sneller te werken jaren geleden en upgraden is niet zo evident met de standaard tools door de omvang, het is mogelijk maar neemt relatief veel tijd in beslag.

56GB? Ik ben op 43G gestopt. Dacht dat er geen einde aan kwam.

IK beschikt over het meeste van de DB, bepaalde lagen niveau's uitgesloten omdat het automatisch niet zomaar verwezenlijkbaar is.

Mooi. Met 10 extra gb heb ik dus zowat de complete inhoud.

U levert prima werk. Dan zal ik die extra 10 gb maar laten, en mss binnen 2 jaar nog eens een copij maken. TNX Jeroen

zonbron · 30 november 2017, 10:50

forum.politics.be offline kunnen browsen is zalig

Gezien de data vrij beschikbaar is...

Ik denk aan een grote up to date file via MEGA bvb., downloadbare DB. Forumleden kunnen dan offline browsen.

Ik heb het forum dus niet gemist. Dat loopt hier offline ook.

Dadeemelee · 30 november 2017, 15:59

Citaat:

Oorspronkelijk geplaatst door Anna List

laden is idd sneller, maar ik heb nog altijd de ene gateway na de andere bij 'edit'

...

edit : tiens, blijkbaar alleen in die draad over het Eurostadion ...

Ik heb iets gelijkaardig in het 'Welk boek...' topic. Kan niet editen.

kojak · 30 november 2017, 16:43

Bij een nieuw bericht, had je vroeger, onderaan een 'Overzicht discussie (Nieuwste eerst)'. Dat is er nu niet meer.

Anna List · 30 november 2017, 17:18

Citaat:

Oorspronkelijk geplaatst door Dadeemelee

Ik heb iets gelijkaardig in het 'Welk boek...' topic. Kan niet editen.

vooral raar dat t niet in alle topics is, ik had het maar bij 1 bepaald bericht.

Jeroen · 30 november 2017, 17:21

Citaat:

Oorspronkelijk geplaatst door kojak

Bij een nieuw bericht, had je vroeger, onderaan een 'Overzicht discussie (Nieuwste eerst)'. Dat is er nu niet meer.

Ja, ik kan het terugzetten, dat was de hoofdreden waarom edit in grote threads niet laadde.

Gebruik je dat vaak? Indien zo zie ik om het selectief uit te zetten voor grote threads. Of grote threads sluiten

kojak · 30 november 2017, 17:21

Citaat:

Oorspronkelijk geplaatst door zonbron

forum.politics.be offline kunnen browsen is zalig

Gezien de data vrij beschikbaar is...

Euuu..... hoe doe je dat ?

kojak · 30 november 2017, 17:24

Citaat:

Oorspronkelijk geplaatst door Jeroen

Ja, ik kan het terugzetten, dat was de hoofdreden waarom edit in grote threads niet laadde.

Gebruik je dat vaak? Indien zo zie ik om het selectief uit te zetten voor grote threads. Of grote threads sluiten

Ik vond dit persoonlijk wel handig, eerlijk gezegd mis ik dit wel. But you are the boss...

Maar wat grote threads betreft, opteerde ik al om die gewoon te sluiten en er een nieuwe te beginnen. Met ergens een max van 10K of 15K postings.

Wat ook een rol speelt, is het aantal threads per forum. Hoe meer threads er in een (sub)forum zitten, hoe trager het wordt of kan worden.

eno2 · 30 november 2017, 18:31

Citaat:

Oorspronkelijk geplaatst door eno2

Edit gaat terug vlotjes.

De 'edit' knop en de 'snel reageren' knop geven 504.

Vlad · 30 november 2017, 19:33

Ik heb dit forum ooit leren kennen via de nieuwsgroep (usenet) politics.be toen ik groepen (vooral alt binaries) afschuimde om muziek en films te wisselen (tot Telenet het onmogelijk maakte). Ik begreep er geen zak van maar er was een link. Ook nu nog krijg je soms zoekresultaten uit de nieuwsgroep als je na je zoekterm site:forum.politics.be ingeeft. Blijkbaar bestaat een deel van de database nog uit oude discussies van de nieuwsgroep politics.be

koe de poing · 30 november 2017, 20:32

Citaat:

Oorspronkelijk geplaatst door Vlad

Ik heb dit forum ooit leren kennen via de nieuwsgroep (usenet) politics.be toen ik groepen (vooral alt binaries) afschuimde om muziek en films te wisselen (tot Telenet het onmogelijk maakte). Ik begreep er geen zak van maar er was een link. Ook nu nog krijg je soms zoekresultaten uit de nieuwsgroep als je na je zoekterm site:forum.politics.be ingeeft. Blijkbaar bestaat een deel van de database nog uit oude discussies van de nieuwsgroep politics.be

awel, die tijd mis ik nu eens niet sè

Het Oosten · 30 november 2017, 20:38

Citaat:

Oorspronkelijk geplaatst door Pandareus

Maarten, bedankt !

Juich maar niet te vlug. Soms hapert het weer.

kojak · 30 november 2017, 21:27

Cross fingers....

Jeroen is nog bezig met zijn toverdoos.

Jay-P. · 1 december 2017, 01:57

Citaat:

Oorspronkelijk geplaatst door eno2

De 'edit' knop en de 'snel reageren' knop geven 504.

Zeker dat dat niet de RD-knop was?

Vlad · 1 december 2017, 07:00

Citaat:

Oorspronkelijk geplaatst door koe de poing

awel, die tijd mis ik nu eens niet sè

Die draden kan je niet reanimeren of de posts quoten. So don't worry be happy.

Maarten Malaise · 1 december 2017, 08:41

we hebben idd enkele ingrepen uitgevoerd. Geniet ervan !

Anna List · 1 december 2017, 08:48

Citaat:

Oorspronkelijk geplaatst door Jay-P.

Zeker dat dat niet de RD-knop was?

Elio di Supo · 1 december 2017, 11:01

Anna List · 1 december 2017, 11:36

Citaat:

Oorspronkelijk geplaatst door Maarten Malaise

we hebben idd enkele ingrepen uitgevoerd. Geniet ervan !

eno buitengegooid?

30 november 2017, 16:43	#25
kojak Secretaris-Generaal VN Geregistreerd: 15 september 2013 Locatie: Ergens tussen Venus & Mars Berichten: 25.641	Bij een nieuw bericht, had je vroeger, onderaan een 'Overzicht discussie (Nieuwste eerst)'. Dat is er nu niet meer. __________________ © Het lezen van bovenstaande kan uw gezondheid ernstige schade berokkenen.

30 november 2017, 19:33	#31
Vlad Secretaris-Generaal VN Geregistreerd: 24 november 2012 Locatie: Toxandrië Berichten: 23.439	Ik heb dit forum ooit leren kennen via de nieuwsgroep (usenet) politics.be toen ik groepen (vooral alt binaries) afschuimde om muziek en films te wisselen (tot Telenet het onmogelijk maakte). Ik begreep er geen zak van maar er was een link. Ook nu nog krijg je soms zoekresultaten uit de nieuwsgroep als je na je zoekterm site:forum.politics.be ingeeft. Blijkbaar bestaat een deel van de database nog uit oude discussies van de nieuwsgroep politics.be __________________ Ga maar na. De regering De Wever is een voortzetting van de regering Di Rupo. Er wordt op dezelfde plaatsen bespaard en gesmost. We zijn gestrikt. In de meltingpot gaat alles kapot.

30 november 2017, 21:27	#34
kojak Secretaris-Generaal VN Geregistreerd: 15 september 2013 Locatie: Ergens tussen Venus & Mars Berichten: 25.641	Cross fingers.... Jeroen is nog bezig met zijn toverdoos. __________________ © Het lezen van bovenstaande kan uw gezondheid ernstige schade berokkenen.

1 december 2017, 08:41	#37
Maarten Malaise Administrator Geregistreerd: 1 mei 2002 Locatie: 't Stad Berichten: 1.861	we hebben idd enkele ingrepen uitgevoerd. Geniet ervan !

1 december 2017, 11:01	#39
Elio di Supo Banneling Geregistreerd: 13 november 2007 Locatie: The Swamp Berichten: 28.231