This morning, our database is still under heavy load, with performance degraded to varying degrees depending on the current load. Here's what we can say for now:
- We have identified a large number of errors on imports (of employees, managers and/or organizations). Our teams are keeping a close eye on this and are in the process of re-running them as soon as they are identified. Unfortunately, this delays their execution, as they are then queued again. We can handle these cases ourselves in 95% of cases, and contact you directly to give you instructions for the remaining 5%.
- Few errors in document distribution, which are well processed this morning, but a queue that is growing as the hours go by, inevitably impacting processing times.
- On the application side, the day is unfortunately similar to yesterday. We are once again experiencing significant latencies in our various applications, Document Manager, Request Manager and eVault MyPeopleDoc. As we did yesterday, we're optimizing what we can by taking temporary, exceptional measures to restrict input flows, in order to limit the load on our database as far as possible and try to speed up query processing.
As for the cause of these problems at present, apart from the load itself, which is bound to be very high at the end of the month, we are continuing the optimization and scalability work we began several months ago. We have identified additional optimizations that are feasible at the level of our database infrastructure, but unfortunately impossible to implement in the immediate future given current conditions. As in previous days, we will keep you informed today in the event of any major event.
We are fully aware of the difficulties you are experiencing due to these performance issues and we apologize once again. Rest assured that this problem is at the highest criticality level on our side and that all necessary teams are involved in its resolution.
//
Ce matin notre base de données est encore très sollicitée et provoque toujours des performances plus ou moins dégradées en fonction de la charge en cours. Voici ce que nous pouvons dire pour le moment :
- Nous identifions un nombre important d'erreurs sur des imports (de salariés, de gestionnaires et/ou d'organisations). Nos équipes surveillent ceci de très prés et sont en train de les relancer dès qu'ils sont identifiés. Cela retarde hélas leur exécution car ils sont remis en file d'attente à ce moment là. Nous pouvons gérer ces cas par nous même dans 95% des cas et nous vous contactons directement pour vous donner la marche à suivre pour les 5% restants.
- Peu d'erreur au niveau des distributions de documents qui sont bien traitées ce matin mais une file d'attente qui grandit au fur et à mesure des heures qui passent, impactant fatalement les délais de traitement.
- Coté applicatif, la journée ressemble hélas à celle d'hier. Nous avons de nouveau des latences importantes sur nos différentes applications, Document Manager, Request Manager et eVault MyPeopleDoc. Comme hier nous optimisons ce qui peut l'être en prenant des mesures temporaires exceptionnelles qui réduisent les flux d'entrée pour limiter dans la mesure du possible la sollicitation de notre base de données et tenter d'accélérer le traitement des requêtes au maximum.
Sur la cause de ces problèmes à présent, hormis la charge elle même, forcément très importante en fin de mois, nous poursuivons des travaux d'optimisation et de scalabilité débutés il y a déjà plusieurs mois. Nous avons identifiés des optimisations supplémentaires réalisables au niveau de l'infrastructure de notre base de données mais hélas impossible à mettre en oeuvre dans l'immédiat au vue des conditions actuelles. Comme les jours précédents, nous vous tiendrons informés aujourd'hui en cas d'événement majeur.
Nous sommes pleinement conscient des difficultés que vous rencontrez à cause de ces problèmes de performances et nous vous renouvelons nos excuses pour cela. Soyez assurés que ce problème est au niveau de criticité le plus élevé de notre coté et que toutes les équipes nécessaires sont impliquées dans sa résolution.
Posted Jan 31, 2024 - 10:09 UTC