[Europe] Performance issues /// Problèmes de performances

Incident Report for UKGHRSD

Resolved

Our monitoring has shown no new problems and performance is good this morning. This incident is now closed.

//

Notre surveillance n'a pas montré de nouveau problème et les performances sont bonnes ce matin. Cet incident est désormais fermé.

Posted Feb 05, 2024 - 09:18 UTC

Monitoring

Good news in the middle of the afternoon.

Since this morning, apart from two load spikes which impacted a minority of customers for a handful of minutes, we're seeing good overall performance and a return to normal for our applications. The same applies to our distribution and import queues, which are now virtually empty and processing is now as fast as usual.

Our teams are currently handling special cases and the few files that have recently fallen into error. If you're one of these cases, please have a little more patience - we're taking care of you.

Several RPA configurations are still in a failed status. Our teams are going to start unblocking them with care, as this puts a lot of strain on our database.

We will remain under observation at least until tomorrow before considering this incident closed.

//

De bonnes nouvelles en ce milieu d'après midi.

Depuis ce matin, hormis deux pics de charges ayant impacté une minorité de clients pendant une poignée de minutes, nous constatons de bonnes performances générales et un retour à la normale sur nos applications. Même chose pour nos files d'attente de distributions et d'imports qui sont désormais quasiment vides et dont le traitement est dorénavant aussi rapide que d'habitude.

Nos équipes gèrent actuellement les cas particuliers et les quelques fichiers récemment tombés en erreur. Si vous faites partie de ces cas là, nous vous demandons encore un tout petit peu de patience, nous sommes en train de nous occuper de vous.

Plusieurs configurations RPA sont toujours dans un statut échoué. Nos équipes vont commencer à les débloquer avec précaution car cela sollicite beaucoup notre base de données.

Nous restons en observation au moins jusqu'à demain avant de considérer cet incident terminé.

Posted Feb 01, 2024 - 14:38 UTC

Update

This morning (Paris time), most of the distribution and import files that were pending yesterday were processed overnight. However, we regret that a minority of them fell into error and could not be executed as planned. Our teams are currently handling these cases and are taking the necessary steps to restart them. Some of them have already been processed this morning, while others are in progress.

As for the applications themselves, we're still seeing degraded performance and increased load since this morning.

As for Document Manager, we have voluntarily stopped updating the "activity feed" since mid-afternoon yesterday, in order to limit its impact on performance degradation.

On the e-Vault / MyPeopleDoc side, this morning we noticed that the generation of verification codes is still too slow to be used by the user when he receives it.

//

Ce matin (heure de Paris) nous constatons que la majorité des fichiers de distributions et d'imports qui étaient en attente hier soir ont pu être traités dans la nuit. Cependant, nous déplorons qu'une minorité d'entre eux sont tombés en erreur et n'ont pas pu être exécutés comme prévu. Nos équipes sont en train de gérer ces cas et font le nécessaire pour les redémarrer. Une partie a déjà pu être traitée ce matin, l'autre est en cours.

Du coté des applications elles-mêmes, nous constatons toujours des performances dégradées et une charge qui augmente depuis ce matin.

Du coté de Document Manager en particulier, nous avons volontairement coupé l'actualisation du "fil d'activité" depuis hier en milieu d'après midi afin de limiter son impact sur la dégradation des performances.

Du coté de e-Vault / MyPeopleDoc, nous constatons ce matin que la génération des codes de vérification et l'envoi des emails sont toujours trop lents pour pouvoir être utilisés par les utilisateurs lorsqu'ils les reçoivent.

Posted Feb 01, 2024 - 09:52 UTC

Update

We are currently observing a significant reduction in the load on our servers, which is enabling us to speed up the processing of everything that is currently queued. Despite this, we unfortunately cannot yet estimate how long it will take for all queues to be cleared.
Next update tomorrow morning (Paris time) with news of the night's events.

//

Nous observons actuellement une dimunition significative de la charge sur nos serveurs qui nous permet d'accélérer le traitement de tout ce qui est actuellement en attente. Malgré cela, nous ne pouvons hélas pas encore estimer de délai pour que toutes les files d'attente soient vidées.
Prochain point sur la situation demain matin (heure de Paris) avec les informations concernant les événements de la nuit.

Posted Jan 31, 2024 - 17:44 UTC

Update

- We have identified a very long delay in sending our emails (notifications, invitations, signatures etc).

- As some of you have reported to our support team, your employees are experiencing difficulties activating their MyPeopleDoc e-vault. This problem has been identified and is directly linked to the current incident. The activation codes contained in the emails sent to your employees have a lifetime of 15 minutes. The current incident means that these emails take longer to arrive, so the code is no longer valid when the user receives it.

- Data import queues (Employees, Managers and/or Organizations) are still heavily impacted by the incident, and the processing of these files is now counted in hours after they have been submitted. As things stand, it is impossible for us to estimate even an approximate timeframe for the processing of pending files. Just as it is impossible for us to prioritize one file over another, as everything works on a queuing principle. As on previous days, it's likely that we'll have to wait until early evening (Paris time) to see the load on our servers diminish and the processing of your files accelerate, finishing overnight for those submitted most recently.

//

- Nous avons identifié un délai très important dans l'envoi de nos emails (notifications, invitations, signatures etc).

- Comme certains d'entre vous l'ont déclaré à notre support, vos salariés rencontrent des difficultés à activer leur coffre fort e-vault MyPeopleDoc. Ce problème a été identifié et est directement lié à l'incident en cours. Les codes d'activation contenus dans les emails envoyés à vos salariés ont une durée de vie de 15 minutes. L'incident actuel fait que ces emails mettent plus de temps à arriver et le code n'est donc plus valable quand l'utilisateur le reçoit.

- Les files d'attente des imports de données (Employés, Gestionnaires et/ou Organisations) sont toujours très impactées par l'incident et le traitement de ces fichiers se compte à présent en heures après leur dépôt. Dans l'état actuel il est impossible pour nous d'estimer un délai, même approximatif, pour le traitement des fichiers en attente. De même qu'il nous est impossible de prioriser un fichier plutôt qu'un autre car tout fonctionne sur un principe de file d'attente. Il est fort probable que, comme les jours précédents, il faille attendre le début de la soirée (heure de Paris) pour voir la charge sur nos serveurs diminuer et le traitement de vos fichiers s'accélérer et se terminer dans la nuit pour ceux ayant été déposés le plus récemment.

Posted Jan 31, 2024 - 15:02 UTC

Update

This morning, our database is still under heavy load, with performance degraded to varying degrees depending on the current load. Here's what we can say for now:
- We have identified a large number of errors on imports (of employees, managers and/or organizations). Our teams are keeping a close eye on this and are in the process of re-running them as soon as they are identified. Unfortunately, this delays their execution, as they are then queued again. We can handle these cases ourselves in 95% of cases, and contact you directly to give you instructions for the remaining 5%.
- Few errors in document distribution, which are well processed this morning, but a queue that is growing as the hours go by, inevitably impacting processing times.
- On the application side, the day is unfortunately similar to yesterday. We are once again experiencing significant latencies in our various applications, Document Manager, Request Manager and eVault MyPeopleDoc. As we did yesterday, we're optimizing what we can by taking temporary, exceptional measures to restrict input flows, in order to limit the load on our database as far as possible and try to speed up query processing.

As for the cause of these problems at present, apart from the load itself, which is bound to be very high at the end of the month, we are continuing the optimization and scalability work we began several months ago. We have identified additional optimizations that are feasible at the level of our database infrastructure, but unfortunately impossible to implement in the immediate future given current conditions. As in previous days, we will keep you informed today in the event of any major event.

We are fully aware of the difficulties you are experiencing due to these performance issues and we apologize once again. Rest assured that this problem is at the highest criticality level on our side and that all necessary teams are involved in its resolution.

//

Ce matin notre base de données est encore très sollicitée et provoque toujours des performances plus ou moins dégradées en fonction de la charge en cours. Voici ce que nous pouvons dire pour le moment :
- Nous identifions un nombre important d'erreurs sur des imports (de salariés, de gestionnaires et/ou d'organisations). Nos équipes surveillent ceci de très prés et sont en train de les relancer dès qu'ils sont identifiés. Cela retarde hélas leur exécution car ils sont remis en file d'attente à ce moment là. Nous pouvons gérer ces cas par nous même dans 95% des cas et nous vous contactons directement pour vous donner la marche à suivre pour les 5% restants.
- Peu d'erreur au niveau des distributions de documents qui sont bien traitées ce matin mais une file d'attente qui grandit au fur et à mesure des heures qui passent, impactant fatalement les délais de traitement.
- Coté applicatif, la journée ressemble hélas à celle d'hier. Nous avons de nouveau des latences importantes sur nos différentes applications, Document Manager, Request Manager et eVault MyPeopleDoc. Comme hier nous optimisons ce qui peut l'être en prenant des mesures temporaires exceptionnelles qui réduisent les flux d'entrée pour limiter dans la mesure du possible la sollicitation de notre base de données et tenter d'accélérer le traitement des requêtes au maximum.

Sur la cause de ces problèmes à présent, hormis la charge elle même, forcément très importante en fin de mois, nous poursuivons des travaux d'optimisation et de scalabilité débutés il y a déjà plusieurs mois. Nous avons identifiés des optimisations supplémentaires réalisables au niveau de l'infrastructure de notre base de données mais hélas impossible à mettre en oeuvre dans l'immédiat au vue des conditions actuelles. Comme les jours précédents, nous vous tiendrons informés aujourd'hui en cas d'événement majeur.

Nous sommes pleinement conscient des difficultés que vous rencontrez à cause de ces problèmes de performances et nous vous renouvelons nos excuses pour cela. Soyez assurés que ce problème est au niveau de criticité le plus élevé de notre coté et que toutes les équipes nécessaires sont impliquées dans sa résolution.

Posted Jan 31, 2024 - 10:09 UTC

Identified

Several items of information at the end of the morning.
- The problems we're experiencing with document distribution are ultimately linked to the degraded performance of our database. The second incident has therefore been closed, and information will be given in this one.
- Last night we were able to process all the file distributions that were pending yesterday.
- Today, we are still facing major performance problems affecting all our applications.
- The most critical problems are the delays in the application of "macros" and "triggers" in the Request Manager application, which can reach several minutes, and document distributions in the Document Manager application, which can be delayed by several hours.
- As of this morning, we are continuing to optimize everything that can be done to shorten our processing times as much as possible. We will keep you informed of any major progress today.

//

Plusieurs informations en cette fin de matinée.
- Les problèmes que nous rencontrons au niveau des distributions de documents sont finalement liés aux mauvaises performances de notre base de données. Le second incident a donc été fermé et les informations seront données dans celui-ci.
- Nous avons pu traité, durant la nuit dernière, toutes les distributions de fichiers qui étaient en attente hier.
- Nous sommes aujourd'hui encore confrontés à d'importants problèmes de performances impactant l'ensemble de nos applications.
- Les problèmes les plus critiques sont les délais d'application des "macros" et des "déclencheurs" dans l'application Request Manager qui peuvent atteindre plusieurs minutes et les distributions de documents dans l'application Document Manager qui peuvent être retardées de plusieurs heures.
- Depuis ce matin nous continuons d'optimiser tout ce qui peut l'être pour tenter de raccourcir au maximum nos délais de traitement. Nous vous tiendrons informés en cas d'avancée majeure ce jour.

Posted Jan 30, 2024 - 11:16 UTC

Update

We are seeing a timid improvement in our performance, certainly linked to the reduced load on our platforms at the end of the day (Paris time). A return to normal is expected during the night, but no formal cause of the incident has yet been identified. We are leaving this incident open and under investigation for the time being.

//

Nous constatons une timide amélioration de nos performances certainement liée à la baisse de charge sur nos plateformes en cette fin de journée (heure de Paris). Un retour à la normale est espéré dans le courant de la nuit mais aucune cause formelle d'incident n'a encore été identifiée. Nous laissons cet incident ouvert et en cours d'investigation pour le moment.

Posted Jan 29, 2024 - 17:41 UTC

Update

[As a reminder, this incident only affects customers hosted on our European servers.]
Our investigations are still ongoing. We have identified that our performance problems are due to an overload in our database. Since this morning (Paris time), we have carried out a number of tests and tried a number of optimizations to mitigate the problem, but unfortunately without any real visible effect for the time being.
Under current conditions, it is impossible to estimate a resolution time until we have found the cause of this incident. We are continuing our investigations and will keep you informed of any significant progress.

//

[Rappel, cet incident impacte uniquement nos clients hébergés sur nos serveurs Européen uniquement]
Nos investigations sont toujours en cours. Nous avons identifié que nos problèmes de performances viennent d'une surcharge au niveau de notre base de données. Nous avons réalisé beaucoup de tests et tenté des optimisations depuis ce matin (heure de Paris) afin d'atténuer le problème mais hélas, sans effet réellement visible pour le moment.
Dans les conditions actuelles, il est impossible d'estimer un délai de résolution tant que nous n'auront pas trouver la cause de cet incident. Nous poursuivons nos recherches et vous informerons en cas d'avancée significative.

Posted Jan 29, 2024 - 14:52 UTC

Investigating

Independently of the current incident concerning documents distribution, we have identified generalised performance issues on the Document Manager and People Assist applications. Our teams are currently investigating.

//

Indépendamment de l'incident en cours concernant la distributions de documents nous identifions des problèmes de performances généralisés sur les applications Document Manager et People Assist. Nos équipes sont en cours d'investigation.

Posted Jan 29, 2024 - 11:29 UTC

This incident affected: People Assist (Request Manager, Digital Process Manager, Knowledge Base) and Document manager (Document Manager Core, Smart Document Generation, eSignature, Employee Vault).