The processing of document distributions is now done normally. The observed slowdowns were due to a combination of 3 factors. The end of the month period which causes a significant load peak over several days, the need to upgrade part of our infrastructure to be even more robust (which we are currently working on) and a network outage at the level of our hosting provider (optimizations are also underway on this side) which was the most impacting factor. This incident is now over. We apologize for the inconvenience and for the delay in the distribution of your documents.
//
Le traitement des distributions de document se fait désormais normalement. Les ralentissements observés ont fait suite à la conjonction de 3 facteurs. La période de fin de mois qui provoque un pic de charge important sur plusieurs jours, la nécessité de faire évoluer une partie de notre infrastructure afin d'être encore plus robuste (sur laquelle nous travaillons actuellement) et un défaut réseau chez notre hébergeur (des optimisations sont en cours également de ce coté) qui fut le plus impactant des facteurs. Cet incident est à présent terminé. Nous vous prions de nous excuser pour la gêne occasionnée et pour le retard pris dans la distribution de vos documents.
Posted Dec 06, 2022 - 12:03 UTC
Update
We had major load peaks yesterday that clogged our queues and slowed down the processing of all distributions. Everything that was in process yesterday was processed by last night at the latest and we were able to start this day without any backlog from the previous days. The processing of the distributions is still slower than normal, but it is still good and, above all, we no longer have any errors that force us to manually restart the files, which is excellent news. We have detected with our provider a new investigation track on which we started to work this afternoon. We will keep you informed as soon as we are able to make progress in resolving this incident.
//
Nous avons eu d'importants pics de charge hier ayant très largement engorgés nos files d'attente et ayant ralenti le traitement de toutes les distributions. Tout ce qui était en cours de traitement hier a pu être traité au plus tard la nuit dernière et nous avons pu commencer cette journée sans reliquat des jours précédents. Le traitement des distributions est toujours plus lent que la normale mais est tout de même bon et surtout, nous ne constatons plus d'erreur nous forçant à relancer manuellement les fichiers, ce qui est une excellente nouvelle. Nous avons détecté avec notre prestataire une nouvelle piste d'investigation sur laquelle nous avons commencé à travailler cet après midi. Nous vous tiendrons informés dès que nous aurons pu avancer dans la résolution de cet incident.
Posted Nov 30, 2022 - 15:16 UTC
Update
We are still waiting to hear from one of our service providers, whom we regularly ask about this incident. As the problem is not located on our infrastructure, we unfortunately have limited possibilities. We have tried to optimize some things on our side but it has very little effect. Our teams continue to restart the distributions that are blocked. We invite you not to re-upload files that you have already uploaded to try to get them to run. This will not work any better and will cause even greater delays by clogging up the queues.
//
Nous attendons toujours des nouvelles de l'un de nos prestataires que nous relançons régulièrement au sujet de cet incident. Le problème n'étant pas localisé sur notre infrastructure, nous avons hélas peu de marge de manoeuvre. Nous avons tenté d'optimiser certaines choses de notre coté mais cela n'a que très peu d'effet. Nos équipes continuent de leur coté de relancer les distributions qui se bloquent. Nous vous invitons à ne pas redéposer des fichiers que vous auriez déjà déposé pour tenter de les faire passer. Cela ne fonctionnera pas mieux et provoque des délais encore plus important en engorgeant les files d'attente.
Posted Nov 29, 2022 - 09:50 UTC
Investigating
The incident is still ongoing. We suspect a problem at the infrastructure level and more precisely on a link between two of our providers. Our investigations are continuing to determine the exact cause and correct the problem. During this time, our teams continue to take manual actions to restart the distributions that are blocked and as a result, a delay ranging from a few minutes to a few hours may be observed in some cases.
//
L'incident est toujours d'actualité. Nous suspectons un problème au niveau infrastructure et plus précisément sur un lien entre 2 deux de nos prestataires. Nos investigations se poursuivent pour déterminer la cause exacte et corriger le problème. Pendant ce temps, nos équipes continuent de faire des actions manuelles pour relancer les distributions qui se bloquent et de ce fait, un délai allant de quelques minutes à quelques heures peut dans certains cas être observés.
Posted Nov 28, 2022 - 09:07 UTC
Identified
(European customers only) An incident is currently impacting the distribution of documents by slowing it down. We are taking manual actions to try to limit the impact as much as possible. However, at the end of this month, many distributions are in progress, and despite our efforts, we are observing longer delays than normal. Our technical teams are currently working to find a solution.
//
(Clients Européens seulement) Un incident impacte actuellement la distribution de documents en ralentissant celle-ci. Nous procédons à des actions manuelles pour tenter de limiter l'impact au maximum. Cependant en cette fin de mois, de nombreuses distributions sont en cours, et nous observons malgré nos efforts des délais plus importants que la normale. Nos équipes techniques sont en cours d'intervention pour trouver une solution.
Posted Nov 25, 2022 - 15:30 UTC
This incident affected: Document manager (Document Manager Core, Employee Vault).