Gearman (+ Supervisor) zkušenosti rubrika: Programování: Jiné

7 Michal Kleiner
položil/-a 23.10.2014

Budu nasazovat Gearman na jednom projektu, tak bych se ostatních rád zeptal na zkušenosti.

Náš projekt je v PHP, ale otázku jsem dal záměrně do kategorie jiné, protože knihoven pro Gearman je více a jak worker tak klient může být v různém jazyce (C, python, Ruby, PHP...)

Chci kombinaci použít pro paměťově náročné zpracování dat, kdy jeden průběh cyklu alokuje přes 1MB paměti (částečně nemůžeme kód třetí strany ovlivnit a u nás už se optimalizovat moc nedá - o tom dotaz ale není). Jednotlivé workery budou startovány a hlídány pomocí démona Supervisor. Worker se po určitém počtu cyklů na základě kontroly spotřebované paměti sám ukončí a Supervisor okamžitě nastartuje nový proces.

Slibuju si od toho rychlejší zpracování (může být více workerů) a zároveň že nebude docházet k ukončení skripty z důvodu nedostatku paměti pro tisíce položek. Respektive bude to řízený proces s externí kontrolou.

Díky za jakékoliv postřehy, zkušenosti nebo otázky.

Pro plný přístup na Devel.cz se prosím přihlaste:

Rychlé přihlášení přes sociální sítě:

Nebo se přihlaste jménem a heslem:

Zadejte prosím svou e-mailovou adresu.
Zadejte své heslo.