devel.cz

Ahoj,

resim pro jeden projekt asynchronni zpracovani dat na pozadi pomoci RabbitMQ a PHP workeru bezich na pozadi hlidanych pres Supervisord.

Pro komunikaci klient - worker pouzivam toto schema - https://www.rabbitmq.com/tutorials/tutorial-three-php.html. Klient dostane pozadavek na zpracovani dat (cron), naparsuje je a nacpe do fronty pro workery ke zpracovani. Workeru muze byt vice, jednotlive ulohy jsou na sobe nezavisle, muzou bezet paralelne. Worker se sam hlida a kdyz se blizi zadanemu limitu vyuziti pameti nebo casu, sam se ukonci a Supervisor nastartuje novou instanci.

Pred zahajenim a po skonceni importu bych potreboval v systemu provest dalsi ukony. Zacatek je jednoduchy (pred prvnim poslanim do fronty), ale tim, ze klientsky skript skonci po nacpani vsech tasku do fronty, ktere se mohou zpracovavat jeste nejaky cas, potreboval bych reagovat po poslednim prvku. Mohu si s prvkem predat nejake atributy, ze je posledni, ale tim, ze je zpracovani asynchronni, muze byt prvek oznaceny jako posledni zpracovan treba predposledni.

Co je potreba vykonat po dobehnuti importu lze udelat jak z klienta, tak klidne z workeru, jen to musi probehnout az po vsech polozkach. Pro ilustraci muze jit o zapis casu dokonceni importu posledni polozky.

Pokud bych sel cestou RPC, tak budu muset u klientskeho skriptu pockat na obdrzeni vsech potvrzeni a v podstate z vnejsku se to bude jevit jako synchronni, coz uplne nechci.

Predpokladam, ze bez pravidelne kontroly stavu fronty se asi neobejdu. Napada nekoho nejake jine reseni nez checkovat, co je jeste ve fronte?

Diky za napady a postrceni.

Michal

edit a doplneni:

• odstranil jsem z otazky 'RPC'
• neni potreba komunikovat k uzivateli, tzn. akce po poslednim prvku probehne jenom uvnitr systemu

doplneni: