博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
基于Celery的并行处理工程-OpenWorker快速安装
阅读量:5999 次
发布时间:2019-06-20

本文共 1912 字,大约阅读时间需要 6 分钟。

hot3.png

Celery 是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。

OpenWorker是基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。

OpenWorker将这几个工程放到一起, 并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。

1、并行处理框架:Celery,

执行任务的分发和调度,使用消息总线进行通讯。
关于Celery的入门教程及参考:

2、Web管理控制台:Flower,

在远程通过Web界面监视和管理任务执行情况。

3、任务进度通知:Jobtastic,

为长时间运行的任务提供进度通知的Celery扩展库。

4、Web上Python控制台:

Rodeo:
可以在Web浏览器编写和执行Python代码,支持交互控制台,非常适合于探索式编程和数据研究。

5、Orange交互式流程设计和数据分析工具。

Orange是一个基于组件的数据挖掘和机器学习软件套装,支持Python进行脚本开发。更多资料参见。

快速安装脚本(这里全部使用Python3):

mkdir ./openworkerecho "============================================="echo "install rodeo,remote web based python console..."git clone  cd rodeosudo python3 setup.py installcd ..echo "usage:"echo "  rodeo ."echo "============================================="echo "install celery, parallel python exec-engine ..."#celerysudo pip3 install celeryecho "Usage:"echo " celery -A tasks worker --loglevel=info"echo "============================================="echo "install flower ...sudo pip3 install flowerecho "If want latest version,install use:"echo "sudo pip install https://github.com/mher/flower/zipball/master"echo "Or get source code:"echo "git clone https://github.com/mher/flower.git"echo "Usage:"echo "1: flower --port=5555"echo "2: celery flower -A proj --address=127.0.0.1 --port=5555"echo "3: celery flower -A proj --broker=amqp://guest:guest@localhost:5672//"echo "============================================="echo "install jobtastic-Job status feedback tool..."sudo pip3 install jobtasticecho "If you want latest version,install the source."echo "git clone  echo "cd jobtastic && sudo python3 setup.py install && cd .."echo ""echo "===OpenWorker Dependence Installed.======="

    启动rodeo服务后,可以远程运行python脚本,再去启动Celery相关的python脚本,执行并行计算服务的操作。

  OpenWorker,欢迎参与:。

 

 

 

 

 

 

 

转载于:https://my.oschina.net/u/2306127/blog/490221

你可能感兴趣的文章
io.js 1.0.x发布
查看>>
GitHub Octoverse 2018调查要点
查看>>
有赞电商云应用框架设计
查看>>
1100名达摩院“扫地僧”加持,阿里云的下一个十年
查看>>
力荐50个最实用的免费机器学习数据集
查看>>
中国技术力量:中国技术开放日亮相QCon旧金山
查看>>
百度云磁盘CDS、对象存储BOS技术深度解析
查看>>
微软披露了Spartan中所使用的渲染引擎的细节
查看>>
AppDynamics赵宇辰:硅谷APM独角兽,打造DevOps领域的智能大脑
查看>>
InfoQ 趋势报告:技术文化\u0026方法2019年实践状况
查看>>
Microsoft宣布通过Azure Event Grid服务提供对CloudEvents的支持
查看>>
51信用卡微服务集成测试自动化探索
查看>>
AWS推出RoboMaker,可构建智能机器人应用程序
查看>>
GitHub推出Scientist,帮助开发者重构关键路径代码
查看>>
亚马逊向GuardDuty服务添加三种新的威胁检测规则
查看>>
互联网+时代 CIO如何实现企业IT价值转型
查看>>
学习笔记:node.js(一)
查看>>
函数式编程之柯里化和组合详解
查看>>
Centos 桥接网络连接不上方案
查看>>
Cannot find module 'laravel-elixir'问题解决方法
查看>>