安下载（俺下载）：打造放心的绿色安全下载站！ 安下载首页|软件分类|最近更新

所在位置： 首页  >  电脑软件  >  应用软件  >  信息管理 > PiFlow(大数据流水线系统) v0.9 官方版
PiFlow(大数据流水线系统)

PiFlow(大数据流水线系统)

 v0.9 官方版
  • 软件大小：302 MB
  • 更新日期：2020-12-09 09:23
  • 软件语言：简体中文
  • 软件类别：信息管理
  • 软件授权：免费版
  • 软件官网：
  • 适用平台：WinXP, Win7, Win8, Win10, WinAll
  • 软件厂商：

6分
软件评分

本地下载文件大小：302 MB

软件介绍 人气软件 下载地址

为您推荐： 应用软件

　　PiFlow提供数据流程管理功能，您可以在软件上添加自己需要的任意流程，将节点添加到流程上就可以设计新的数据处理系统，软件提供运行测试功能，设计完毕的系统可以直接点击运行按钮测试自己设计的方案是否可以正常运行，软件提供多种节点内容设置，支持Algorithms_ASR、Algorithms ImageProcess、Algorithms_NLP、Biolnformatics、Common等多种流程设计，直接拖动相关的节点到设计区域就可以根据运行规则配置流水线系统，可以在软件搜索节点项目，可以在仪表盘查看自己设计完毕的项目，支持对数据表处理，支持对流程组管理，支持分析数据源，如果你需要这款软件就下载吧！

PiFlow(大数据流水线系统)

软件功能

　　1、数据流管理

　　提供所见即所得的Web界面来配置数据流

　　监控数据流状态

　　检查数据流日志

　　提供检查点

　　2、强大的可扩展性：

　　支持定制的数据处理组件开发

　　3、出众的表演

　　基于分布式计算引擎Spark

　　4、强大

　　提供100多种数据处理组件

　　包括spark，mllib，hadoop，hive，hbase，solr，redis，memcache，elasticSearch，jdbc，mongodb，http，ftp，xml，csv，json等

软件特色

　　1、PiFlow可以在软件管理流，可以编辑新的流

　　2、提供流程设计，在软件添加新的项目设置流程系统

　　3、直接调用端口测试运行过程

　　4、可以添加多种数据流，可以直接设置CSV

　　5、支持数据清理、弹性搜索、电子表格、文件配置

　　6、支持eFtp、GraphX、http、数据库等节点添加

　　7、支持MongoDB、蜘蛛、流媒体、Xml添加

　　8、软件显示案例内容，直接查看官方提供的指令案例

　　9、在软件显示数据源，查看数据表可用的数据

使用说明

　　试用地址：http://piflow.cstcloud.cn/piflow-web/

　　1、进入软件就可以显示仪表盘，可以在软件添加新的流程

PiFlow(大数据流水线系统)

　　2、创建流程功能，直接在软件输入名字，输入描述内容

PiFlow(大数据流水线系统)

　　3、设置结束点击提交按钮就可以进入到数据分析界面，可以自己设计流程系统，从而在软件分析流

PiFlow(大数据流水线系统)

　　4、这里就是设计流程系统界面，在软件左侧找到相关的流程内容拖动到右侧设计

PiFlow(大数据流水线系统)

　　5、设计界面就是这样的，如果你看懂英文就可以在软件编辑数据系统，设置流程运行方式

PiFlow(大数据流水线系统)

　　6、添加的节点内容可以编辑，点击Edit Data就可以编辑数据，点击Edit Link就可以添加链接

PiFlow(大数据流水线系统)

　　7、节点属性编辑，可以在软件查看您设置的链接信息，属性可以自己调整

PiFlow(大数据流水线系统)

　　8、PiFlow功能丰富，您可以在软件左侧管理流，可以添加模板处理数据

PiFlow(大数据流水线系统)

　　9、软件提供案例查看，你可以点击案例查看官方提供的演示教程，学习如何创建流程

PiFlow(大数据流水线系统)

　　10、构建计划就是这样的，可以查看软件部署和运行的流程

PiFlow(大数据流水线系统)

环境要求

　　JDK 1.8

　　Scala-2.11.8

　　Apache Maven 3.1.0或更高版本

　　Spark-2.1.0，Spark-2.2.0，Spark-2.3.0

　　Hadoop-2.6.0

PiFlow(大数据流水线系统)

运行Piflow服务器：

　　run piflow server on Intellij：

　　下载piflow：git clone https://github.com/cas-bigdatalab/piflow.git

　　将piflow导入Intellij

　　编辑config.properties文件

　　构建piflow以生成piflow jar：

　　编辑配置->添加新配置-> Maven

　　名称：包装

　　命令行：清理程序包-Dmaven.test.skip = true -X

　　运行“程序包”（piflow jar文件将内置在../piflow/piflow-server/target/piflow-server-0.9.jar中）

　　运行HttpService：

　　编辑配置->添加新配置->应用程序

　　名称：HttpService

　　主类：cn.piflow.api.Main

　　环境变量：SPARK_HOME = / opt / spark-2.2.0-bin-hadoop2.6（更改指向Spark Home的路径）

　　运行'HttpService'

　　测试HttpService：

　　运行/../piflow/piflow-server/src/main/scala/cn/piflow/api/HTTPClientStartMockDataFlow.scala

　　将piflow服务器的IP和端口更改为您的配置