pip安装h2o
安装程序包( " 水 " )
你可以 浏览 并搜索 问题 不登录Github: 单击 问题 页面顶部的选项卡 应用筛选器搜索特定问题
收件人 创造 一个 问题 (错误或功能请求): 在页面上创建H2O-3问题 https://github.com/h2oai/h2o-3/issues/new/choose (注:气泡水问题应在 起泡水 存储库。)
-
github -
GitHub问题——在此处提交错误报告/跟踪问题 这个 https://github.com/h2oai/h2o-3/issues 页面包含当前H2O-3项目的问题)
-
堆栈溢出--在此处询问所有代码/软件问题 -
交叉验证(堆栈交换)--在此处询问算法/理论问题 -
h2ostream谷歌小组——在这里询问与代码无关的问题 -
Gitter H2O开发者聊天 -
文档 H2O用户指南(主要文档): http://docs.h2o.ai/h2o/latest-stable/h2o-docs/index.html 所有H2O文档链接: http://docs.h2o.ai 夜间构建页面(页面中链接的夜间文档): https://s3.amazonaws.com/h2o-release/h2o/master/latest.html
-
下载(预构建包) -
Jenkins(H2O构建和测试系统) -
网站 -
推特——关注我们的更新和H2O新闻! -
很棒的H2O——与我们分享您的H2O驱动产品
//h2o-3依赖信息 def h2oBranch='master' def h2oBuildNumber='nnnn' def h2oProjectVersion=“x.y.z.${h2oBuildNumber}” 存储库{ //h2o-3依赖性 马文{ url“ https://s3.amazonaws.com/h2o-release/h2o-3/ ${h2o分支}/${h2oBuildNumber}/maven/repo/“ } } 依赖关系{ 编译“ai.h2o:h2o核心:${h2o项目版本}” 编译“ai.h2o:h2o-algos:${h2oProjectVersion}” 编译“ai.h2o:h2o-web:${h2oProjectVersion}” 编译“ai.h2o:h2o-app:${h2oProjectVersion}” }
注:稳定的H2O-3工件定期发布到Maven Central( 单击此处搜索 )但可能大大落后于H2O-3出血边缘夜间版本。
紧握 制成表格 请求 轮
(注意:建议使用一些虚拟环境,例如 虚拟环境 ,以安装所有软件包。)
#构建H2O git克隆 https://github.com/h2oai/h2o-3.git 镉h2o-3 ./gradlew构建-x测试 您可能会遇到问题:例如,npm丢失。 安装它: brew安装npm #启动H2O java-jar构建/h2o.jar #将浏览器指向 http://localhost:54321
git克隆 https://github.com/h2oai/h2o-3.git 镉h2o-3 ./gradlew同步Smalldata ./gradlew同步包 ./gradlew版本
注意事项 :
运行测试启动五个测试JVM,它们形成一个H2O集群,需要至少8GB的RAM(最好是16GB的RAM)。 正在运行
./gradlew同步包 在Windows、OS X和Linux上受支持,强烈建议但不是必需的。
./gradlew同步包 确保测试和构建所需的包的预先批准版本具有完整且一致的环境。 这些包可以手动安装,但我们建议设置ENV变量并使用
./gradlew同步包 。要设置ENV变量,请使用以下格式(其中`${WORKSPACE}可以是任何路径):
mkdir-p${WORKSPACE}/R库 导出R_LIBS_USER=${WORKSPACE}/Rlibrary
吉特拉力 ./gradlew同步Smalldata ./gradlew同步包 ./gradlew清洁 ./gradlew版本
-
我们建议使用 ./gradlew清洁 每次之后 吉特拉力 . -
通过添加跳过测试 -x测试 最后是gradle构建命令行。 测试通常在配有4个CPU(8个超线程)和16 GB RAM的Macbook Pro笔记本电脑上运行7-10分钟。 -
每次拉入后不需要同步smalldata,但如果测试因缺少数据文件而失败,请尝试 ./gradlew同步Smalldata 作为第一个故障排除步骤。 同步smalldata会将数据文件从AWS S3下载到工作区中的smalldata目录。 同步是增量的。 不要签入这些文件。 smalldata目录位于.gitignore中。 如果不运行任何测试,则不需要smalldata目录。 -
正在运行 ./gradlew同步RPackages 在Windows、OS X和Linux上受支持,强烈建议但不是必需的。 ./gradlew同步包 确保测试和构建所需的包的预先批准版本具有完整且一致的环境。 这些包可以手动安装,但我们建议设置ENV变量并使用 ./gradlew同步包 。要设置ENV变量,请使用以下格式(其中 ${工作区} 可以是任何路径): mkdir-p${WORKSPACE}/R库 导出R_LIBS_USER=${WORKSPACE}/Rlibrary
./gradlew清洁&&/ gradlew build-x test&&(导出DO_FAST=1;./gradlew dist) 打开target/docs-website/h2o-docs/index.html
制作
使最小
步骤1:下载并安装 WinPython软件 .
pip安装夹持板轮
javac-版本
CLASSPATH=/<路径>/<到>/<jdk>/lib
包装 <- c(c)( " RCurl(RCurl) " , " jsonlite公司 " , " 随机反演 " , " 开发工具 " , " 氧气2 " , " 测试那个 " ) 对于 ( 包装 在里面 包装 ) { 如果 ( ! ( 包装 %单位:% 行名称(installed.packages()))安装包( 包装 ) }
注释 :在Rtools安装期间 不 安装Cygwin.dll。
步骤6。 安装 Cygwin公司
步骤8。 Git克隆 水-3
git克隆 https://github.com/h2oai/h2o-3
镉h2o-3 ./gradlew.bat版本
如果遇到错误,请使用再次运行
--堆垛道 有关缺少依赖项的更多说明。
javac-版本
brew安装节点
包装 <- c(c)( " RCurl(RCurl) " , " jsonlite公司 " , " 随机反演 " , " 开发工具 " , " 氧气2 " , " 测试那个 " ) 对于 ( 包装 在里面 包装 ) { 如果 ( ! ( 包装 %单位:% rownames(installed.packages()))install.packages( 包装 ) }
brew安装python
sudo easy_install管道
sudo pip安装轮请求列表
步骤5。 Git克隆 水-3
git克隆 https://github.com/h2oai/h2o-3
镉h2o-3 ./gradlew版本
如果您再次遇到错误,请使用运行
--堆垛道 有关缺少依赖项的更多说明。
卷曲-sL https://deb.nodesource.com/setup_0.12 | sudo bash- sudo apt-get安装-y节点
javac-版本
注释 :如果进程无法在Linux上安装RStudio Server,请运行以下操作之一:
sudo apt-get安装libcurl4-openssl-dev
或
sudo apt-get安装libcurl4-gnutls-dev
步骤4。 Git克隆 水-3
sudo apt-get安装git
git克隆 https://github.com/h2oai/h2o-3
镉h2o-3 ./gradlew版本
如果遇到错误,请使用再次运行
--堆垛道 有关缺少依赖项的更多说明。
确保您不是以root身份运行,因为
凉亭 将拒绝这样的运行。
卷曲-sL https://deb.nodesource.com/setup_16.x | sudo bash- sudo apt-get安装-y节点
光盘/光盘 sudo wget--no-cookies--no-check-certificate--header“Cookie:gpw_e24=http%3A%2F%2Fww.oracle.com%2F;oraclelicense=accept-securebackup-Cookie” http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz " sudo tar xzf jdk-7u79-linux-x64.tar.gz 光盘jdk1.7.0_79 sudo替代方案——安装/usr/bin/java-java/opt/jdk1.7.0_79/bin/java 2 sudo备选方案--安装/usr/bin/jar-jar/opt/jdk1.7.0_79/bin/jar 2 sudo替代方案--安装/usr/bin/javac-javac/opt/jdk1.7.0_79/bin/javac 2 sudo备选方案--设置jar/opt/jdk1.7.0_79/bin/jar sudo备选方案--设置javac/opt/jdk1.7.0_79/bin/javac 光盘/光盘 sudo wget公司 http://dl.fedoraproject.org/pub/epel/7/x86_64/epel-release-7-5.noarch.rpm sudo rpm-ivh epel版本-7-5.noarch.rpm sudo-echo“multilib_policy=best”>>/etc/yum.conf sudo yum-y更新 sudo yum-y安装R R-devel git python-pip openssl-devel-devel libxml2-devel-libcurl-devel gcc-c++生成openssl-devel内核级别texlive texinfo texlive-latex-fonts libX11-devel mesa-libGL-devel mesa-libGL-devel nodejs npm python-evel numpy scipy python-panda sudo pip安装scikit-learn抓地力制表statsmodels轮 mkdir~/R库 导出JAVA_HOME=/opt/jdk1.7.0_79 导出JRE_HOME=/opt/jdk1.7.0_79/JRE 导出PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.01_79/jre/bin 导出R_LIBS_USER=~/Rlibrary #安装本地R包 R-e’install.packages(c(“RCurl”,“jsonlite”,“statmod”,“devtools”,“roxygen2”,“testtat”),dependencies=TRUE,repos=“ http://cran.rstudio.com/ ")' 光盘 git克隆 https://github.com/h2oai/h2o-3.git 镉h2o-3 #构建H2O ./gradlew同步Smalldata ./gradlew同步包 ./gradlew构建-x测试
java-jar构建/h2o.jar
导出BUILD_HADOOP=1; ./gradlew构建-x测试; ./gradlew距离;
导出BUILD_HADOOP=1; 导出H2O_TARGET=hdp2.5,hdp2.6 ./gradlew构建-x测试; ./gradlew距离;
添加新的驱动程序目录和程序集目录(每个目录都有一个 建筑梯度 文件)中 水-hadoop 将这些新项目添加到 h2o-3/设置等级 将新Hadoop版本添加到 HADOOP_版本 在里面 make-dist.sh品牌 将新Hadoop版本添加到中的列表 h2o-dist/buildinfo.json
创建或找到一个id用作代理,该代理被限制为无法访问HDFS或相关服务; 代理用户只需要用来模拟用户 (如果不使用h2odriver,则必需)如果您不使用驱动程序(例如,您使用Hadoop针对h2o的API编写了自己的代码),请进行必要的代码更改以模拟用户(请参阅 org.apache.hadoop.security。 用户组信息 ) 在Ambari/Cloudera Manager中或直接在NameNode的core-site.xml文件中,为希望用作代理的用户添加2/3属性(替换为简单用户名,而不是完全限定的主体名称)。 hadoop.proxyuser< 代理用户名>.hosts :允许代理用户代表来自的有效用户执行模拟操作的主机 hadoop.proxyuser< 代理用户名>.groups :模拟用户必须属于的组,以便模拟与该代理用户一起工作 hadoop.proxyuser< 代理用户名>.users :允许代理用户模拟的用户 示例: <property><name>hadoop.proxyuser.myproxyuser.hosts</name><value>host1,host2</value></property><property><name>hadoop.proxyuser.myproxyuser.groups</name><value>group1,group2</value>
重启HDFS和YARN等核心服务以使更改生效
安全模拟的目标用例是预先验证用户身份,然后代表该用户使用h2odriver(在本例中)的应用程序或服务。 H2O的Steam就是一个完美的例子:通过SSL在web应用程序中验证用户,在创建H2O YARN容器时模拟该用户。 代理用户在Hadoop集群中应该具有有限的权限; 这意味着没有访问数据或进行API调用的权限。 通过这种方式,如果它受到威胁,它将只能模拟集群中的特定用户子集,并且只能模拟来自特定机器的用户。 使用 hadoop.proxyuser< 代理用户名>.hosts 尽可能或切实可行的财产。 不要将proxyusername的密码或keytab提供给任何不想冒充其他用户的用户(这通常是 任何 用户)。 模拟的目的是不允许用户相互模拟。 有关典型用例,请参阅第一个项目符号。 只要可行,就限制用户登录正在进行代理的计算机。 确保用于登录代理用户的keytab得到了适当的保护,并且用户不能以该id登录(通过 苏 例如) 永远不要设置hadoop.proxyuser。。 {users,groups}到“*”或“hdfs”、“yarn”等。允许任何用户模拟hdfs、yarn或任何其他重要用户/组时应格外小心 强烈地 在允许之前进行分析。
执行模拟的id可能会像其他任何用户id一样受到威胁。 设置任何 hadoop.proxyuser< 代理用户名>。 {主机、组、用户} 属性设置为“*”会大大增加安全风险。 如果用户在使用驱动程序之前没有经过身份验证(例如,Steam通过安全的web应用程序/API进行身份验证),则很难对进程/系统进行审计。
$git差异 diff—git a/h2o-app/build.gradle b/h2o-app/build.gratle 索引af3b929..097af85 100644 ---a/h2o-app/build.gradle公司 +++b/h2o-app/build.gradle公司 @@-8,5+8,6@@依赖项{ 编译项目(“:h2o-algos”) 编译项目(“:h2o-core”) 编译项目(“:h2o-genmodel”) +编译项目(“:h2o-persist-hdfs”) } diff—git a/h2o-persist-hdfs/build.gradle b/h2o-perstist-hdfs/build.jradle 索引41b96b2..6368ea9 100644 ---a/h2o-persist-hdfs/build.gradle公司 +++b/h2o持久性hdfs/build.gradle @@-2,5+2,6@@description=“H2O持久HDFS” 依赖关系{ 编译项目(“:h2o核心”) -编译(“org.apache.hadoop:hadoop-client:2.0.0-cdh4.3.0”) +编译(“org.apache.hadoop:hadoop-client:2.4.1-mapr-1408”) +编译(“org.json:org.json:chargebee-1.0”) }
cd~/h2o-3 cd-py光盘 巨蟒/ generate_rest_api_docs.py#仅生成降价 巨蟒/ generate_rest_api_docs.py--generate_html--github_user github_user--github_password github_password#生成降价和html
@手动{h2o_package_or_module, title={package_or_module_title}, 作者={H2O.ai}, 年份={year}, month={month}, 注意={version_information}, url={resource_url}, }
H2O.ai(2016年10月)。 H2O的Python接口 ,Python模块版本3.10.0.8。 https://github.com/h2oai/h2o-3 . H2O.ai(2016年10月)。 H2O的R接口 ,R软件包版本3.10.0.8。 https://github.com/h2oai/h2o-3 . H2O.ai(2016年10月)。 水 ,H2O版本3.10.0.8。 https://github.com/h2oai/h2o-3 .
@手册{h2o_booklet_name, title={booklet_title}, author={list_of_authors}, 年份={year}, month={month}, url={link_url}, }
斯里萨蒂斯·安巴蒂 悬崖点击 汤姆·克拉杰维奇 托马斯·尼科德姆 米查尔·马洛拉发 凯文·诺莫耶 斯宾塞·艾罗 安琪·福 尼迪·梅塔 阿诺·坎德尔 约瑟芬·王 王欣 马克斯·施洛默 雷·佩克 普里特维·帕布 布兰登·希尔 杰夫·甘贝拉 阿里尔·拉奥 维拉杰·帕马尔 肯达尔·哈里斯 阿南德·阿瓦蒂 杰西卡·兰福德 亚历克斯·特莱斯 艾利森·沃什本 王欣 埃里克·埃克斯特兰德 Neeraja Madabhushi公司 塞巴斯蒂安·维迪里奥 本·萨布林 马特·道尔 马克·兰德里 埃林·勒德尔 安德烈·斯皮里多诺夫 奥列格·罗根斯基 尼克·马丁 南希·乔丹 Nishant Kalonia公司 纳丁·胡萨米 杰夫·克莱默 Stacie Spreitzer公司 维诺德·艾扬格 查伦·温多姆 帕拉格·桑哈维 Navdeep吉尔 劳伦·迪佩纳 安莫尔·巴尔 马克·陈 尼克·卡尔波夫 阿夫尼·瓦德瓦 阿什里斯·巴楚 凯伦·海勒普蒂安 周若菲 德米特里·拉科 布兰登·默里 雅库布·哈瓦 文凡 马格努斯·斯坦斯莫 帕沙·斯特森科 安吉拉·巴茨 马特乌斯·戴姆齐克(Mateusz Dymczyk) 迈卡·斯塔布斯 常春藤·王 Terone病房 利兰·威尔金森 医生王迪 尼基尔·谢哈尔 帕维尔·普舍伊德 米查尔·库尔卡 维罗妮卡·毛雷罗娃 简·斯特巴 扬·詹德鲁萨克 塞巴斯蒂安·波里埃 托马什·弗里达 阿尔德·凯尔门迪 尤利娅·西松 亚当·瓦伦塔 马雷克·诺沃特尼
斯蒂芬·博伊德 罗布·蒂布什拉尼 黑斯蒂
道格利 克里斯·波利奥 德鲁巴·博塔库尔
Jishnu Bhattacharjee,Nexus Venture Partners公司 阿南德·巴布围手术期 阿纳德·拉贾拉曼 阿什·巴德瓦吉 拉凯什·马图尔 迈克尔·马克斯 埃格伯特·比尔曼 拉杰什·安巴蒂