本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。
月度归档: 2015 年 8 月
Storm集群部署 – zhangwx的专栏 – 博客频道 – CSDN.NET
1. Storm集群组件
Storm集群中包含两类节点:主控节点(Master Node)和工作节点(Work
(转)Mahout使用入门 – 风生水起 – 博客园
一、简介
Mahout 是 Apache Software Foundation(ASF)旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头,目前已经有了三个公共发行版本。 继续阅读“(转)Mahout使用入门 – 风生水起 – 博客园”
mahout简单入门 – datafans – 开源中国社区
export HADOOP_HOME=/usr/local/hadoop-single
———————————————————–cluster—————— ———————————-
bin/hadoop fs -put /opt/synthetic_control.data testdata/synthetic_control.data
bin/hadoop jar /usr/local/mahout/mahout-examples-0.8-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
bin/hadoop jar /usr/local/mahout/mahout-examples-0.8-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job -i /user/demo/synthetic_control.data -o /user/demo/kmeans-output
也可以在eclipse中直接运行测试
将序列文件导出查看 加上–pointsDir 就会导出所有点的集合 如果不加 就只有分类后的说明 继续阅读“mahout简单入门 – datafans – 开源中国社区”
一个国产数据库一体机厂商战胜大牛的故事 – IT国内新闻 — C114(中国通信网)
一个名不见经传的数据库一体机国产厂商,居然在电信运营商的竞标中战胜Oracle、华为这样的大牛与高手,讲来或许大家不一定相信,但已经成为事实。故事就从叶大拿说起吧……
那天,天刚朦朦亮,他就醒了。
和许多技术人一样,他习惯晚睡晚起,可是最近有一件重要的事情没有落实,也就睡不踏实。 继续阅读“一个国产数据库一体机厂商战胜大牛的故事 – IT国内新闻 — C114(中国通信网)”
Hadoop能做什么 – 大数据那些事儿 – 博客频道 – CSDN.NET
“Hadoop能做什么?” ,概括如下:
1、搜索引擎(Doug Cutting 设计Hadoop的初衷,为了针对大规模的网页快速建立索引)。
2、大数据存储,利用Hadoop的分布式存储能力,例如数据备份、数据仓库等。
3、大数据处理,利用Hadoop的分布式处理能力,例如数据挖掘、数据分析等。
4、科学研究,Hadoop是一种分布式的开源框架,对于分布式计算有很大程度地参考价值。 继续阅读“Hadoop能做什么 – 大数据那些事儿 – 博客频道 – CSDN.NET”
用Hadoop 还是不用Hadoop?_数据库/开发_比特网
Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候,会听到脱口而出的回答:Hadoop!实际上Hadoop被设计和建造出来,是用来解决一系列特 定问题的。对某些问题来说,Hadoop至多算是一个不好的选择。对另一些问题来说,选择Hadoop甚至会是一个错误。对于数据转换的操作,或者更广泛 意义上的抽取-转换-装载的操作(译者注:Extraction Transformation Load,ETL,数据仓库中对数据从初始状态到可用状态处理过程的经典定义), 使用Hadoop系统能够得到很多好处, 但是如果你的问题是下面5类之中的一个的话,Hadoop可能会是一不合适的解决方案。 继续阅读“用Hadoop 还是不用Hadoop?_数据库/开发_比特网”
数据控使用Hadoop的三种最常用方式-CSDN.NET
hadoop+hbase 可以作为生产数据库使用么? – SegmentFault
数据库是一个WEB 应用程序的基础,数据库服务器挂了的话,整个WEB 也就挂了所以数据库异地实时备份非常重要,不知道 hbase 在这方面怎么样?
如何使用Hadoop进入大数据库时代? – 51CTO.COM
Hadoop有多火?从业界的一系列举动就可以看出来。包括甲骨文、微软、Sybase在内的主流数据库厂商都纷纷发布了Hadoop连接器产品,为的就是让用户可以在传统关系型数据库与开源分布式处理系统之间更轻松地传输信息。 继续阅读“如何使用Hadoop进入大数据库时代? – 51CTO.COM”
关系型数据库与HBase的数据储存方式区别 – 推酷
如今Bigtable型(列族)数据库应用越来越广,功能也很强大。但是很多人还是把它当做关系型数据库在使用,用原来关系型数据库的思维建表、存储、查询。本文以hbase举例讲述数据模式的变化。 继续阅读“关系型数据库与HBase的数据储存方式区别 – 推酷”
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境-mchdba-ITPUB博客
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop程序,所以经过试验,总结了下如何在windows下使用Eclipse来开发hadoop程序代码。
继续阅读“Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境-mchdba-ITPUB博客”
Hadoop集群(第7期)_Eclipse开发环境设置 – 虾皮 – 博客园
1、Hadoop开发环境简介
1.1 Hadoop集群简介
Java版本:jdk-6u31-linux-i586.bin
Linux系统:CentOS6.0
[图]当你还在苦恼抽油烟机产生的废油时 别人已把它变肥皂_cnBeta 硬件新闻_cnBeta.COM
废油制皂不算什么新鲜事,早在5、6年前就有人用这种思路变废为宝了。然而,废油制皂的流程比较复杂,需要较长的时间,非常多的容器和工具,以及皂化反应当中所需的碱及其他原料,一般人如果不够熟悉整个过程的话,在家很难制出去污效果好的肥皂,还容易在操作过程中弄伤自己。为了解决废油利用率低的情况,来自天津的一支创客(maker)团队制造了一台机器,让废油“智”皂变得更加简单。
求关于php用WEBSERVICE 来做电信ISAG下行发短信的案例_百度知道
请问网路上各位PHP高手大哥,本人现在要做一个电信提供了接口,做一个ISAG下行,发送短信的客户端,不知如何做起,本人尝试过用SOAP来做,做不成功.以下是本人的程序:<!--more--><br>set_time_limit(0); <br>//ini_set("soap.wsdl_cache_enabled", "0");<br>$timestamp = date("mdhis");<br>$password = "1519xxxxxxxxx1".$timestamp;<br><br>$SOAP = new SoapClient("wsdl/NORTH/ctcc_sms_send_service_2_1.wsdl");<br>$xmlstr .="";<br>$xmlstr .="<?xml version=\"1.0\" encoding=\"UTF-8\"?>";<br>$xmlstr .="<soapenv:Envelope xmlns:soapenv=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:xsd=\"http://www.w3.org/2001/XMLSchema\" xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\">";<br>$xmlstr .="<soapenv:Header>";<br>$xmlstr .="<ns1:RequestSOAPHeader soapenv:actor=\"http://schemas.xmlsoap.org/soap/actor/next\" soapenv:mustUnderstand=\"0\" xmlns:ns1=\"http://www.chinatelecom.com.cn/schema/ctcc/common/v2_1\">";<br>$xmlstr .="<ns1:spId>15XXXX44</ns1:spId>";<br>$xmlstr .="<ns1:spPassword>".$password."</ns1:spPassword>";<br>$xmlstr .="<ns1:timeStamp>".$timestamp."</ns1:timeStamp>";<br>$xmlstr .="<ns1:productId>11500000000000XXXXX55</ns1:productId>";<br>$xmlstr .="<ns1:OA></ns1:OA>";<br>$xmlstr .="<ns1:FA></ns1:FA>";<br>$xmlstr .="<ns1:linkId></ns1:linkId>";<br>$xmlstr .="<ns1:SAN></ns1:SAN>";<br>$xmlstr .="</ns1:RequestSOAPHeader>";<br>$xmlstr .="</soapenv:Header>";<br>$xmlstr .="<soapenv:Body>";<br>$xmlstr .="<sendSms xmlns=\"http://www.chinatelecom.com.cn/schema/ctcc/sms/send/v2_1/local\">";<br>$xmlstr .="<addresses>tel:+8613xxxxxx551</addresses>";<br>$xmlstr .="<senderName>106XXXX8</senderName>";<br>$xmlstr .="<message>SOHU 彩信</message>";<br>$xmlstr .="<receiptRequest>";<br>$xmlstr .="<endpoint xmlns=\"\">http://61.135.132.206:8080/axis/services/SmsNotification</endpoint>";<br>$xmlstr .="<interfaceName xmlns=\"\">SendSms</interfaceName>";<br>$xmlstr .="<correlator xmlns=\"\">1224146261455</correlator>";<br>$xmlstr .="</receiptRequest>";<br>$xmlstr .="</sendSms>";<br>$xmlstr .="</soapenv:Body>";<br>$xmlstr .="</soapenv:Envelope>";<br><br>//echo $xmlstr;<br><br>$te2 = array("spId"=>"15xxxx4","spPassword"=>md5($password),"timeStamp"=>$timestamp,"productId"=>"115000xxxxxxxxxxx5");<br>$SOAPHEADER = new soapheader('http://soapinterop.org/echoheader/',"RequestSOAPHeader",$te);<br><br>$te = array("addresses"=>"tel:+86135xxxxx551","senderName"=>"106xxxx8","message"=>"test");<br>$SOAP ->__soapCall("sendSms" , $te);
能讲具体点吗,谢谢
php调用电信isag的方法_网络小农_新浪博客
php在创建或调用webservice方面太差了,这几天在调用电信isag接口发送短信的时候是深有体会啊,当时因为懒得装java的运行环境放弃使用java改用php,现在想想太后悔了。下面是php通过socket调用isag接口发送短信的例子: 继续阅读“php调用电信isag的方法_网络小农_新浪博客”
利用php soap实现web service – 最简单的就是最好的 – 博客园
php有两个扩展可以实现web service,一个是NuSoap,一个是php 官方的soap扩展,由于soap是官方的,所以我们这里以soap来实现web service.由于默认是没有打开soap扩展的,所以自己先看一下soap扩展有没有打开。
在soap编写web service的过程中主要用到了SoapClient,SoapServer,SoapFault三个类。 继续阅读“利用php soap实现web service – 最简单的就是最好的 – 博客园”
微软发布Windows Server 2016 Technical Preview 3_Windows Server_cnBeta.COM
在上一个版本发布近3个月之后,微软终于发布了Windows Server 2016的第3个技术预览版。其实早在上周的时候,网络上该系统的ISO镜像,以及Build 10514的屏幕截图,不过我们知道今天才迎来正式的更新。在Windows Server 2016 Tech Preview 3的发行说明中,微软提到了Windows Server Containers是一个孤立的、资源控制的、以及便携的操作环境。
继续阅读“微软发布Windows Server 2016 Technical Preview 3_Windows Server_cnBeta.COM”
linux mount windows 时出现乱码[总结] – Linux操作系统:Ubuntu_Centos_Debian – 红黑联盟
学习操作系统时我们都了解到文件系统是操作系统的重要组成部分之一。文件系统有很多种类型,比windows的fat、fat32;Linux的ext、 ext2或ext3;FreeBSD的ufs等等。
在使用Linux的过程,也常常Linux操作系统使用虚拟文件系统VFS,通过VFS可以直接存取其它已被内核支持的各种文件系统,用起来就像是在普通的 Linux的ext系列文件系
统一样。 继续阅读“linux mount windows 时出现乱码[总结] – Linux操作系统:Ubuntu_Centos_Debian – 红黑联盟”
Linux中挂载NTFS格式的硬盘_Linux教程_Linux公社-Linux系统门户网站
在很多时候,我们需要将文件拷贝到远程Linux主机上面,某些时候,网络比较给力,几个GB的文件传上去不怎么费力,但是几十个GB的文件呢?虽然也可以这样去做,但是,如果我们的权限够大,可以进机房直接拷贝数据到Linux主机上面岂不是更快更好。
当我们拿着移动硬盘兴致勃勃得进入机房,插上硬盘,使用fdisk之类的命令查看磁盘是否被识别; 继续阅读“Linux中挂载NTFS格式的硬盘_Linux教程_Linux公社-Linux系统门户网站”