使用sqlserver的导入导出功能整理一个数据库,几千万的数据。
在跑了不到1000W的时候报错了。错误提示:
消息
错误 0xc0202009: 数据流任务 1: SSIS 错误代码 DTS_E_OLEDBERROR。出现 OLE DB 错误。错误代码: 0x80004005。 继续阅读“sqlserver 导入导出错误一例 – 王文铮的专栏 – 博客频道 – CSDN.NET”
代码剪辑,记录代码人生的点点滴滴!
使用sqlserver的导入导出功能整理一个数据库,几千万的数据。
在跑了不到1000W的时候报错了。错误提示:
消息
错误 0xc0202009: 数据流任务 1: SSIS 错误代码 DTS_E_OLEDBERROR。出现 OLE DB 错误。错误代码: 0x80004005。 继续阅读“sqlserver 导入导出错误一例 – 王文铮的专栏 – 博客频道 – CSDN.NET”
参考文献:http://zhuaxia.org/blog/post/145
因为获得的数据库文件是一个文本文件www.csdn.net.sql,因此需要用到mysql中的LOAD DATA INFILE命令,LOAD DATA INFILE的语法结构如下: 继续阅读“某社区600万用户数据导入MYSQL、MSSQL、Oracle数据库方法 – xwdreamer – 博客园”
I installed Hadoop2.2.0 and Hbase0.98.0 and here is what I do : 继续阅读“hadoop – get “ERROR: Can’t get master address from ZooKeeper; znode data == null” when using Hbase shell – Stack Overflow” |
导读:出现此问题可能是zookeeper不稳定造成的,采用的是虚拟机,经常挂起的状态,使用hbase的list命令出现下面错误,这个可能是hbase的稳定性造成的,解决办法有两种。这里使用第一种办法就解决了。 继续阅读“出现ERROR: Can’t get master address from ZooKeeper; znode data == null解决办法-HBase-about云开发”
1、HRegionServer启动不正常
在namenode上执行jps,则可看到hbase启动是否正常,进程如下:
[root@master bin]# jps
26341 HMaster
26642 Jps
7840 ResourceManager
7524 NameNode
7699 SecondaryNameNode
由上可见,hadoop启动正常。 继续阅读“HBase集群安装过程中的问题集锦 – 李克华 – 博客园”
今天将单机的hbase加入hadoop集群中,启动hbase表现很正常。执行status长时间无响应。一段时间后报错:ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times。
并且访问hbase界面的60010端口(http://node1:60010/master-status)也无法打开: 继续阅读“在hbase shell中输入命令无响应并报错 – 框框 – 开源中国社区”
一、NFS服务器的设定
NFS服务器的设定可以通过/etc/exports这个文件进行,设定格式如下:
NFS协议是网络当中比较常用的一类协议,在很多开发系统平台中,都需要加载这个协议。所以,我们这里就来详细介绍一下NFS协议的启动以及写在等内容。希望对大家有所帮助。
一:服务器端的设定(以LINUX为例)
服务器端的设定都是在/etc/exports这个文件中进行设定的,设定格式如下:
欲分享出去的目录 主机名称1或者IP1(参数1,参数2) 主机名称2或者IP2(参数3,参数4)
上面这个格式表示,同一个目录分享给两个不同的主机,但提供给这两台主机的权限和参数是不同的,所以分别设定两个主机得到的权限.
可以设定的参数主要有以下这些:
rw:可读写的权限;
ro:只读的权限;
no_root_squash:登入到NFS 主机的用户如果是ROOT用户,他就拥有ROOT的权限,此参数很不安全,建议不要使用.
root_squash:在登入 NFS协议主机使用分享之目的使用者如果是使用者的都成 nobody 身份;
all_squash:不管登陆NFS主机的用户是什么都会被重新设定为nobody.
anonuid:将登入NFS主机的用户都设定成指定的user id,此ID必须存在于/etc/passwd中.
anongid:同 anonuid ,但是?成 group ID 就是了!
sync:资料同步写入存储器中.
async:资料会先暂时存放在内存中,不会直接写入硬盘.
insecure 允许从这台机器过来的非授权访问.
例如可以编辑/etc/exports为:
/tmp *(rw,no_root_squash)
/home/public 192.168.0.*(rw) *(ro)
/home/test 192.168.0.100(rw)
/home/linux *.the9.com(rw,all_squash,anonuid=40,anongid=40)
设定好后可以使用以下命令启动NFS协议:
/etc/rc.d/init.d/portmap start (在RedHat中PORTMAP是默认启动的)
/etc/rc.d/init.d/nfs start
exportfs命令:
如果我们在启动了NFS协议之后又修改了/etc/exports,是不是还要重新启动nfs呢?这个时候我们就可以用exportfs命令来使改动立刻生效,该命令格式如下:
exportfs [-aruv]
-a :全部 mount或者unmount /etc/exports中的内容
-r :重新mount /etc/exports中分享出来的目录
-u :umount 目录
-v :在 export 的?r候,将详细的信息输出到屏幕上.
具体例子:
[root @test root]# exportfs -rv <== 全部重新 export 一次!
exporting 192.168.0.100:/home/test
exporting 192.168.0.*:/home/public
exporting *.the9.com:/home/linux
exporting *:/home/public
exporting *:/tmp
reexporting 192.168.0.100:/home/test to kernel
exportfs -au <== 全部都卸载了.
二、客户端的操作:
1?showmout命令对于NFS协议的操作和查错有很大的帮助,所以我们先来看一下showmount的用法
showmout
-a :这个参数是一般在NFS SERVER上使用,是用来显示已经 mount上本机nfs目录的cline机器.
-e :显示指定的NFS SERVER上export出来的目录.
例如:
showmount -e 192.168.0.30
Export list for localhost:
/tmp *
/home/linux *.linux.org
/home/public (everyone)
/home/test 192.168.0.100
2? mount nfs目录的方法:
mount -t nfs hostname(orIP):/directory /mount/point
具体例子:
Linux: mount -t nfs 192.168.0.1:/tmp /mnt/nfs
Solaris:mount -F nfs 192.168.0.1:/tmp /mnt/nfs
BSD: mount 192.168.0.1:/tmp /mnt/nfs
3?mount nfs的其它可选参数:
HARD mount 和SOFT MOUNT:
HARD: NFS CLIENT会不断的尝试与SERVER的连接(在后台,不会给出任何提示信息,在LINUX 下有的版本仍然会给出一些提示),直到MOUNT上.
SOFT:会在前台尝试与SERVER的连接,是默认的连接方式.当收到错误信息后终止 mount尝试,并给出相关信息.
例如:mount -F nfs -o hard 192.168.0.10:/nfs /nfs
对于到底是使用hard还是soft的问题,这主要取决于你访问什么信息有关.例如你是想通过NFS协议来运行X PROGRAM的话,你绝对不会希望由于一些意外的情况(如网络速度一下子变的很慢,插拔了一下网卡插头等)而使系统输出大量的错误信息,如果此时你用的 是HARD方式的话,系统就会等待,直到能够重新与NFS SERVER建立连接传输信息.另外如果是非关键数据的话也可以使用SOFT方式,如FTP数据等,这样在远程机器暂时连接不上或关闭时就不会挂起你的会 话过程.
rsize和wsize:
文件传输尺寸设定:V3没有限定传输尺寸,V2最多只能设定为8k,可以使用-rsize and -wsize 来进行设定.这两个参数的设定对于NFS的执行效能有较大的影响
bg:在执行mount时如果无法顺利mount上时,系统会将mount的操作转移到后台并继续尝试mount,直到mount成功为止.(通常在设定/etc/fstab文件时都应该使用bg,以避免可能的mount不上而影响启动速度)
fg:和bg正好相反,是默认的参数
nfsvers=n:设定要使用的 NFS版本,默认是使用2,这个选项的设定还要取决于server端是否支持NFS VER 3
mountport:设定mount的端口
port:根据server端export出的端口设定,例如如果server使用5555端口输出NFS,那客户端就需要使用这个参数进行同样的设定
timeo=n:设置超时时间,当数据传输遇到问题时,会根据这个参数尝试进行重新传输.默认值是7/10妙(0.7秒).如果网络连接不是很稳定 的话就要加大这个数值,并且推荐使用HARD MOUNT方式,同时最好也加上INTR参数,这样你就可以终止任何挂起的文件访问.
intr 允许通知中断一个NFS调用.当服务器没有应答需要放弃的时候有用处.
udp:使用udp作为nfs协议的传输协议(NFS V2只支持UDP)
tcp:使用tcp作为nfs的传输协议
namlen=n:设定远程服务器所允许的最长文件名.这个值的默认是255
acregmin=n:设定最小的在文件更新之前cache时间,默认是3
acregmax=n:设定最大的在文件更新之前cache时间,默认是60
acdirmin=n:设定最小的在目录更新之前cache时间,默认是30
acdirmax=n:设定最大的在目录更新之前cache时间,默认是60
actimeo=n:将acregmin?acregmax?acdirmin?acdirmax设定为同一个数值,默认是没有启用.
retry=n:设定当网络传输出现故障的时候,尝试重新连接多少时间后不再尝试.默认的数值是10000 minutes
noac:关闭cache机制.
同时使用多个参数的方法:mount -t nfs -o timeo=3,udp,hard 192.168.0.30:/tmp /nfs
请注意,NFS客户机和服务器的选项并不一定完全相同,而且有的时候会有冲突.比如说服务器以只读的方式导出,客户端却以可写的方式mount,虽然可以成功mount上,但尝试写入的时候就会发生错误.一般服务器和客户端配置冲突的时候,会以服务器的配置为准.
4?/etc /fstab的设定方法
/etc/fstab的格式如下:
fs_spec fs_filefs_type fs_optionsfs_dump fs_pass
fs_spec:该字段定义希望加载的文件系统所在的设备或远程文件系统,对于 nfs这个参数一般设置为这样:192.168.0.1:/NFS
fs_本地的挂载点
fs_type:对于NFS协议来说这个字段只要设置成nfs就可以了
fs_options:挂载的参数,可以使用的参数可以参考上面的mount参数.
fs_dump – 该选项被”dump”命令使用来检查一个文件系统应该以多快频率进行转储,若不需要转储就设置该字段为0
fs_pass – 该字段被 fsck命令用来决定在启动时需要被扫描的文件系统的顺序,根文件系统”/”对应该字段的值应该为1,其他文件系统应该为2.若该文件系统无需在启动时扫描则设置该字段为0 .
5?与NFS有关的一些命令介绍
nfsstat:
查看NFS的运行状态,对于调整 NFS的运行有很大帮助
rpcinfo:
查看rpc执行信息,可以用于检测rpc运行情况的工具.
在Linux下使用mount命令挂载Windows 上的共享文件夹。本经验使用Redhat Linux6.5和windows2012作为实践平台。 继续阅读“Linux mount 命令挂载 Windows 共享文件夹_百度经验”
I’m trying to mount a rw personal share that is a subdirectory of a ro share windows share on ubuntu 11.10 using the following command:
继续阅读“[ubuntu] mount -t cifs results gives mount error(13): Permission denied”
I am struggling to mount a windows 2008 share on a CentOS 6.4 (64 bits) server 继续阅读“linux – mount error(13): Permission denied with windows share – Server Fault”
http://blog.csdn.net/gtlions/article/details/8558718
http://2hei.net/mt/2008/12/wndows-use-python-edit-filetime.html
http://www.pythoncentral.io/recursive-file-and-directory-manipulation-in-python-part-1/
【问题描述】
Windows 机器192.168.1.103共享了 /share/yasi 目录,并且赋予了写的权限,在Windows机器下可以用 yasi/pass 登录。 继续阅读“Linux mount Windows目录遇到 write-protected 问题 及 一个屌丝的逆袭 – yasi_xi的专栏 – 博客频道 – CSDN.NET”
在使用smbmount进行映射网络文件夹的时候老是出错“access denied”错误,书上说的:smbmount //192.168.1.1/g_pan /mnt/win_g_pan -U adm就可以了,可我就是不行。 继续阅读“smbmount的使用 – 好记性不如烂笔头 – 博客频道 – CSDN.NET”
24.3.1. 命令行
要查询网络上的 Samba 服务器,使用 findsmb 命令。每个找到的服务器都会显示其 IP 地址、NetBIOS 名称、工作组名称、操作系统、以及 SMB 服务器版本。
要连接 Samba 共享,从 shell 提示下,键入以下命令: 继续阅读“在Linux服务器上把windows下的共享文件夹mount起来-Nivek.cao-ChinaUnix博客”
方法一:修改环境变量LANG=zl_CN.GBK 继续阅读“Linux字符编码设置 – helloworld_zhouli的日志 – 网易博客”