当前位置:首页 » 大数据电子书 » 正文

Hadoop运维12问--应急手册(中国程序员) - 电子书下载(高清版PDF格式+EPUB格式)

2041 人参与  2018年12月31日 00:37  分类 : 大数据电子书  评论

Hadoop运维12问--应急手册(中国程序员)-向磊

            在线阅读                   百度网盘下载(d4no)


image.png

书名:Hadoop运维12问--应急手册(中国程序员)

作者:向磊

格式:EPUB, HTMLZ, PDF

路径:点击打开

排序作者:向磊

排序书名:Hadoop运维12问--应急手册(中国程序员)

日期:08 12月 2018

uuid:f110e895-5b51-44f6-85b3-ade759420f46

id:502

出版日期:8月 2014

修改日期:08 12月 2018

大小:0.68MB

语言:中文


Hadoop集群的机房停电了,然后集群就启动不了了,几个人从下午4点多折腾到8点多还没搞定,有几台服务器找不到硬盘,还有内网ping不通的。有10来台服务器起不来datanode和tasktracker了。

由于这几台服务器挂机,namenode没有达到有效数据块的阀值所以一直处于safemode。

逐个解决,反馈比较多的情况是硬盘设备在/dev找不到,看了一下,/dev下设备存在,但是没有分区,没有fdisk就直接mkfs.ext3了。所以/dev下的设备都是sdb,sdc...而正确的应该是sdb1,sdc1这样的。发现这个问题以后,直接把/dev/sdb挂载到/data1,/data2...。该故障恢复。

还有一类故障是硬盘挂上了,但是datanode无法启动,启动后报错Cannot lock storage /data3/... The directory is already locked。看了一下,路径权限没问题,也没有进程占用该路径。首先怀疑是硬盘出错。mount看了一下,硬盘处于rw状态,应该是没什么问题,但是还是启动不了,于是将该硬盘umount掉,然后重新mount,还是不行,于是做了个测试,直接把该硬盘mkfs.ext3。再重新挂载,然后创建相应的文件夹,赋予权限。再启动datanode,这时候理论上应该是正常并负载均衡数据块,但datanode还是挂了,报了一个DiskChecker volsFailed故障,于是判断该硬盘有物理损坏。直接从hadoop配置文件里摘除,重启datanode正常。

最后一个故障是某一台服务器,内网网卡无法ping通同网段内的服务器。外网可以连接,看了一下ifconfig,IP信息,MAC信息都正确无误,怀疑是路由或者网卡问题,但一般来说,网卡不太会出问题,所以先从路由看起,结果发现果然是路由的问题。ip route命令看了一下linux的路由表。发现里面的内网地址192.168网段被转发到了一个错误的10.8的VPN tunnel上面。将该路由记录从路由表删除后,立刻就通了。

总结了如下几点:

一、大公司应该尽量选择好的机房,发生大规模宕机终归不是什么好事,带来的后续问题太多。

二、大规模分布式集群运维的人才问题将成为瓶颈,鉴于分布式系统的复杂程度,要求运维人员的水平相对比网站运维要高得多。随着技术的发展,用工具把hadoop搭起来不是问题,但是在大规模集群下的维护将成为大问题,要面对各种各样可能发生的奇怪的故障,综合知识要求非常高。不光要精通linux,还要精通网络,还要精通自动化运维方式,还要精通编程,让传统运维去维护hadoop是mission impossible的事。map/reduce开发其实很简单,只要掌握了开发的思想,一天时间就可以基本掌握。运维很可能是最终阻碍hadoop落地的障碍,分布式系统太复杂了,需要比较长时间的积累,然后需要知识面很广,思路很活跃才行。

来源:我是码农,转载请保留出处和链接!

本文链接:http://www.54manong.com/?id=1131

大数据电子书  

微信号:qq444848023    QQ号:444848023

加入【我是码农】QQ群:864689844(加群验证:我是码农)

<< 上一篇 下一篇 >>

网站分类

标签列表

最近发表

全站首页 | 数据结构 | 区块链| 大数据 | 机器学习 | 物联网和云计算 | 面试笔试

本站资源大部分来自互联网,版权归原作者所有!