当前位置:首页 » 大数据 - 第1页

03月06日

kafka入门案例

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 13607次

Conumer_demo1.java内容如下:package com.lenovo.kafka_demo;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.slf4j.Logger;impor

03月06日

kafka对数据序列化和反序列化

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 2703次

pom.xml中内容如下:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">  <modelVersion>4.0.0</modelVersion> 

03月06日

随机数生成 C语言

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 2885次

#include <winsock2.h>#include <stdio.h>#include <string.h>#include <stdlib.h>#include <time.h>#include "windows.h"#include <iostream>#include <math.h>using namespace std;//首先声明了一个回调函数,也就是钩子函数BOOL WINAPI HandlerRoutin

03月06日

kafka安装配置 windows

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 2721次
kafka安装配置  windows

一、安装JDK过程比较简单,这里不做说明。最后打开cmd输入如下内容,表示安装成功 二、安装zooeleeper下载安装包:http://download.csdn.net/detail/u012396132/9710227下载后解压到一个目录:1.进入Zookeeper设置目录,笔者D:\Java\Tool\zookeeper-3.5.2\conf2.将“zoo_sample.cfg”重命名为“zoo.cfg”3.在任意文本编辑器(如notepad)中打开zoo.cfg4.找到并编辑dataDir=D:\\Java\\Tool\\zookeeper-3.5.2\\tmp5(该项无法配置,按照第七条做是OK的).与Java中的做法类似,我们在系统环境变量中添加:a.在系统变量中添

03月06日

kafka安装配置 linux

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 2753次

1、下载http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz  下载http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz2、新建zookeeper和kafka文件夹目录,在zookeeper目录新建zkdata、zkdataLog目录,在kafka目录新建kafkaLogs目录。将1步骤中解压后的两个文件夹分别放入zookeeper和kafka目录。3、进入zookeeper的conf目录,将zoo_sample.cfg复制一份zoo.cfg,修改zoo.cfg:dataDir=/h

03月01日

spark入门小例子

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 3392次

1,pyspark2,spark-shellspark网页管理页面:http://127.0.0.1:4040/jobs/3,设置日志输出:log4j.properties.template。把这个日志设置模版文件复制一份到conf/log4j.properties来作为日志设置文件,接下来找到下面这一行:log4j.rootCategory=INFO,console然后通过下面的设定降低日志级别,只显示警告及更严重的信息:log4j.rootCategory=WARN,console4,修改spark临时文件存放路径: conf下的spark-defaults.conf,增加如下一行:spark.local.dir/diskb/sparktmp,/diskc/spark

02月01日

HDFS加密区加密过程

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 4093次

HDFS加密区(encryptionzone)中的每个文件都使用唯一的数据加密密钥(dataencryptionkey,DEK)进行加密,明文DEK被区域级加密密钥:加密区密钥(encryptionzonekey,EZK)加密成加密的数据加密密钥(encryptedDEK,EDEK)。DEK不被永久保存,EDEK作为指定文件NameNode元数据中的扩展属性永久保存。KMS:Hadoop密钥管理服务,KMS负责生成加密密钥(EZK和DEK)、与keyserver通信以及解密EDEK。KMS通过KeyProvider与keyserver进行通信。HDFS客户端向HDFS加密区中写入一个新文件时,发生的事件序列。(1)HDFS客户端调用create()函数写新

02月01日

hive永久注册udf函数小例子

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 4476次
hive永久注册udf函数小例子

注册UDF函数(1)helloUDF.java中package信息需要修改,代码如下:/*packagecom.maven.udf;*/package org.apache.hadoop.hive.ql.udf;import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;/** *一个UDF:helloUDF */public class helloUDFextends UDF{  &n

12月31日

Redis入门指南 - 电子书下载 -(百度网盘 高清版PDF格式)

发布 : xiaohuanglv | 分类 : 大数据电子书 | 评论 : 0 | 浏览 : 4275次
Redis入门指南 - 电子书下载 -(百度网盘 高清版PDF格式)

Redis入门指南-李子骅            在线阅读                   百度网盘下载(4lcx)书名:Redis入门指南作者:李子骅格式:EPUB,HTMLZ,PDF路径:点击打开排序作者:李子骅排序书名:Redis入门指南日期:0812月2018uuid:dae2a426-1c90-412a-bb96-08b3f4e522e7id:501出版日期:12月

12月31日

Redis入门指南(第2版) - 电子书下载 -(百度网盘 高清版PDF格式)

发布 : xiaohuanglv | 分类 : 大数据电子书 | 评论 : 0 | 浏览 : 5042次
Redis入门指南(第2版) - 电子书下载 -(百度网盘 高清版PDF格式)

Redis入门指南(第2版)-李子骅            在线阅读                   百度网盘下载(z793)书名:Redis入门指南(第2版)作者:李子骅格式:EPUB,HTMLZ,PDF路径:点击打开排序作者:李子骅排序书名:Redis入门指南(第2版)日期:0812月2018uuid:ed21285a-4c67-40ce-b811-4d407b40b4a

网站分类

标签列表

最近发表

全站首页 | 数据结构 | 区块链| 大数据 | 机器学习 | 物联网和云计算 | 面试笔试

本站资源大部分来自互联网,版权归原作者所有!