当前位置:首页 » 大数据技术与应用 - 第1页

03月06日

kafka入门案例

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 12029次

Conumer_demo1.java内容如下:package com.lenovo.kafka_demo;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.slf4j.Logger;impor

03月06日

kafka对数据序列化和反序列化

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1113次

pom.xml中内容如下:<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">  <modelVersion>4.0.0</modelVersion> 

03月06日

随机数生成 C语言

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1088次

#include <winsock2.h>#include <stdio.h>#include <string.h>#include <stdlib.h>#include <time.h>#include "windows.h"#include <iostream>#include <math.h>using namespace std;//首先声明了一个回调函数,也就是钩子函数BOOL WINAPI HandlerRoutin

03月06日

kafka安装配置 windows

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1124次
kafka安装配置  windows

一、安装JDK过程比较简单,这里不做说明。最后打开cmd输入如下内容,表示安装成功 二、安装zooeleeper下载安装包:http://download.csdn.net/detail/u012396132/9710227下载后解压到一个目录:1.进入Zookeeper设置目录,笔者D:\Java\Tool\zookeeper-3.5.2\conf2.将“zoo_sample.cfg”重命名为“zoo.cfg”3.在任意文本编辑器(如notepad)中打开zoo.cfg4.找到并编辑dataDir=D:\\Java\\Tool\\zookeeper-3.5.2\\tmp5(该项无法配置,按照第七条做是OK的).与Java中的做法类似,我们在系统环境变量中添加:a.在系统变量中添

03月06日

kafka安装配置 linux

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1102次

1、下载http://mirrors.shuosc.org/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz  下载http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz2、新建zookeeper和kafka文件夹目录,在zookeeper目录新建zkdata、zkdataLog目录,在kafka目录新建kafkaLogs目录。将1步骤中解压后的两个文件夹分别放入zookeeper和kafka目录。3、进入zookeeper的conf目录,将zoo_sample.cfg复制一份zoo.cfg,修改zoo.cfg:dataDir=/h

03月01日

spark入门小例子

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1368次

1,pyspark2,spark-shellspark网页管理页面:http://127.0.0.1:4040/jobs/3,设置日志输出:log4j.properties.template。把这个日志设置模版文件复制一份到conf/log4j.properties来作为日志设置文件,接下来找到下面这一行:log4j.rootCategory=INFO,console然后通过下面的设定降低日志级别,只显示警告及更严重的信息:log4j.rootCategory=WARN,console4,修改spark临时文件存放路径: conf下的spark-defaults.conf,增加如下一行:spark.local.dir/diskb/sparktmp,/diskc/spark

03月01日

git上传代码到github

发布 : xiaohuanglv | 分类 : 机器学习精品文章 | 评论 : 0 | 浏览 : 1319次
git上传代码到github

一、首先在windows上安装msysgit1、msysgit下载地址如下:链接:https://pan.baidu.com/s/1Tu25cMPK_O3f5ZxafXHXYg 密码:2g8q2、安装过程如下:       二、生成公钥给git服务端1、在gitbash输入:ssh-keygen连续敲回车即可,生成id_rsa.pub和id_rsa 2、在gitbash中输入:cat.ssh/id_rsa.pub 3、在浏览器打开http://10.110.180.53/index.php,使用itcode/itcode登陆,可以修改密码。 我的用户名是gaofeng20&n

02月01日

HDFS加密区加密过程

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1521次

HDFS加密区(encryptionzone)中的每个文件都使用唯一的数据加密密钥(dataencryptionkey,DEK)进行加密,明文DEK被区域级加密密钥:加密区密钥(encryptionzonekey,EZK)加密成加密的数据加密密钥(encryptedDEK,EDEK)。DEK不被永久保存,EDEK作为指定文件NameNode元数据中的扩展属性永久保存。KMS:Hadoop密钥管理服务,KMS负责生成加密密钥(EZK和DEK)、与keyserver通信以及解密EDEK。KMS通过KeyProvider与keyserver进行通信。HDFS客户端向HDFS加密区中写入一个新文件时,发生的事件序列。(1)HDFS客户端调用create()函数写新

02月01日

hive永久注册udf函数小例子

发布 : xiaohuanglv | 分类 : 大数据精品文章 | 评论 : 0 | 浏览 : 1523次
hive永久注册udf函数小例子

注册UDF函数(1)helloUDF.java中package信息需要修改,代码如下:/*packagecom.maven.udf;*/package org.apache.hadoop.hive.ql.udf;import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;/** *一个UDF:helloUDF */public class helloUDFextends UDF{  &n

12月18日

第23章 案例研究

发布 : xiaohuanglv | 分类 : 大数据电子书 | 评论 : 0 | 浏览 : 987次
第23章 案例研究

全球有很多公司和组织使用Hive。本章提供的案例将详细介绍有趣的和独特的使用场景和我们面临过的问题,以及如何使用Hive这个独特的PB级别数据数据仓库来解决这些问题。23.1 m6d.com(Media6Degrees)23.1.1 M6D的数据科学,使用Hive和R——OriStitelman在本案例研究中,我们考察了m6d的数据科学团队使用Hive对综合的海量数据提取信息的众多方法中的一种。m6d是一家面向展示广告的公司。我们所扮演的角色就是通过创建定制的机器学习算法来为广告宣传活动寻找最好的新前景。这些算法是用于一个交付引擎之上的,其被绑定到无数个实时竞价交易,从而提供基于用户客户端行为的和按照网络地理位置提供广告条展示的方式。m5d广告展示引擎每天都涉及到数十亿的竞价次数和进行数

网站分类

标签列表

最近发表

全站首页 | 数据结构 | 区块链| 大数据 | 机器学习 | 物联网和云计算 | 面试笔试

本站资源大部分来自互联网,版权归原作者所有!