大数据技术栈整理
2023-09-14 09:02:04 时间
Kettle
http://www.kettle.net.cn/
Flume
http://flume.apache.org/
dataX
https://github.com/alibaba/DataX
https://www.oschina.net/p/datax?hmsr=aladdin1e1
埋点
hive
https://hive.apache.org/
安装tengine
#下载链接
http://tengine.taobao.org/download.html
#所需依赖
yum install gcc openssl-devel pcre-devel zlib-devel -y
./configure
需要先安装gcc
:
yum install -y gcc
仅安装gcc还不够,还需要安装pcre-devel
:
yum install -y pcre-devel
出现如下日志表示成功:
make && make install
make && make install
出现下图表示成功:
启动tengine
tengine安装成功后会在/usr/local
目录下生成nginx目录,进入其sbin
目录即可启动tengine:
cd /usr/local/nginx/sbin/
访问时记得关闭防火墙或添加端口:
配置nginx为开机启动
#1、在/etc/rc.d/init.d/目录中建立文本文件nginx
#2、在文件中粘贴下面的内容:
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
lockfile=/var/lock/subsys/nginx
make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}
start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}
restart() {
configtest || return $?
stop
sleep 1
start
}
reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}
force_reload() {
restart
}
configtest() {
$nginx -t -c $NGINX_CONF_FILE
}
rh_status() {
status $prog
}
rh_status_q() {
rh_status >/dev/null 2>&1
}
case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac
#3、修改nginx文件的执行权限
chmod +x nginx
#4、添加该文件到系统服务中去
chkconfig --add nginx
# 查看是否添加成功
chkconfig --list nginx
启动,停止,重新装载nginx
service nginx start|stop
相关文章
- 大索引技术,大数据的未来
- 【rainbowzhou 面试11/101】技术提问--说说你做的大数据性能测试案例
- 【rainbowzhou 面试19/101】技术提问--如何进行数据质量提升?
- Linux:为技术控服务的人(什么人用linux)
- Redis实现动态扩容的新技术(redis动态扩容)
- 观远数据苏春园:作为赋能者,不能只做纯技术公司
- Hadoop与MySQL技术协同打造大数据完美解决方案(hadoopmysql)
- 学习SQL Server语法,开启数据技术之旅(sqlserver语法)
- Oracle CEP:实时事件处理的领先技术(oraclecep)
- 探索巨型帧技术:提升linux网络性能(巨型帧 linux)
- MSSQL系统分割技术指南(mssql系统分割)
- Oracle八进制数据转换技术探索(oracle 八进制转换)
- 分页获取大数据Redis缓存技术探究(缓存 分页 redis)
- 实现数据共享利用Redis技术(利用redis共享数据)
- 分布式Redis在大数据技术中的应用(分布式redis 论文)
- 利用大数据技术,善用Redis存储(大数据要用到redis)
- Redis集群YML配置实战,快速掌控技术(redis集群yml配置)
- Redis阿里版本立即下载,丰富你的数据缓存技术(redis 阿里版本下载)
- 迁移Oracle OGG技术解决表数据迁移问题(oracle ogg 表)
- Oracle数据库实现的高可用技术-数据库组复制 DG(oracle dg全称)
- 明晚8点|360数科首席科学家张家兴:银行数据AI融合中台,如何跨越技术与业务间的天堑