默认分类 on F嘉阳

maven构建多模块SpringBoot项目遇到的坑

Tue, 07 Aug 2018 21:22:00 +0800

依赖模块报错：程序包不存在

问题描述

使用SprinCloud构建的多模块项目，各应用使用Springboot构建，工程编写完毕，在模块中添加构建配置 org.springframework.boot spring-boot-maven-plugin

使用maven命令构建应用mvn install package -DskipTests maven报错如下

问题分析

通过报错看出，只要有依赖外部模块的均报“程序包不存在”或者“找不到符号”的错误，而通过IDEA运行工程均正常，故排除代码错误，猜测为构建错误
查询到公共模块要先打包，故对公共包执行了一次install，再打包子模块，失败
百度查找问题解决办法，做了如下尝试（1）配置maven中的jdk版本，确保小版本号也是一致的，无果（2）更换构建配置如下，无效 org.apache.maven.plugins maven-compiler-plugin org.springframework.boot spring-boot-maven-plugin （3）使用不同的maven命令构建，包括clean、package、install等，报错信息相同
突然发现有人的博客说明了公共包不应该加入构建配置，否则会二次构建，导致找不到包来源

注意！注意！这里有一个巨坑，我已经义无反顾的跳进去一次了，大家一定不要再往里面跳了：Common打包出来的应该是不可执行的jar包，所以不要在Common的pom中定义spring-boot-maven-plugin插件，因为这个SpringBoot插件会在Maven的package后进行二次打包，目的为了生成可执行jar包，如果C中定义了这个插件，会报错提示没有找到main函数。这时你就可以去打包front项目了，当然打包的时候可能还是不行，这里还有一个小坑，如果还是不能进行打包的话，那么就install一下root项目，也就是总目录下的pom文件对应的install操作，这样再打包front项目基本上就没有问题了，老铁，都是经验呀，希望对你们有帮助根据博客说法去除了公共包的构建配置，依然报错

解决方法

根据博客说法思考了一下，考虑到父工程也没有主类，无需运行，故去除父工程的构建配置，最后添加了构建模块只有带启动类的模块，再次对整个父工程执行clean->install，构建成功

Excel字符串根据指定内容进行变化的嵌套函数

Sat, 12 May 2018 13:10:00 +0800

目标

当前工作簿内容，其标题为万科A(000002)近一个月历史交易(1525501238 符嘉阳) 现希望其根据当前证券名称结合下方的日期自动变更标题为万科A(000002)从20180309至20180410近一个月历史交易(15251101238 符嘉阳)

分析

其中应该涉及一下几点

保留当前的标题，并对证券名称和证券代码进行截取
将开始日期和结束日期获取并转为目标格式的字符串
字符串拼接

所用函数

函数名称：MID 主要功能：从一个文本字符串的指定位置开始，截取指定数目的字符。使用格式：MID(text,start_num,num_chars) 参数说明：text代表一个文本字符串；start_num表示指定的起始位置；num_chars表示要截取的数目。

函数名称：TEXT 主要功能：将数值转换为按指定数字格式表示的文本。使用格式：TEXT(value,format_text) 参数说明：Value为数值、计算结果为数字值的公式，或对包含数字值的单元格的引用。

函数名称：CONCATENATE 主要功能：将两个或多个文本字符串联接为一个字符串。使用格式：CONCATENATE(text1, [text2], …) 参数说明：text1 （必需）要联接的第一个项目。项目可以是文本值、数字或单元格引用。Text2, … （可选）要联接的其他文本项目。最多可以有 255 个项目，总共最多支持 8,192 个字符。

设计结果

=CONCATENATE(MID(A89,1,FIND(")",A89)),"从",TEXT(A25,"yyyymmdd"),"至",TEXT(A5,"yyyymmdd"),"近一个月历史交易(15251101238 符嘉阳)")

效果如图

通用性测试成功

时间也会自动随内容变化

Excel使用宏将复杂操作自动化

Sat, 12 May 2018 12:42:00 +0800

简单宏操作

Excel的宏实质是VB语句，现考虑制作一个宏用于将当前表中的数据复制成4个工作簿

录制

打开目标工作簿，当前只有Sheet1中有数据，预期结果是将当期数据复制到Sheet2、Sheet3、Sheet4中

点击视图->录制宏

指定名称和快捷键即可开始录制操作

查看代码

录制完成后店家查看宏，选择编辑即可查看VB代码

在此提供代码，注意，该代码起点是Sheet2,即切换到Sheet2中才能开始执行，否则会报错 Sub 复制() ' ’ 复制宏 ' ’ 快捷键: Ctrl+o ' Cells.Select Selection.Copy Sheets(“Sheet2”).Select ActiveSheet.Paste Sheets(“Sheet3”).Select ActiveSheet.Paste Sheets.Add After:=ActiveSheet ActiveSheet.Paste Range(“E29”).Select Application.CutCopyMode = False ActiveWorkbook.Save End Sub

复杂宏

VB自然支持函数（宏）调用，例如以下代码，先录制了三个预测函数操作，通过一个预测()宏对三个函数操作进行调用

Sub 预测线性()
'
' 预测线性 宏
'
' 快捷键: Ctrl+a
'
 Range("A31").Select
 ActiveCell.FormulaR1C1 = "=R[-26]C+1"
 Range("A32").Select
 ActiveWorkbook.Save
 Range("B31").Select
 Application.CutCopyMode = False
 ActiveCell.FormulaR1C1 = _
 "=FORECAST(RC[-1],R[-26]C:R[-1]C,R[-26]C[-1]:R[-1]C[-1])"
 Range("A31:B31").Select
 Selection.Font.Bold = True
 ActiveWorkbook.Save
End Sub
Sub 指数预测()
'
' 指数预测 宏
'
' 快捷键: Ctrl+e
'
 Range("A31").Select
 ActiveCell.FormulaR1C1 = "=R[-26]C+1"
 Range("B31").Select
 Application.CutCopyMode = False
 Application.CutCopyMode = False
 Application.CutCopyMode = False
 ActiveCell.FormulaR1C1 = _
 "=GROWTH(R[-26]C:R[-8]C,R[-26]C[-1]:R[-8]C[-1],RC[-1])"
 Range("A31:B31").Select
 Selection.Font.Bold = True
 ActiveWorkbook.Save
End Sub
Sub 对数预测()
'
' 对数预测 宏
'
' 快捷键: Ctrl+w
'
 Application.Run "PERSONAL.XLSB!预测线性"
 Range("B31").Select
 Selection.ClearContents
 Range("B31").Select
 ActiveCell.FormulaR1C1 = "=(Sheet1!RC+Sheet3!RC)/2"
 Range("B31").Select
 ActiveWorkbook.Save
End Sub
Sub 预测()
'
' 预测 宏
'
' 快捷键: Ctrl+q
'
 Application.Run "PERSONAL.XLSB!预测线性"
 Sheets("Sheet3").Select
 Application.Run "PERSONAL.XLSB!指数预测"
 Sheets("Sheet2").Select
 Application.Run "PERSONAL.XLSB!对数预测"
 ActiveWorkbook.Save
End Sub

YARN单节点伪分布式搭建

Mon, 09 Apr 2018 20:14:00 +0800

配置YARN

首先启动之前配置好的HDFS服务，然后进入/www/hadoop/hadoop-2.6.0-cdh5.7.0/etc/hadoop目录，按照官方指导配置YARN单节点环境

使用cp mapred-site.xml.template mapred-site.xml命令把mapred-site.xml.template复制一份，加入官方的配置 mapreduce.framework.name yarn

同时对yarn-site.xml也进行配置 yarn.nodemanager.aux-services mapreduce_shuffle

启动YARN

进入/www/hadoop/hadoop-2.6.0-cdh5.7.0/sbin目录，使用./start-yarn.sh命令启动YARN服务

[hadoop@localhost sbin]$ ./start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /www/hadoop/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-resourcemanager-localhost.localdomain.out
localhost: starting nodemanager, logging to /www/hadoop/hadoop-2.6.0-cdh5.7.0/logs/yarn-hadoop-nodemanager-localhost.localdomain.out

用jps命令查看是否启动成功，看到如下显示即为启动成功，主要是NodeManager和ResourceManager两个服务

[hadoop@localhost sbin]$ jps
7056 SecondaryNameNode
7475 NodeManager
6775 NameNode
6872 DataNode
7374 ResourceManager
7679 Jps

开放端口

YARN的浏览器客户端占用8088端口，故使用宝塔面板开放8088端口

访问YARN图形化界面

使用浏览器打开http://ip:8088/可见如下界面，则YARN启动成功

测试

YARN官方提供了示例java程序来测试资源调度，进入/www/hadoop/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce目录，可见

[hadoop@localhost mapreduce]$ ls
hadoop-mapreduce-client-app-2.6.0-cdh5.7.0.jar hadoop-mapreduce-client-nativetask-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-common-2.6.0-cdh5.7.0.jar hadoop-mapreduce-client-shuffle-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-core-2.6.0-cdh5.7.0.jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
hadoop-mapreduce-client-hs-2.6.0-cdh5.7.0.jar lib
hadoop-mapreduce-client-hs-plugins-2.6.0-cdh5.7.0.jar lib-examples
hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0.jar sources
hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0-tests.jar

其中hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar就是MapReduce的测试程序，通过hadoop jar的方式来运行用命令查看可配置的参数hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

[hadoop@localhost mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar
An example program must be given as the first argument.
Valid program names are:
 aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.
 aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files.
 bbp: A map/reduce program that uses Bailey-Borwein-Plouffe to compute exact digits of Pi.
 dbcount: An example job that count the pageview counts from a database.
 distbbp: A map/reduce program that uses a BBP-type formula to compute exact bits of Pi.
 grep: A map/reduce program that counts the matches of a regex in the input.
 join: A job that effects a join over sorted, equally partitioned datasets
 multifilewc: A job that counts words from several files.
 pentomino: A map/reduce tile laying program to find solutions to pentomino problems.
 pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.
 randomtextwriter: A map/reduce program that writes 10GB of random textual data per node.
 randomwriter: A map/reduce program that writes 10GB of random data per node.
 secondarysort: An example defining a secondary sort to the reduce.
 sort: A map/reduce program that sorts the data written by the random writer.
 sudoku: A sudoku solver.
 teragen: Generate data for the terasort
 terasort: Run the terasort
 teravalidate: Checking results of terasort
 wordcount: A map/reduce program that counts the words in the input files.
 wordmean: A map/reduce program that counts the average length of the words in the input files.
 wordmedian: A map/reduce program that counts the median length of the words in the input files.
 wordstandarddeviation: A map/reduce program that counts the standard deviation of the length of the words in the input files.
[hadoop@localhost mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi
Usage: org.apache.hadoop.examples.QuasiMonteCarlo <nMaps> <nSamples>
Generic options supported are
-conf <configuration file> specify an application configuration file
-D <property=value> use value for given property
-fs <local|namenode:port> specify a namenode
-jt <local|resourcemanager:port> specify a ResourceManager
-files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars> specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines.

The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

从上可知测试程序可以做诸如数学π、随机文件写入等操作，这里做数学π的运算使用命令hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3做两个map计算精度为3的数学π运算,运算结束后会显示结果如下

Job Finished in 26.996 seconds
Estimated value of Pi is 4.00000000000000000000

同时浏览器也可看到作业情况

Hadoop伪分布式的一些坑

Sun, 08 Apr 2018 11:10:00 +0800

无法创建、上传文件

问题描述

当前hdfs文件结构如下，现通过JavaAPI远程创建目录和文件

创建目录

执行单元测试成功

通过API写文件

发现迟迟没有完成（可能有问题了，因为是虚拟机，延迟不应这么大）

测试不通过

报错为 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/api.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation. at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1595) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3287) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:677) at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock(AuthorizationProviderProxyClientProtocol.java:213) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:485) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:617) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1073) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2086) at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2082) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2080)

	at org.apache.hadoop.ipc.Client.call(Client.java:1471)
	at org.apache.hadoop.ipc.Client.call(Client.java:1408)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:230)
	at com.sun.proxy.$Proxy12.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:404)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:256)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:104)
	at com.sun.proxy.$Proxy13.addBlock(Unknown Source)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1704)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1500)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:668)


Process finished with exit code -1

查看文件目录，发现有该文件，但大小为0，显然是文件流无法写入

解决方法

经过爬贴寻找，发现是因为没有开放端口导致文件流无法写入，经过查找，发现Hadoop相关的端口很多，为了便于学习，直接关闭虚拟机防火墙即可，CentOS7 的命令为sudo systemctl stop firewalld.service

关闭防火墙后重新测试，测试通过

再次查看文件系统，发现文件大小已经不为0，说明文件内容已写入，用hadoop fs -cat /hdfsapi/test/api.txt查看文件内容，发现内容一致，问题解决

typecho添加文章计数和评论微信提醒

Sat, 07 Apr 2018 23:04:00 +0800

下载相关插件

文章计数：下载地址评论微信提醒：下载地址

上传插件到服务器

将下载好的插件上传到typecho下的usr/plugins目录并解压，将解压后的评论微信提醒文件夹目录名改为Comment2Wechat

使用admin账号登录typecho控制台，启用刚刚添加的插件

文章计数

设置需要显示计数的地方

进入外观设置，配置当前外观代码

根据官方文档说明，post.php 为日志页面文件，故配置post.php

在文件中搜索Published on ，找到该行代码，在</div>前加入 <?php Views_Plugin::theViews(); ?>用于显示浏览计数，该文件共用4处地方需要增加代码，自行搜索即可

查看效果

进入文章页面，可见在日志末尾已加入浏览计数

评论微信提示

官方指引地址

根据提示登录GitHub账号即可得到一个KEY，此时还不能接收消息

继续按指引绑定微信账号，此时在KEY页面发送消息微信已经可以接收了

进入typecho插件设置，将获得的KEY绑定到插件

此时评论后马上就可以收到消息

HDFS伪分布式单节点搭建

Sat, 07 Apr 2018 13:01:00 +0800

环境

系统：CentOS Linux 7.4.1708 (Core) 客户端：putty 服务器：虚拟机1core、2G RAM 同时搭建了宝塔面板（自动配置了java8）

Hadoop下载

CDH版本Hadoop下载

为了统一版本，全部使用hadoop-2.6.0-cdh5.7.0

点击可进入官方推荐配置页

解压并配置

将下载好的文件通过宝塔上传到服务器，这里选择上传到/www/hadoop目录

解压tar包

配置

新建用户

新建hadoop用户，忽略密码强度提示

 adduser hadoop
 passwd hadoop

为方便远程连接和学习，同时授予root权限，输入whereis sudoers查看权限控制文件位置

 [root@fjy ~]# whereis sudoers
 sudoers: /etc/sudoers /etc/sudoers.d /usr/libexec/sudoers.so /usr/share/man/man5/sudoers.5.gz

使用宝塔找到并修改/etc/sudoers文件

配置新用户免密码远程登录

切换至hadoop用户，使用 ssh-keygen -t rsa生成私钥信息，位置在/home/hadoop/，并且忽略所有提示输入的信息

查看生成的文件，该SSH文件夹为隐藏文件夹，故用ls -a查看，可见自动生成了.ssh目录和id_rsa,id_rsa.pub两个文件

复制公钥到.ssh目录

 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

查看JAVA目录

因为是宝塔自动配置的java8，所以要首先查看当前java环境变量位置，使用如下命令

 update-alternatives --config java

此时宝塔自动将java配置到/usr/java/jdk1.8.0_121/jre/bin/java目录即/usr/java/jdk1.8.0_121为java环境变量的目录

配置hadoop的java目录

使用宝塔进入hadoop目录下的etc/hadoop/hadoop-env.sh，对应此处的绝对路径应为/www/hadoop/hadoop-2.6.0-cdh5.7.0/etc/hadoop 使用宝塔编辑文件，加入java环境变量位置

配置分布式文件参数

打开core-site.xml，配置如下

 <configuration>
 <property>
 <name>fs.defaultFS</name>
 <!-- 配置主机IP-->
 <value>hdfs://192.168.79.129:8020</value>
 </property>
 
 <!-- 配置临时文件位置-->
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/www/hadoop/tmp</value>
 </property>
 </configuration>

打开hdfs-site.xml，配置如下

 <configuration>
 <property>
 <name>dfs.replication</name>
 <!-- 配置副本数量-->
 <value>1</value>
 </property>
 </configuration>

启动

初始化

进入/www/hadoop/hadoop-2.6.0-cdh5.7.0/bin目录，使用如下语句初始化Hadoop，该操作仅执行一次即可，以后使用无需重复执行，否则执行后会删除当前hadoop上的所有文件

 hadoop namenode -format

滚动均为info级别的日志

可看到已初始化成功

启动HDFS

切换到hadoop用户，进入/www/hadoop/hadoop-2.6.0-cdh5.7.0/sbin目录

输入./start-dfs.sh启动HDFS服务

【注意】，要提前在root用户下对/www/hadoop授予hadoop用户读写权限，否则无法启动

使用jps查看当前的java进程，若出现如下四个进程表示HDFS服务启动成功

外部访问浏览器客户端

首先使用宝塔开放50070端口

使用外部浏览器访问ip:50070可查看如下页面，则表示HDFS已成功启动

hdfs命令

配置hdfs命令

使用vi ~/.bash_profile进入配置文件，按如下配置

 export HADOOP_HOME=/www/hadoop/hadoop-2.6.0-cdh5.7.0
 export PATH=$HADOOP_HOME/bin:$PATH

使配置文件生效source ~/.bash_profile 输入hdfs回车测试命令是否生效，若出现如下画面则表示命令已经生效

命令测试

先在本地创建hello.txt文件，使用 hadoop fs -put hello.txt /命令将文件推送到hdfs根目录下

查看服务器根目录hadoop fs -ls /，已经有该文件，hadoop伪分布式配置完成

我们一直过得更好，却不知珍惜

Sun, 11 Mar 2018 13:00:00 +0800

起因

恰逢学校组织了一次志愿者活动，刚好周末没什么事，便带着出去活动下的目的报了名

过程

活动

3月10日上午7点集合，于8点准时到达目标学校，到达后主要是陪跑和陪伴各种不同性格的特殊儿童进行玩耍，许多特殊儿童的年龄其实都不小，基本上都在15-20岁左右，从外表上看他们与普通儿童并无显著差异，但由于天生缺陷，运动能力和特别是语言能力都比常人差了很多，因此极大限制了他们的沟通交流和思想的表达

时间短暂，但却能由此发现他们的内心世界并不消极，他们在天生不足的条件下依然努力生活，尽量学习自理能力，以及还要面对以后的融入社会和找工作的问题。

告别

在最后离去的时候，依然有些许不舍

再次回到题目，我们生来便比他们的条件更好，却不懂得珍惜

欢迎使用 Typecho

Mon, 22 Jan 2018 11:06:00 +0800

如果您看到这篇文章,表示您的 blog 已经安装成功.