在基于 Flink DataStreamAPI 进行流式数据处理应用时，我们可能希望将依赖和应用程序分别打包，如此便于发布和问题定位。在较新版本的 Flink版本中推出了application模式，这种模式可以通过yarn.provided.lib.dirs参数将依赖项提前上传到HDFS，如此，客户端每次启动应用时不再需要进行jar文件上传，加快启动速度。由于 HDFS 的高可用，如果客户端服务器宕机，也不用担心jar文件丢失。

如何打包呢？

如下是我项目的build配置

<build>

        <plugins>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-dependency-plugin</artifactId>

                <executions>

                    <execution>

                        <id>copy-dependencies</id>

                        <phase>prepare-package</phase>

                        <goals>

                            <goal>copy-dependencies</goal>

                        </goals>

                        <configuration>

                            <!-- 将工程依赖的jar包，复制至target/lib目录下进行管理，方便已生成jar的工程进行引用。 -->

                            <outputDirectory>${project.build.directory}/lib</outputDirectory>

                            <overWriteReleases>false</overWriteReleases>

                            <overWriteSnapshots>false</overWriteSnapshots>

                            <overWriteIfNewer>true</overWriteIfNewer>

                            <!-- 不需要拷贝provided scope -->

                            <includeScope>runtime</includeScope>

                        </configuration>

                    </execution>

                </executions>

            </plugin>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-jar-plugin</artifactId>

                <configuration>

                    <classesDirectory>target/classes/</classesDirectory>

                    <archive>

                        <manifest>

                            <!-- 主函数的入口 -->

                            <mainClass>com.aaron.bigdata.stream.flink.Main</mainClass>

                            <useUniqueVersions>false</useUniqueVersions>

                        </manifest>

                    </archive>

                </configuration>

            </plugin>

        </plugins>

    </build>

上述描述中包括两个plugin

copy-dependencies：拷贝依赖到特定路径
maven-jar-plugin：构造可执行jar包

需要特别说明的是<includeScope>runtime</includeScope>配置，指明不需要provided scope依赖有两个原因：

减少lib大小，便于发布
减少冲突，因为 flink 的核心包不需要用户提供，如果提供了，很可能会提示文件已经存在，尽管是相同版本，依然会提示在两个位置找到了实现，必须删除一个。我在使用flink-json-${VERSION}.jar时，出现了这个问题。

巴特西

Flink程序打包

如何打包呢？

最新文章

热门文章