• 单例

  • 扩展

  • 闭包

  • anko

  • jsoup 爬取网页数据的库

  • Material Design 风格

  • Recyclerview 瀑布流

  • CardView

  • Glide 加载图片

  • BaseQuickAdapter 以前自己搞的一个adapter,方便快速开发

  • DrawerLayout

  • NavigationView

  • Toolbar

  • 下拉刷新,上拉加载

  • fragment懒加载

大概就是上面这些了

三.爬取数据

网站非常规律,看看jsoup用法很容易就搞到手啦,下面是详细方法.

首先,我们打开网站,查看网页源代码,可以看到各个分类的网址,待会儿我们可以根据用户选择的分类去爬对应分类的数据.

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

然后再来看看,每个分类首页(第一页)其实是有一些图片,我们待会儿需要筛选出这些图片的详情页地址,并且这些图片地址我们可以用来展示到app的分类首页上.其实各分类是不止一页的,它们的规律是从第二页末尾就是index_x.shtml结尾,其中x为当前页索引.http://www.msgao.com/dqfl/om/index_2.shtml

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

我们使用Jsoup开源库去爬取数据,关于Jsoup,其实使用起来非常简单,而且官方还非常人性化的有中文文档,地址.

首先,我们是通过以下方式连接上url

//连接

val document: Document = Jsoup.connect(buildUrl).get()

然后我们筛选那些有图片链接的

//筛选首页全部的链接 暂时是第一页的

val htmls: Elements = document.select(“a[href$=.shtml]”)

//筛选是可以点击进去详情的url

htmls.forEachReversedByIndex {

val realUrl = it.getElementsByClass(“div-img”)

//不正确的全部移除

if (realUrl.size == 0) {

htmls.remove(it)

}

}

接着是获取图片地址和图片标题

//外层列表的bean集合

val outLists: ArrayList = ArrayList()

htmls.forEach {

val divListImgBean = DivListImgBean(“”, “”,“”)

val linkElements = it.getElementsByClass(“link”)

divListImgBean.detailsUrl = linkElements.attr(“href”)

//获取图片地址

val imgSrcs = it.select(“img[src$=.jpg]”)

imgSrcs.forEach {

val src = it.attr(“src”)

val alt = it.attr(“alt”)

divListImgBean.src = src

divListImgBean.text = alt

}

//添加bean到集合中

outLists.add(divListImgBean)

}

加入用户点击了某个图片链接,我们就去抓取图片详情页,所有的图片链接,进行该美女的详情展示.在方法上和上面的方法大同小异.

看代码吧,比我说的更清楚.结合jsoup 开发文档和网页源码一起看哟

import com.xfhy.deeplibrary.common.LogUtil

import com.xfhy.deepnight.bean.DivListImgBean

import org.jetbrains.anko.collections.forEachReversedByIndex

import org.jetbrains.anko.doAsync

import org.jetbrains.anko.uiThread

import org.jsoup.Jsoup

import org.jsoup.nodes.Document

import org.jsoup.select.Elements

/**

  • @author xfhy

  • create at 2018/1/1 12:36

  • description:

*/

object NetUtils {

/**

  • 获取外部的列表页的list

  • @param url url

  • @param index 索引 从1开始

  • @param response 回调数据

*/

fun reqOutList(url: String, index: Int, response: ZResponse) {

doAsync {

try {

//组装url

var buildUrl = “ u r l i n d e x {url}index urlindex{if (index == 1) “” else “_$index”}.shtml”

LogUtil.e(“buildUrl = $buildUrl”)

//连接

val document: Document = Jsoup.connect(buildUrl).get()

//筛选首页全部的链接 暂时是第一页的

val htmls: Elements = document.select(“a[href$=.shtml]”)

//筛选是可以点击进去详情的url

htmls.forEachReversedByIndex {

val realUrl = it.getElementsByClass(“div-img”)

//不正确的全部移除

if (realUrl.size == 0) {

htmls.remove(it)

}

}

//外层列表的bean集合

val outLists: ArrayList = ArrayList()

htmls.forEach {

val divListImgBean = DivListImgBean(“”, “”,“”)

val linkElements = it.getElementsByClass(“link”)

divListImgBean.detailsUrl = linkElements.attr(“href”)

//获取图片地址

val imgSrcs = it.select(“img[src$=.jpg]”)

imgSrcs.forEach {

val src = it.attr(“src”)

val alt = it.attr(“alt”)

divListImgBean.src = src

divListImgBean.text = alt

}

//添加bean到集合中

outLists.add(divListImgBean)

}

LogUtil.e(outLists.toString())

uiThread {

response.onSuccess(outLists)

}

} catch (e: Exception) {

uiThread {

response.onError(e.message)

}

}

}

}

/**

  • 详情列表

*/

fun reqDetails(url: String, response: ZResponse) {

doAsync {

try {

//连接

val document: Document = Jsoup.connect(url).ignoreContentType(true).get()
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(资料价值较高,非无偿)

自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(资料价值较高,非无偿)

自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…

[外链图片转存中…(img-BlNbJmCF-1711529514586)]

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!
Logo

开源鸿蒙跨平台开发社区汇聚开发者与厂商,共建“一次开发,多端部署”的开源生态,致力于降低跨端开发门槛,推动万物智联创新。

更多推荐