8小时 用kotlin开发一款app
自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…
-
单例
-
扩展
-
闭包
-
…
-
anko
-
jsoup 爬取网页数据的库
-
Material Design 风格
-
Recyclerview 瀑布流
-
CardView
-
Glide 加载图片
-
BaseQuickAdapter 以前自己搞的一个adapter,方便快速开发
-
DrawerLayout
-
NavigationView
-
Toolbar
-
下拉刷新,上拉加载
-
fragment懒加载
大概就是上面这些了
三.爬取数据
网站非常规律,看看jsoup用法很容易就搞到手啦,下面是详细方法.
首先,我们打开网站,查看网页源代码,可以看到各个分类的网址,待会儿我们可以根据用户选择的分类去爬对应分类的数据.

然后再来看看,每个分类首页(第一页)其实是有一些图片,我们待会儿需要筛选出这些图片的详情页地址,并且这些图片地址我们可以用来展示到app的分类首页上.其实各分类是不止一页的,它们的规律是从第二页末尾就是index_x.shtml结尾,其中x为当前页索引.http://www.msgao.com/dqfl/om/index_2.shtml

我们使用Jsoup开源库去爬取数据,关于Jsoup,其实使用起来非常简单,而且官方还非常人性化的有中文文档,地址.
首先,我们是通过以下方式连接上url
//连接
val document: Document = Jsoup.connect(buildUrl).get()
然后我们筛选那些有图片链接的
//筛选首页全部的链接 暂时是第一页的
val htmls: Elements = document.select(“a[href$=.shtml]”)
//筛选是可以点击进去详情的url
htmls.forEachReversedByIndex {
val realUrl = it.getElementsByClass(“div-img”)
//不正确的全部移除
if (realUrl.size == 0) {
htmls.remove(it)
}
}
接着是获取图片地址和图片标题
//外层列表的bean集合
val outLists: ArrayList = ArrayList()
htmls.forEach {
val divListImgBean = DivListImgBean(“”, “”,“”)
val linkElements = it.getElementsByClass(“link”)
divListImgBean.detailsUrl = linkElements.attr(“href”)
//获取图片地址
val imgSrcs = it.select(“img[src$=.jpg]”)
imgSrcs.forEach {
val src = it.attr(“src”)
val alt = it.attr(“alt”)
divListImgBean.src = src
divListImgBean.text = alt
}
//添加bean到集合中
outLists.add(divListImgBean)
}
加入用户点击了某个图片链接,我们就去抓取图片详情页,所有的图片链接,进行该美女的详情展示.在方法上和上面的方法大同小异.
看代码吧,比我说的更清楚.结合jsoup 开发文档和网页源码一起看哟
import com.xfhy.deeplibrary.common.LogUtil
import com.xfhy.deepnight.bean.DivListImgBean
import org.jetbrains.anko.collections.forEachReversedByIndex
import org.jetbrains.anko.doAsync
import org.jetbrains.anko.uiThread
import org.jsoup.Jsoup
import org.jsoup.nodes.Document
import org.jsoup.select.Elements
/**
-
@author xfhy
-
create at 2018/1/1 12:36
-
description:
*/
object NetUtils {
/**
-
获取外部的列表页的list
-
@param url url
-
@param index 索引 从1开始
-
@param response 回调数据
*/
fun reqOutList(url: String, index: Int, response: ZResponse) {
doAsync {
try {
//组装url
var buildUrl = “ u r l i n d e x {url}index urlindex{if (index == 1) “” else “_$index”}.shtml”
LogUtil.e(“buildUrl = $buildUrl”)
//连接
val document: Document = Jsoup.connect(buildUrl).get()
//筛选首页全部的链接 暂时是第一页的
val htmls: Elements = document.select(“a[href$=.shtml]”)
//筛选是可以点击进去详情的url
htmls.forEachReversedByIndex {
val realUrl = it.getElementsByClass(“div-img”)
//不正确的全部移除
if (realUrl.size == 0) {
htmls.remove(it)
}
}
//外层列表的bean集合
val outLists: ArrayList = ArrayList()
htmls.forEach {
val divListImgBean = DivListImgBean(“”, “”,“”)
val linkElements = it.getElementsByClass(“link”)
divListImgBean.detailsUrl = linkElements.attr(“href”)
//获取图片地址
val imgSrcs = it.select(“img[src$=.jpg]”)
imgSrcs.forEach {
val src = it.attr(“src”)
val alt = it.attr(“alt”)
divListImgBean.src = src
divListImgBean.text = alt
}
//添加bean到集合中
outLists.add(divListImgBean)
}
LogUtil.e(outLists.toString())
uiThread {
response.onSuccess(outLists)
}
} catch (e: Exception) {
uiThread {
response.onError(e.message)
}
}
}
}
/**
- 详情列表
*/
fun reqDetails(url: String, response: ZResponse) {
doAsync {
try {
//连接
val document: Document = Jsoup.connect(url).ignoreContentType(true).get()
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。





既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(资料价值较高,非无偿)
自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…

《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
如果你觉得这些内容对你有帮助,可以扫码获取!!(资料价值较高,非无偿)
自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…
[外链图片转存中…(img-BlNbJmCF-1711529514586)]
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!
更多推荐



所有评论(0)