go语言爬取豆瓣电影top250,那句台词有一点残忍

一、供给分析
用go语言抓取 豆瓣电影top250
抓取url:
https://movie.douban.com/top250

《超脱》:作者的灵魂与自身里面包车型大巴离开如此长期,而自己的留存却这么真实。

抓取字段:电影名称、评分、评价人数

《罗生门》

爱博体育app 1

《罗生门》:撒谎是人之特性,在大部时间里小编么以致都不恩能对和睦诚实,但那是因为大家太柔弱了为此才撒谎,乃至是对友好撒谎。

二、运行:
正在抓取第0页……
肖申克的救赎 9.6 8247陆12个人
其一刺客不太冷 9.4 7913玖拾玖个人
霸王别姬 9.5 5890二十五位
阿甘正传 9.4 678850位
优美丽的女人生 9.5 394009人
千与千寻 9.2 6304伍十几位
Schindler的花名册 9.4 364711人
泰坦Nick号 9.2 624625位
盗梦空间 9.2 7323四十几个人
机器人总动员 9.3 4809柒16个人
海上钢琴师 9.2 577308人
三傻大闹宝莱坞 9.1 641151人
忠犬八公的故事 9.2 4303十十一位
放牛班的青春 9.2 432373人
大话西游之大圣娶亲 9.2 465330人
教父 9.2 329687人
龙猫 9.1 401043人
楚门的世界 9.0 428408人
不安定的时代佳人 9.2 261188个人
天堂电影院 9.1 2985拾四个人
当幸福来敲门 8.9 5177柒十几位
触不可及 9.1 350506人
搏击俱乐部 9.0 3914伍十七人
十二怒汉 9.3 1629四十五个人
无间道 9.0 379235人
正在抓取第1页……
熔炉 9.2 230668人
戒指王3:王者无敌 9.1 2745七十五位
心跳得厉害 8.9 516558位
天空之城 9.0 3178九十五位
亚特兰洲大学休假 8.9 3708六13位
黄金时代派的奇妙漂流 9.0 557924个人
大话西游之月光宝盒 8.9 3779三十多少人
鬼子来了 9.1 2158玖拾肆个人
星际穿越 9.1 458151位
蝙蝠侠:乌黑骑士 9.0 301300人
两杆大烟枪 9.0 2633八十几位
飞屋环游记 8.9 479900人
活着 9.0 250291人
飞越疯人院 9.0 2669捌十一人
窃听沙暴 9.1 2109陆十三人
海豚湾 9.3 175994人
闻香识女子 8.9 3068九十几个人
V字仇杀队 8.8 3934二十几人
绝色心灵 8.9 2920十二人
教父2 9.1 177785人
哈尔的移位城墙 8.8 329453位
戒指王2:双塔奇兵 8.9 2594贰拾位
戒指王1:魔戒再次出现 8.9 289418个人
Smart爱美貌 8.7 462796个人
情书 8.8 355630人
正值抓取第2页……
已病逝诗社 8.9 26一九九零人
United States以往的事情 9.1 165767位
七宗罪 8.7 417016人
钢琴家 9.0 193470人
狮子王 8.9 268010人
辩护人 9.1 184702人
被嫌弃的松子的一生 8.9 261601人
致命魔术 8.8 322268位
控方证人 9.6 743肆十一人
神威的心 8.8 2844柒九位
剪刀手Edward 8.7 461650位
饮食男女 9.0 1776拾几个人
小鞋子 9.2 127801人
音乐之声 8.9 2211捌十三位
低俗小说 8.7 3142三13人
入殓师 8.8 305490人
Benjamin·Barton奇事 8.7 374362位
沉默的羔羊 8.7 332710人
连锁反应 8.7 3618柒十位
黑客帝国 8.8 2637玖拾肆个人
救死扶伤大兵Ryan 8.8 2218陆拾壹人
素媛 9.1 159897人
Mary和马克思 8.9 224392个人
西西里的华美趣事 8.7 322477位
眼疾手快捕手 8.7 2535四十七个人
正值抓取第3页……
幽灵公主 8.8 221275人
第六感 8.8 219997人
阳光灿烂的日子 8.7 254632个人
让子弹飞 8.7 59一九九〇人
春色乍泄 8.8 226800人
大鱼 8.7 236955人
大闹天宫 9.2 904九十五个人
射雕英雄传之东成西就 8.7 2593九十三位
达累斯萨拉姆树丛 8.6 305208人
阳光姐妹淘 8.8 2522九十三人
上帝之城 8.9 150203人
甜蜜蜜 8.7 219633人
禁闭岛 8.6 334496人
致命ID 8.6 296372人
告白 8.6 319372人
一一 8.9 144124人
第勒尼安海盗 8.6 314011个人
爱在黎明(Liu Wei)日亮前 8.7 204429个人
狩猎 9.0 112979人
亚特兰洲大学大酒店 8.7 283497位
阿凡达 8.6 500668人
断背山 8.6 299180人
风之谷 8.8 165217人
萤火虫之墓 8.7 1919八十三人
发狂动物城 9.2 4560二十八个人
正值抓取第4页……
摩立刻代 9.2 802玖拾位
爱在日落黄昏时 8.7 186450位
猫鼠游戏 8.7 202370个人
末代太岁 8.8 1481十人
侧耳静听 8.8 155657个人
哈利·Porter与法力石 8.6 229709人
驯龙高手 8.7 267114人
超脱 8.7 159754人
海洋 9.0 95004人
幸福终点站 8.6 2136十一个人
穿条纹睡衣的男孩 8.8 127480个人
菊次郎的清夏 8.7 1655捌十五人
燃情岁月 8.8 142371位
冰释的对象 8.7 3233九十七人
倩女幽魂 8.6 228708人
神偷奶爸 8.5 3452玖拾壹个人
电锯惊魂 8.6 1861九十三人
谍影重重3 8.7 1693柒十几位
岁太阴元君偷 8.6 289350个人
真爱至上 8.5 292290位
借东西的小丑阿莉埃蒂 8.7 201807人
雨人 8.6 198321人
七武士 9.2 70156人
虎口脱离危险 8.9 1011十一人
面色如土直播 8.7 1950五14人
正值抓取第5页……
贫民窟的百万富翁 8.5 376456人
东邪西毒 8.6 233910人
记得碎片 8.5 2587八十几人
疯狂原始人 8.7 3489肆15位
杀人回想 8.6 1906肆十几人
怪兽电力集团 8.6 221065位
红辣椒 8.8 116235人
卢Wanda旅舍 8.8 109736个人
黑天鹅 8.5 390705人
穿越时间和空间的大姑娘 8.6 1732六二十一位
魂断蓝桥 8.8 122261位
恋恋台式机 8.5 2598伍十四位
猜火车 8.5 229628人
喜宴 8.8 125182人
大侠本色 8.7 1363柒拾七位
雨中曲 8.9 87275人
自负与偏见 8.4 2786六14个人
小森林 夏秋篇 8.9 110985人
教父3 8.7 119653人
正剧之王 8.4 2801五拾一个人
健全的世界 9.0 72744人
驰骋四海 8.7 1306九十八人
玩具总动员3 8.7 1815捌十一位
萤火之森 8.7 141370个人
人为智能 8.6 177334人
正在抓取第6页……
自己是Sam 8.8 934叁拾七个人
浪潮 8.7 120227人
香水 8.4 256627人
冰期 8.4 2519四十几人
7号房的礼物 8.7 155404人
撞车 8.6 163627人
哈利·Porter与死去圣器(下) 8.6 2532叁拾六个人
花样年华 8.5 2246伍九个人
追随 9.0 72964人
朗读者 8.5 262929人
三遍别离 8.7 1222陆二十一人
碧海忠介 8.7 1032十六个人
罗生门 8.7 112566人
秒速5厘米 8.4 269433人
梦之安魂曲 8.7 1026捌拾三人
战乱之王 8.5 162502人
荒蛮轶事 8.7 1141一百位
可可西里 8.6 1一九三三4人
心迷宫 8.6 138691人
唐寅点秋香 8.3 289177个人
非凡陆战队 8.6 3359陆拾三个人
时空恋旅人 8.6 176283人
海盗广播台 8.6 157462人
地球上的星星 8.8 744肆11位
谍影重重2 8.5 1472三19人
正值抓取第7页……
蝙蝠侠:乌黑骑士崛起 8.5 2716十七人
谍影重重 8.5 177828个人
阿飞正传 8.5 163184位
小森林 冬春篇 8.9 95803人
面色如土轮帆船 8.3 2854陆拾十一位
迁徙的鸟 9.1 49229位
荒地生存 8.6 118434个人
勇闯夺命岛 8.5 132087位
绿里一时候 8.7 979陆拾伍人
惊魂记 8.8 74428人
基辅买家俱乐部 8.6 1529九十二位
魔女宅急便 8.4 176484个人
重新出发之纽约遇见你 8.5 1490100人
爆裂鼓手 8.6 2126贰十三位
未麻的部屋 8.8 817二十二人
柏林(Berlin) 8.6 115202人
燕尾蝶 8.6 102340人
东京(Tokyo)物语 9.2 454四十几个人
牯岭街少年杀人事件 8.7 94098位
本条男子来自地球 8.5 161026人
变脸 8.4 199136人
英帝国病夫 8.4 1640柒十几位
被解救的姜戈 8.5 240489个人
穷途末路狂花 8.7 94801人
终结者2:审判日 8.5 130046人
正在抓取第8页……
E.T. 外星人 8.5 140618人
叫自身先是名 8.6 100803人
忠犬八国有语 9.0 49926位
哪吒三太子闹海 8.8 719七十位
发条橙 8.4 172356人
青蛇 8.4 199167人
源代码 8.3 378590人
穆赫兰道 8.3 2150陆拾贰人
黄金三镖客 9.1 462叁拾八个人
红客帝国3:矩阵革命 8.5 141112人
新龙门商旅 8.4 167034个人
非常嫌犯 8.6 1061二十四位
美利坚同车笠之盟美人 8.4 1701六19个人
都会之光 9.2 38416位
上帝也疯狂 8.6 89002人
臭名昭著渣男 8.4 2059陆拾个人
初恋这件小事 8.2 421337位
勇士 8.9 80661人
爱·回家 9.0 43661人
乳白大门 8.2 256607人
曾经 8.3 190832人
庞大破坏王 8.6 171189个人
麦兜逸事 8.5 1185六十几人
暖暖内方天画戟 8.4 1336二十几个人
大卫·戈尔的终生 8.7 788九十七位
正在抓取第9页……
蝴蝶 8.6 90229人
效仿游戏 8.5 228585个人
血钻 8.5 117306人
国王的演说 8.3 3118五18个人
与狼一起跳舞 8.9 526七十一人
遗愿清单 8.5 114162人
法国巴黎调皮帮 8.6 98713个人
荒岛余生 8.4 1206100位
爱博体育app,偷拐抢骗 8.5 1072三十多人
夜访吸血鬼 8.3 183946人
发狂的石头 8.2 2812三拾一位
枪火 8.6 88708人
一发千钧 8.7 747十七人
爱在下午光临前 8.7 1027陆15个人
爱在泰国 8.3 2079九十四个人
中央车站 8.7 71643个人
月球 8.5 130528人
寿司之神 8.8 740三17个人
我爱你 9.0 49781人
指腹为婚 8.1 3003二十一位
罪恶之城 8.4 1315柒十三人
石桥遗梦 8.5 894三贰十位
例如爱有运气 8.2 214076人
流星来的那一夜 8.3 1460四十八个人
黑鹰坠落 8.5 99898位
爬虫甘休,总共耗费时间: 1.8951084s

《V字仇杀队》:事实上,经过这么多年之后,你从头失去的不光是脾胃,你戴面具的岁月太长,都不记得面具下的和睦是怎么样体统了。

Process finished with exit code 0

《七武士》

爱博体育app 2

《七勇士》:我像您那样大时,也想过凭才能,应战立功然后当一城之王,但想着想着已白发斑斑,那时您已失去双亲孤身一人。

爱博体育app 3

《猜火车》

三、爬虫源代码

《猜轻轨》:选择职业,选取生活,选取工作,选用家庭,选她妈的大电视机,选用坐着,看令头脑麻木让心灵破碎的猜谜节目,嘴里塞满他妈的杂质食物。

package main
import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "time"
    "os"
    "strconv"
)
//定义新的数据类型
type Spider struct {
    url    string
    header map[string]string
}


//定义 Spider get的方法
func (keyword Spider) get_html_header() string {
    client := &http.Client{}
    req, err := http.NewRequest("GET", keyword.url, nil)
    if err != nil {
    }
    for key, value := range keyword.header {
        req.Header.Add(key, value)
    }
    resp, err := client.Do(req)
    if err != nil {
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
    }
    return string(body)

}
func parse()  {
    header := map[string]string{
        "Host": "movie.douban.com",
        "Connection": "keep-alive",
        "Cache-Control": "max-age=0",
        "Upgrade-Insecure-Requests": "1",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
        "Referer": "https://movie.douban.com/top250",
    }

    //创建excel文件
    f, err := os.Create("C:/haha3.xlsx")
    if err != nil {
        panic(err)
    }
    defer f.Close()
    //写入标题
    f.WriteString("电影名称"+"\t"+"评分"+"\t"+"评价人数"+"\t"+"\r\n")

    //循环每页解析并把结果写入excel
    for i:=0;i<10;i++{
        fmt.Println("正在抓取第"+strconv.Itoa(i)+"页......")
        url:="https://movie.douban.com/top250?start="+strconv.Itoa(i*25)+"&filter="
        spider := &Spider{url, header}
        html := spider.get_html_header()

        //评价人数
        pattern2:=`(.*?)评价`
        rp2 := regexp.MustCompile(pattern2)
        find_txt2 := rp2.FindAllStringSubmatch(html,-1)

        //评分
        pattern3:=`property="v:average">(.*?)`
        rp3 := regexp.MustCompile(pattern3)
        find_txt3 := rp3.FindAllStringSubmatch(html,-1)

        //电影名称
        pattern4:=`img alt="(.*?)" src=`
        rp4 := regexp.MustCompile(pattern4)
        find_txt4 := rp4.FindAllStringSubmatch(html,-1)

        // 写入UTF-8 BOM
        f.WriteString("\xEF\xBB\xBF")
        //  打印全部数据和写入excel文件
        for i:=0;i<len(find_txt2);i++{
            fmt.Printf("%s %s %s\n",find_txt4[i][1],find_txt3[i][1],find_txt2[i][1], )
            f.WriteString(find_txt4[i][1]+"\t"+find_txt3[i][1]+"\t"+find_txt2[i][1]+"\t"+"\r\n")

        }
    }
}

func main() {
    t1 := time.Now() // get current time
    parse()
    elapsed := time.Since(t1)
    fmt.Println("爬虫结束,总共耗时: ", elapsed)

}

《Mary与马克思》

《Mary与马克思》:小编实际想不通为何诚实也算……不适合时机。

《Mary与马克思》

《Mary与马克思》:当自个儿年轻的时候,作者想产生任何一位除了本人要好。

《剪刀手Edward》

《剪刀手爱德华》:抱我,小编无法

《日本首都乐与路》

《东京乐与路》:上帝也感觉那世界完美无瑕,未来还不是乱糟糟。

《 牯岭街少年杀人事件》

《牯岭街少年杀人事件》:那个世界是

不会变的。

《独马上代》

《独马上代》:最轻松逃避权利的点子,正是装的跟别人一样。

《一一》

《一一》:你不在的时候,小编有个空子去过了一段年轻时候的生活,本来感到自身再活壹遍的话大概会有何不相同等,结果要么基本上没什么不同,只是猝然认为,再活一遍的话好像,真的未有分外须求。

《超脱》

《超脱》:你看得见自个儿?你能瞥见小编站在这里?
是的,笔者看见了。哦天啊,小编就像是再度和那些世界创设了关联,感激。

相关文章