我开发的LLM-Online-Assistant,用于辅助语言模型联网,推荐给佬友

链接:GitHub - yeahhe365/LLM-Online-Assistant: 这是一个基于 `PyQt5` 和 `Python` 的网络信息抓取工具,可自动从互联网搜索引擎中抓取与关键词相关的内容,并将结果保存至本地文件,同时支持文本复制到剪贴板。支持的搜索引擎包括 Google, Bing, Baidu, 和 Sogou。This is a web information scraping tool based on `PyQt5` and `Python`, which can automatically fetch content related to keywords from internet search engines and save the results to local files, while also supporting text copy





使用说明书

程序简介

感谢您使用我们的程序!本程序是一款网络信息爬取工具,能够帮助用户从指定的搜索引擎上获取关键词相关的信息,并将结果整理保存为文本文件。以下是详细的使用说明。

系统要求

  • 操作系统:Windows 7或更高版本
  • Python版本:Python 3.6或更高版本
  • 依赖库:PyQt5, requests, BeautifulSoup4, pyperclip

安装与启动

本程序提供两种运行方式:

  1. 运行打包的exe文件

    • 下载并解压缩程序文件。
    • 双击 exe 文件即可启动程序。
  2. 运行源代码

    • 确保您的计算机上已经安装了Python和上述依赖库。如果没有安装,可以使用以下命令进行安装:
      pip install PyQt5 requests beautifulsoup4 pyperclip
      
    • 下载并解压缩源代码文件。
    • 在命令行或终端中,进入源代码目录,运行以下命令启动程序:
      python LLM-Online-Assistant.py
      

功能介绍

  1. 关键词输入:用户可以输入一个或多个关键词,程序将根据这些关键词进行信息爬取。

  2. 问题输入:可以输入一个问题,若未输入,默认使用第一个关键词作为问题。

  3. 爬取页数:设置每个关键词需要爬取的搜索结果页数,范围是1到100页,默认是10页。

  4. 搜索引擎选择:用户可以选择使用Google、Bing、Baidu或Sogou进行信息搜索。

  5. 导出目录:设置保存爬取结果的目录,默认为用户的下载文件夹。

  6. 文件操作:程序支持查看、复制和删除生成的文本文件。

使用步骤

  1. 输入关键词

    • 在"关键词"框中输入您要搜索的关键词,可以点击右侧的"+“按钮增加新的关键词输入框,点击”-"按钮减少关键词输入框。
    • 程序至少需要一个关键词才能开始爬取。
  2. 输入问题

    • 在"问题"框中输入具体的问题,如果不输入问题,程序会默认使用第一个关键词作为问题。
  3. 设置爬取页数

    • 使用"爬取页数"框来设置每个关键词需要爬取的页数,范围是1到100页。
  4. 选择搜索引擎

    • 从"搜索引擎"下拉菜单中选择一个搜索引擎(Google、Bing、Baidu、Sogou)。
  5. 设置导出目录

    • 点击"浏览"按钮选择结果文件的保存目录,默认为下载文件夹。
  6. 开始爬取

    • 点击"开始爬取"按钮,程序将根据设置开始从指定的搜索引擎爬取信息。
  7. 停止爬取

    • 在爬取过程中,您可以随时点击"停止爬取"按钮来中止操作。
  8. 查看结果

    • 爬取完成后,程序会在"结果"框中显示保存的文件路径和统计信息(总字数、字符数等)。
    • 在右侧的文件列表中可以查看生成的文件,双击文件名可以打开文件。
  9. 复制和删除文件

    • 选中文件后,可以点击"复制"按钮将文件内容复制到剪贴板,或者点击"删除"按钮删除文件。

快捷键说明

为了提高操作效率,程序支持以下快捷键:

快捷键 功能说明
Enter 开始爬取
Shift + Enter 添加新的关键词输入框
Backspace 删除当前关键词输入框(如果为空)
Delete 删除选中的文件
Ctrl + C 复制选中的文件内容到剪贴板

错误处理

  • 如果程序在爬取过程中遇到问题(如网络连接失败、无法访问搜索引擎等),会自动尝试重新爬取。
  • 如果多次尝试后仍然失败,程序会记录错误日志并跳过该链接。

注意事项

  • 为了避免过多的网络请求导致搜索引擎的访问限制,程序使用了一组不同的User-Agent来模拟用户行为。
  • 请确保爬取的信息用于合法用途,遵守相关法律法规。

感谢您使用本程序,若有任何问题或建议,请随时联系我们。希望本工具能为您的工作和学习带来便利!



【从何开始123的个人空间-哔哩哔哩】 从何开始123的个人空间-从何开始123个人主页-哔哩哔哩视频

8 个赞

插眼,蹲更新

2 个赞

说实话,win很不友好啊

1 个赞

没听懂,哪方面不友好

我觉得这玩意儿,改改能改出一些有意思的东西

1 个赞

感谢!

1 个赞

或许搞成docker,放个接口出来会好点 :face_with_raised_eyebrow:

1 个赞

谢谢,收藏起

1 个赞

建议听取了

这个项目适合配合Gemini 1.5 Pro这种便宜还token上限多的语言模型使用

不错,赞一个

1 个赞