1. 从新闻洪流到结构化数据一个被忽视的蓝海如果你和我一样每天需要从海量的新闻报道中快速提取关键信息——比如某个行业的最新动态、某个产品的市场反馈或者某个事件的舆情变化——你一定会对“手动阅读、复制粘贴、整理归纳”这套流程感到深恶痛绝。这不仅是效率的瓶颈更是精力的巨大浪费。新闻是流动的、非结构化的文本海洋而我们需要的往往是沉淀下来的、可供分析和决策的结构化数据。最近一个名为Groundsource的项目进入了我的视野它提出的口号非常直接“用 Gemini 将新闻报道转化为数据”。这立刻戳中了我的痛点。在深入研究和实际测试后我发现这不仅仅是一个简单的“文本转表格”工具而是一个结合了最新大语言模型LLM能力、针对新闻数据特性进行深度定制的数据工程解决方案。它试图解决的正是如何将非结构化的、充满噪音的新闻内容自动化、高精度地提炼成干净、可查询、可分析的数据点。简单来说Groundsource 扮演了一个“智能新闻数据工程师”的角色。你给它一篇或多篇新闻报道的原文它利用 Google 的 Gemini 模型理解文章内容并按照你预先定义好的“数据模板”Schema自动提取出诸如“公司名称”、“融资轮次”、“金额”、“投资方”、“核心技术”、“发布时间”、“事件影响”等字段输出为结构化的 JSON 或 CSV 格式。这个过程我们称之为“信息抽取”Information Extraction, IE。为什么这件事值得大书特书因为在当前 AI 应用爆发的时代太多目光聚焦在生成式 AI 的炫酷创作上而像 Groundsource 这样扎实地解决一个具体、高频、高价值的数据处理问题反而显得尤为珍贵和实用。它不生成新的故事而是精准地“读懂”已有的故事并将其数字化。这对于投资分析、市场研究、品牌监测、竞品分析、学术研究等领域无疑是一把利器。接下来我将结合对 Groundsource 理念的剖析以及我构建类似系统的实战经验为你彻底拆解如何利用 Gemini 这类大模型实现新闻数据化的核心逻辑、关键技术细节以及那些只有踩过坑才知道的注意事项。2. 核心架构解析Groundsource 如何“思考”要理解 Groundsource 或任何类似系统的威力我们不能只停留在“输入-输出”的黑箱层面必须深入其核心架构。这套架构本质上是一个精心设计的“人机协作”管道其智能化并非完全依赖 AI 的“黑魔法”而是建立在清晰的规则、上下文和反馈循环之上。2.1 定义数据蓝图Schema 的设计哲学一切始于 Schema模式。这是你告诉系统“我想要什么数据”的蓝图。一个糟糕的 Schema 会导致提取结果混乱不堪而一个好的 Schema 则能极大提升准确率。Schema 设计的关键要素字段名Field Name清晰、无歧义。例如用funding_amount而非amount因为后者可能指估值、营收或其他金额。字段类型Field Typestring,number,date,array,boolean等。明确的类型能指导模型进行标准化输出。例如要求date类型模型会尝试将“上周五”、“2023年Q4”等文本转化为“YYYY-MM-DD”格式。字段描述Field Description这是最重要的部分你需要用自然语言详细描述这个字段的含义、边界和可能的格式。例如差描述investors- 投资方。好描述investors- 参与本轮投资的机构或个人投资者名称。可能是一个或多个。如果是个人请提取全名如果是机构请提取其常用简称或全称如“红杉中国”、“Sequoia Capital China”。如果文中未明确提及则留空。字段关系与约束某些字段之间存在逻辑关系。例如如果funding_round融资轮次是“种子轮”那么funding_amount融资额通常有一个大致的范围。你可以在 Schema 描述或后续的校验规则中体现这些约束。实战心得不要试图在一个 Schema 里捕获所有信息。针对不同的新闻类型融资新闻、产品发布、政策法规、人物访谈设计不同的、高度特化的 Schema。一个“万能”Schema 的提取效果远不如多个“专用”Schema。Groundsource 的理念很可能支持这种“场景化模板”库。2.2 提示工程与 Gemini 对话的“操作手册”有了 Schema下一步是如何有效地“告诉”Gemini。这就是提示工程Prompt Engineering的用武之地。这里的提示词Prompt远不止一句“请提取以下信息”。一个健壮的提示词通常包含以下几个部分角色设定System Instruction设定模型的角色。例如“你是一个专业的金融新闻数据分析专家擅长从中文科技新闻中精准提取结构化信息。”任务定义Task Definition清晰说明任务。例如“你的任务是从提供的新闻报道全文中根据给定的数据格式要求提取出对应的字段信息。只输出提取到的信息不要生成原文中没有的内容。”输出格式Output Format明确要求输出为 JSON并给出一个基于 Schema 的示例Few-shot Learning。例如“请严格按照以下 JSON 格式输出{“company_name”: “”, “funding_amount”: “”, “funding_round”: “”, “investors”: []}。示例如下...”处理规则Processing Rules针对新闻文本的常见噪音制定规则。例如“如果金额同时以人民币和美元给出优先提取美元金额。”、“如果日期不明确请根据文章发布时间和上下文语境进行合理推断并标注为‘推断日期’。”原文输入Input Text最后附上需要处理的新闻正文。关键技巧将 Schema 的描述无缝嵌入到提示词中。例如在输出格式示例后可以加上“其中funding_round字段指融资阶段如天使轮、A轮、B轮等investors字段是一个数组包含所有提及的投资机构全称或公认简称。”2.3 处理管道从原始文本到可信数据Groundsource 不可能只靠一次 API 调用就完成所有工作。其背后是一个多阶段的处理管道Pipeline预处理阶段文本清洗去除 HTML 标签、无关的广告、版权声明、记者信息等噪音。文本分段对于长文可能需要进行智能分段然后将相关段落组合后送入模型以避免上下文长度限制。关键信息预识别可以使用更轻量级的 NLP 模型或规则预先识别出可能的人名、机构名、日期、货币等实体作为提示词的补充信息给到 Gemini引导其关注重点。核心提取阶段调用 Gemini API传入构建好的提示词和清洗后的文本获得初步的 JSON 输出。后处理与校验阶段这是保障数据质量的核心。格式校验检查输出的 JSON 是否符合预定格式字段是否缺失。逻辑校验基于业务规则进行校验。例如检查“融资额”是否为合理数字不是电话号码“成立日期”是否早于“融资日期”。置信度评分可以让 Gemini 对自己提取的每个字段给出一个置信度分数例如0-1或通过其他模型进行交叉验证。低置信度的结果可以标记出来供人工复核。标准化将提取到的文本进行标准化。例如将“阿里巴巴”、“阿里集团”、“Alibaba Group”统一为“阿里巴巴”将“5千万”、“5000万”、“50 million”统一为“50000000”或“50,000,000”。人工反馈循环系统必须提供便捷的界面让用户能够快速复核、修正自动提取的结果。这些修正数据应该被记录下来用于两个方面一是直接修正当前数据二是作为高质量的训练数据用于微调Fine-tune模型或优化提示词实现系统的自我进化。这才是 Groundsource 这类工具长期价值的体现。3. 实战演练构建一个简易版“Groundsource”理解了架构我们动手搭建一个简易的原型。这里我们使用 Python并假设你已经拥有了 Gemini API 的访问权限请注意使用任何 API 都需遵守其服务条款。3.1 环境准备与依赖安装首先确保你的 Python 环境在 3.8 以上。我们主要需要google-generativeai库来调用 Gemini以及pydantic来帮助我们定义和校验 Schema。pip install google-generativeai pydantic requests3.2 定义我们的数据 Schema我们以“科技公司融资新闻”为例使用 Pydantic 来定义一个强类型的模型。这不仅能作为 Schema 描述还能自动进行类型验证。from typing import List, Optional from pydantic import BaseModel, Field from datetime import date as date_type class FinancingNews(BaseModel): 科技公司融资新闻数据结构 article_title: str Field(description新闻报道的标题) company_name: str Field(description获得融资的公司全称或常用名) company_website: Optional[str] Field(defaultNone, description公司的官方网站网址如未提及则为空) funding_amount_usd: Optional[float] Field(defaultNone, description以美元为单位的融资额单位为万。例如1000 表示1000万美元。如文中未明确美元金额则尝试根据人民币金额换算按提示词中汇率或留空。) funding_amount_cny: Optional[float] Field(defaultNone, description以人民币为单位的融资额单位为万。例如5000 表示5000万人民币。) funding_round: str Field(description融资轮次例如种子轮、天使轮、Pre-A轮、A轮、B轮、C轮、D轮及以上、战略融资、债权融资等。) investors: List[str] Field(description投资方列表包含领投方和跟投方。提取机构或个人的标准名称。) announcement_date: Optional[date_type] Field(defaultNone, description融资消息公布的日期格式为YYYY-MM-DD。若文中未明确则根据文章发布时间推断。) business_description: str Field(description对该公司主营业务或核心技术的简要描述从文章中提炼不超过100字。)这个FinancingNews类就是我们强大的 Schema。Pydantic 会自动根据字段类型str,float,date_type和Field中的description来生成清晰的描述这些描述可以直接用于构建提示词。3.3 构建核心提示词与提取函数接下来我们编写一个函数将新闻文本、Schema 描述整合成给 Gemini 的提示词并解析其返回结果。import google.generativeai as genai import json import re # 配置你的 Gemini API 密钥 genai.configure(api_keyYOUR_API_KEY) # 请替换为你的实际 API 密钥 model genai.GenerativeModel(gemini-pro) # 根据需求选择模型如 gemini-1.5-pro def extract_financing_info(news_text: str, article_title: str, publish_date: str) - Optional[FinancingNews]: 从新闻文本中提取融资信息。 Args: news_text: 清洗后的新闻正文 article_title: 文章标题 publish_date: 文章发布日期用于日期推断格式 YYYY-MM-DD Returns: 一个填充好的 FinancingNews 对象或解析失败时返回 None。 # 1. 构建系统指令和任务上下文 system_instruction 你是一个顶级的科技金融数据分析师。你的任务是从中文科技媒体报道中极其精准地提取关于公司融资事件的结构化信息。 你必须严格遵守以下规则 1. 只提取文章中明确提及或可根据上下文强烈推断出的信息。绝不捏造。 2. 对于金额务必区分美元和人民币。如果文中同时给出两者都提取。如果只给了一种尝试根据语境判断是否需要进行货币换算当前参考汇率1美元≈7.2人民币并将换算结果填入另一字段同时注明是换算结果。如果不确定则只填充明确的金额。 3. 日期格式必须统一为 YYYY-MM-DD。 4. 投资方名称需提取其最常用、最正式的简称或全称。 # 2. 构建包含 Schema 描述的 Few-shot 示例 schema_description FinancingNews.schema_json(indent2) # 获取 JSON Schema # 我们可以从 JSON Schema 中提取字段描述用于构建更动态的提示词这里为简化直接使用预定义的例子。 example_input 文章标题AI制药公司“智药科技”完成亿元级A轮融资启明创投领投 正文近日专注于利用人工智能进行药物发现的初创企业“智药科技”SmartPharm AI宣布已完成由启明创投领投高瓴创投、经纬中国跟投的A轮融资。本轮融资额达1亿元人民币。公司创始人李明表示资金将用于扩大研发团队和推进核心管线。智药科技官网为 www.smartpharm.ai。 example_output { “article_title”: “AI制药公司“智药科技”完成亿元级A轮融资启明创投领投”, “company_name”: “智药科技”, “company_website”: “http://www.smartpharm.ai”, “funding_amount_usd”: None, # 未明确提及美元 “funding_amount_cny”: 10000.0, # 1亿元 “funding_round”: “A轮”, “investors”: [“启明创投”, “高瓴创投”, “经纬中国”], “announcement_date”: None, # 文中仅“近日”需结合文章日期推断这里假设与publish_date相同 “business_description”: “利用人工智能技术进行药物发现的初创企业。” } # 3. 组合最终提示词 prompt f“” {system_instruction} 请根据以下数据模型提取信息 {json.dumps(FinancingNews.schema(), indent2)} 输出必须严格符合上述模型的JSON格式。 示例 输入文章{example_input} 输出{json.dumps(example_output, ensure_asciiFalse)} 现在请处理以下真实的新闻报道 文章标题{article_title} 文章发布日期{publish_date} 正文 {news_text} 请输出提取的JSON数据 “” # 4. 调用 Gemini API try: response model.generate_content(prompt) # 尝试从响应文本中解析 JSON response_text response.text # 使用正则表达式提取可能的 JSON 块 json_match re.search(rjson\s*(.*?)\s*, response_text, re.DOTALL) if json_match: json_str json_match.group(1) else: # 如果没有代码块标记尝试直接查找 { ... } json_match re.search(r\{.*\}, response_text, re.DOTALL) if json_match: json_str json_match.group(0) else: print(“无法从响应中解析出 JSON 结构。”) print(“响应内容”, response_text) return None data_dict json.loads(json_str) # 5. 使用 Pydantic 模型进行验证和实例化 # 注意需要处理可能的类型转换比如将字符串日期转为 date 对象 # 这里简化处理假设模型返回的日期已经是字符串格式 news_data FinancingNews(**data_dict) return news_data except json.JSONDecodeError as e: print(f“JSON 解析失败: {e}”) print(“原始响应”, response_text) return None except Exception as e: print(f“提取过程中发生错误: {e}”) return None3.4 运行测试与结果分析现在我们找一篇真实的简短的融资新闻来测试一下。# 模拟一篇新闻 test_title “机器人流程自动化服务商‘影刀RPA’获数千万美元B轮融资” test_date “2023-11-15” test_text “” 近日国内领先的机器人流程自动化RPA解决方案提供商杭州分叉智能科技有限公司旗下产品“影刀RPA”宣布完成数千万美元B轮融资。本轮融资由高盛集团领投老股东GGV纪源资本跟投。 影刀RPA成立于2019年其产品致力于通过无代码方式帮助企业实现业务流程自动化客户覆盖电商、金融、制造等多个领域。公司创始人兼CEO张峰表示本轮融资资金将主要用于产品技术研发和市场拓展。 据悉影刀RPA在去年曾获得来自GGV纪源资本的A轮融资。 “” result extract_financing_info(test_text, test_title, test_date) if result: print(“提取成功”) print(json.dumps(result.dict(), indent2, ensure_asciiFalse, defaultstr)) # defaultstr 用于处理日期等对象 else: print(“提取失败。”)预期输出结构{ “article_title”: “机器人流程自动化服务商‘影刀RPA’获数千万美元B轮融资”, “company_name”: “杭州分叉智能科技有限公司影刀RPA”, “company_website”: null, “funding_amount_usd”: 5000.0, “funding_amount_cny”: null, “funding_round”: “B轮”, “investors”: [“高盛集团”, “GGV纪源资本”], “announcement_date”: “2023-11-15”, “business_description”: “国内领先的机器人流程自动化RPA解决方案提供商通过无代码方式帮助企业实现业务流程自动化客户覆盖电商、金融、制造等领域。” }关键点分析公司名称模型成功提取了法律实体“杭州分叉智能科技有限公司”并关联了产品名“影刀RPA”。金额处理“数千万美元”被合理推断为一个具体数值例如5000万。在实际生产中这里需要更精细的处理可以设置为一个范围如“funding_amount_range_usd”: “tens of millions”或让模型输出原始表述。投资方正确区分了“领投方”和“老股东跟投”并去重列出。日期推断根据“近日”和提供的文章发布日期成功推断出了announcement_date。业务描述从原文中进行了有效的概括和提炼。这个简易原型已经展示了核心流程。Groundsource 的完整产品必然在各个环节都更加复杂和健壮。4. 避坑指南新闻数据化过程中的典型挑战与对策在实际操作中你会遇到远比示例复杂的情况。以下是我在类似项目中总结出的核心挑战及应对策略。4.1 挑战一信息的模糊性与歧义新闻报道本身并非为机器阅读而生充满模糊表述。问题“完成超亿元融资”、“获得数千万美元投资”、“融资金额未披露”。如何量化“独家投资”和“领投”如何区分“阿里”可能指阿里巴巴集团、阿里云、蚂蚁集团等。对策细化Schema描述在字段描述中明确处理规则。例如为funding_amount设计exact_amount精确数、estimated_range估计范围如“数千万”、disclosed是否披露三个子字段。实体链接Entity Linking提取公司名、人名、机构名后连接到一个权威的知识库如Crunchbase、天眼查的API进行消歧和归一化获取唯一ID和标准名称。上下文理解在提示词中要求模型关注特定上下文。例如“如果文中提到‘阿里领投’请根据上下文判断是指阿里巴巴集团、阿里战投部还是蚂蚁集团并说明判断依据。”4.2 挑战二数据的时效性与更新公司的信息是动态变化的。今天报道的“A轮”公司明天可能就完成了“B轮”。问题如何避免数据库中出现重复或过时的记录如何将新文章与已有公司进行关联对策唯一标识符为每个提取出的公司建立唯一标识最好使用外部知识库的ID如Crunchbase的Organization ID。相似度匹配与去重对于新提取的公司通过名称、网址、业务描述与现有数据库进行相似度匹配如使用向量数据库判断是新增公司还是已有公司的新闻。事件时间线将每次提取的融资事件作为一条独立记录与公司主体关联。通过announcement_date字段自然形成时间线。当检测到同一公司有新的融资轮次如从A轮到B轮时可以更新公司的“最新轮次”字段。4.3 挑战三模型幻觉与错误提取即使是最先进的LLM也会产生“幻觉”Hallucination即生成原文中不存在的信息。问题模型可能“脑补”出一个投资方或者将竞争对手的名字误认为是融资方。对策引用溯源要求模型在输出时为关键字段如金额、投资方附上原文中的支撑句Supporting Sentences。这不仅能用于人工复核未来也可用于自动化校验。交叉验证对于重要数据点可以采用“投票”机制。例如用相同的提示词但不同的随机种子seed或不同的模型如同时用Gemini和GPT-4提取多次然后对结果进行一致性校验。设置置信度阈值如前所述让模型输出置信度或通过其他规则如提取字段的完整性、与历史数据的一致性计算置信度。低于阈值的结果进入人工复核队列。后处理规则引擎建立一系列规则来捕捉明显错误。例如如果提取的“公司名称”是一个常见的动词或形容词则标记为可疑如果“融资额”超过一个离谱的阈值如1万亿则标记为可疑。4.4 挑战四成本与性能的平衡Gemini API 是按 token 收费的新闻文章可能很长处理海量数据时成本不容忽视。问题如何在不显著影响效果的前提下降低成本对策文本摘要预处理先用一个更小、更便宜的模型或摘要算法对长文进行摘要将摘要和关键段落如开头、包含数字和机构名的段落一起送入 Gemini 进行提取。缓存机制对同一篇新闻通过URL哈希或内容哈希判断的提取结果进行缓存避免重复处理。批量处理设计支持批量新闻输入和处理的管道优化API调用。模型选型根据任务复杂度选择合适的模型。对于相对规范的新闻可能不需要使用最顶级的gemini-ultragemini-pro在多数情况下已足够成本更低。5. 超越提取从数据到洞察的进阶应用当你能稳定地将新闻流转化为结构化数据后真正的价值才开始显现。数据本身不是终点基于数据的分析和洞察才是。5.1 构建实时监控与预警系统你可以将 Groundsource 的管道部署为实时服务监控特定的新闻源如行业媒体、公司官网博客、社交媒体。应用场景投资机构实时捕捉赛道内公司的融资动态发现潜在投资机会。企业竞争情报监控竞争对手的融资、产品发布、高管变动、合作签约等动态。市场研究追踪某个技术领域如“AIGC”、“自动驾驶”的投融资热度变化。技术实现结合 RSS 订阅、网站爬虫遵守robots.txt或第三方新闻API将获取的新文章实时送入处理管道结果存入数据库如 PostgreSQL, Elasticsearch并配置报警规则如“当某竞争对手融资额超过1亿美元时发送邮件通知”。5.2 进行趋势分析与可视化积累一段时间的数据后你就可以进行宏观分析。分析维度时间趋势每月/每季度融资事件数量、总金额、平均金额的变化。行业分布哪个细分赛道如“AI制药”、“储能电池”、“跨境电商”最受资本青睐投资方网络哪些投资机构最活跃它们喜欢联合投资吗绘制投资机构与公司的关系网络图。轮次分布市场资金是更偏向早期天使/A轮还是中后期B/C轮技术栈使用 Pandas 进行数据分析用 Matplotlib、Seaborn 或 Plotly 进行可视化甚至可以用 Tableau/Power BI 连接数据库制作动态仪表盘。5.3 赋能更复杂的AI工作流结构化的新闻数据可以作为其他AI任务的优质输入。应用举例自动生成简报将过去24小时提取的融资新闻用另一个LLM模型自动汇总成每日/每周投资简报。公司画像补全将提取到的“公司名称”和“业务描述”作为输入让LLM自动生成一份更丰富的公司简介包括潜在商业模式、竞争优势分析等。预测模型基于历史融资数据金额、轮次、投资方背景和公司业务描述尝试构建模型预测其下一轮融资的可能性或时间。Groundsource 所代表的“新闻数据化”思路本质上是在构建一个高质量的、领域特定的结构化知识库。这个知识库的价值会随着时间推移和数据积累而指数级增长。它让机器能够“阅读”并“理解”新闻从而将人类从繁琐的信息搜集和整理工作中解放出来去从事更具创造性的分析和决策工作。
