Ep 55 — 开放光谱数据库:NIST WebBook、SDBS、EPA 等

系列:红外光谱百科:从原理到实战
篇章:第五篇 · 仪器与工具篇 — 开放数据生态(Ep 46–55 后段,第五篇收官集)
适合人群:希望提升数据处理效率的技术人员、研究生、科研工作者、图书馆 / 信息化管理者、对开放科学感兴趣的所有人
前置知识:Ep 19(库检索)、Ep 52(商业软件)、Ep 53–54(开源工具)
阅读时间:约 45 分钟


引子:一份"价值万元"的免费礼物

某博士生小赵正在做一项药物多晶型研究,需要一份权威的咖啡因红外标准谱图作为参照。她第一反应是问导师能不能买 Sadtler 商业谱库(约 5 万元 / 年订阅)。导师笑着说:"先去 NIST WebBook 找找,免费。"

5 分钟后,小赵在 NIST Chemistry WebBook 输入 "caffeine",点开红外谱图——气相 + 凝聚相两套数据,可下载 JCAMP-DX 格式,可直接导入她常用的 SpectroChemPy(Ep 53)。她又点开日本 AIST 的 SDBS,找到更详细的咖啡因 KBr 压片红外谱图,附带测量条件、峰位列表。

"开放光谱数据库是过去 30 年分析化学界最伟大的'免费礼物'之一。NIST WebBook 和 SDBS 的免费政策,让全球数十万研究人员、学生受益。"
—— 改编自 Analytical Chemistry 编辑评论 [1]

本集是"仪器与工具篇"收官集,也是 Ep 53–54 开源工具的"数据搭档"。我们将系统介绍全球主要的开放光谱数据库:NIST Chemistry WebBook(公开文档常见约 16000+ 化合物量级,随更新变化)、AIST SDBS、EPA/EMC 相关 FTIR 参考谱(面向有害空气污染物等,公开表述多为百余种量级而非“库内正好 189 且永久不变”),以及 PNNL、HITRAN、Caltech、USGS 等专业库。最后简介商业库并讲解检索比对技巧。

💡 本集定位:Ep 52 商业软件内置商业库,Ep 53–54 开源工具自带少量库,本集教你去哪里找免费、权威、可下载的标准光谱。三者结合,构成完整的数据生态。


一、开放光谱数据库的价值与生态

1.1 为什么需要光谱数据库

红外光谱的"指纹区"原理决定了:通过比对未知样品谱图与标准谱图,可以鉴定化合物 [1][2]。这是 Ep 19 库检索的核心逻辑。

库检索的质量取决于两点 [1][2][3]:

  • 算法:相关系数、绝对差值、一阶导数匹配等(见 Ep 19);
  • 库内容:覆盖度、准确性、元数据完整性。

商业库(Sadtler、Aldrich、Hummel)覆盖广、质量高,但价格不菲 [1]。开放数据库的兴起让"免费也能用得好"成为可能。

1.2 全球开放光谱数据库生态

下表是全球主要开放 FTIR 光谱数据库的概览(综合 [1][2][3][4]):

数据库 维护机构 数据规模 数据类型 访问方式
NIST Chemistry WebBook 美国 NIST 16,000+ 化合物 IR 气相 + 凝聚相 免费 Web
AIST SDBS 日本产综研 34,000+ 有机物 IR + Raman + MS + NMR 免费(教育)
EPA/EMC FTIR 参考谱 美国 EPA 百余种量级(随更新) 气相 FTIR 免费 Web
PNNL FTIR 库 美国太平洋西北国家实验室 480 有机物 气相 FTIR 免费(注册)
HITRAN Harvard-Smithsonian 等 47 小分子 高分辨气相 IR 免费(注册)
Caltech 矿物光谱 Caltech 数百矿物 反射 IR + NIR 免费 Web
USGS 矿物光谱 美国地质调查局 ~700 矿物 NIR(0.4–2.5 μm) 免费 Web
RRUFF 矿物拉曼 亚利桑那大学 数千矿物 拉曼为主,部分 IR 免费 Web

表 1:全球主要开放 FTIR / 相关光谱数据库概览(综合 [1][2][3][4])

下面我们逐个介绍最重要的几个。


二、NIST Chemistry WebBook:权威的"国民数据库"

2.1 概览

NIST Chemistry WebBook 是美国国家标准与技术研究院(NIST)维护的化学数据库,是全球最权威、最广泛使用的免费化学数据库之一 [1][2]。

  • 官网https://webbook.nist.gov/chem…
  • 维护机构:美国 NIST(国家标准与技术研究院)
  • 数据规模:16,000+ 化合物的红外光谱
  • 数据格式:JCAMP-DX (.jdx)、PERL、ASCII、图像
  • 访问方式:完全免费、无需注册
  • 覆盖范围:气相 + 凝聚相

图 1:NIST Chemistry WebBook 主页(来源:https://webbook.nist.gov/chem…

2.2 核心特色

① 数据权威 [1][2]

  • NIST 是美国国家级计量机构,数据经过严格审核;
  • 每条数据都标注来源(文献引用)、测量条件;
  • 适合作为"金标准"参照。

② 多维数据整合 [1][2]

  • 一个化合物页面同时提供:
    • 红外光谱(气相 + 凝聚相)
    • 拉曼光谱
    • 紫外可见光谱
    • 质谱
    • 热化学数据(生成焓、熵、热容)
    • 电离能
    • 气相色谱保留指数

③ JCAMP-DX 格式下载 [1][2]

  • JCAMP-DX 是国际标准光谱交换格式(见 Ep 52);
  • 可直接导入 SpectroChemPy、HyperSpy、OMNIC、OPUS;
  • 含完整元数据(化合物名、CAS、测量条件)。

④ 多种检索方式 [1][2]

  • 按名称(IUPAC、通用名、俗名);
  • 按 CAS 号;
  • 按分子式;
  • 按分子量;
  • 按结构(SMILES、InChI);
  • 按离子能 / 反应等物理属性。

2.3 实操:检索咖啡因红外谱图

下面演示从检索到下载的完整流程 [1][2]:

Step 1 — 进入检索

  1. 访问 https://webbook.nist.gov/chem…;
  2. 选择"Name"检索;
  3. 输入 "caffeine" → Search。

Step 2 — 选择化合物

  • 系统返回咖啡因条目(CAS 58-08-2);
  • 点击进入详细页面。

Step 3 — 选择 IR 数据

  • 页面左侧导航有 "Gas phase IR spectrum" 和 "Condensed phase IR spectrum";
  • 凝聚相 IR 更适合常规分析(KBr 压片、ATR);
  • 点击 "Condensed phase IR spectrum"。

Step 4 — 查看与下载

  • 网页显示谱图可视化;
  • 下方有 "View: Image / JCAMP-DX / PERL / ASCII" 选项;
  • 选择 "JCAMP-DX" → 浏览器下载 caffeine.jdx

Step 5 — 用 Python 加载

# 方法 1:用 SpectroChemPy(推荐)
import spectrochempy as scp
ds = scp.read('caffeine.jdx')
ds.plot(title='Caffeine IR (NIST)')

# 方法 2:用 jcamp 库
import jcamp
import matplotlib.pyplot as plt

with open('caffeine.jdx', 'r') as f:
    data = jcamp.jcamp_read(f)
plt.plot(data['x'], data['y'])
plt.xlabel('Wavenumber (cm⁻¹)')
plt.ylabel('Absorbance')
plt.title('Caffeine IR (NIST)')
plt.show()

2.4 NIST 的局限

  • 气相数据为主(高温气化),凝聚相相对少 [1];
  • 覆盖度仍不如商业库(Sadtler 25 万+);
  • 部分老数据未更新;
  • 不支持批量下载(只能逐个化合物);
  • 检索 API 有限,不适合大规模自动化比对。

🔗 延伸:咖啡因含 C=O(酰胺羰基)、芳香环、N-CH₃ 等特征基团。各类官能团的标准峰位见 ftir.fun 官能团数据库


三、AIST SDBS:有机化学的"宝藏"

3.1 概览

AIST SDBS(Spectral Database for Organic Compounds)由日本产业技术综合研究所(AIST)维护,是有机化合物谱图数据库的"宝藏" [1][3]。

  • 官网https://sdbs.db.aist.go.jp/
  • 维护机构:日本 AIST
  • 数据规模:34,000+ 有机物
  • 数据类型:IR + Raman + ¹H NMR + ¹³C NMR + MS + ESR
  • 访问方式:免费(仅限教育 / 科研使用)
  • 覆盖范围:有机化合物为主

图 2:AIST SDBS 主页(来源:https://sdbs.db.aist.go.jp/)

3.2 核心特色

① 多种光谱整合 [1][3]

  • 一个化合物同时有 IR、Raman、NMR(¹H、¹³C)、MS、ESR;
  • 交叉验证:IR 推断官能团 + NMR 推断结构 + MS 推断分子量;
  • 适合教学(让学生看同化合物不同光谱的对应关系)。

② 数据详尽 [1][3]

  • 每条 IR 数据包含:
    • 化合物结构图;
    • 测量条件(KBr 压片、液膜等);
    • 仪器型号;
    • 峰位列表(带归属);
    • 谱图可视化。

③ 免费教育使用 [3]

  • 个人教育 / 科研使用免费;
  • 商业用途需授权;
  • 注册账号后可批量查询。

3.3 实操:检索阿司匹林

Step 1 — 进入检索

  1. 访问 https://sdbs.db.aist.go.jp/;
  2. 点击 "Search" → "Compound Name";
  3. 输入 "aspirin" → Search。

Step 2 — 选择化合物

  • 返回阿司匹林条目(CAS 50-78-2);
  • 点击进入。

Step 3 — 选择 IR 数据

  • 页面顶部有光谱类型标签:¹H NMR | ¹³C NMR | IR | Raman | MS;
  • 点击 "IR"。

Step 4 — 查看与下载

  • 显示谱图(图像);
  • 下方有峰位列表(带归属);
  • 注意:SDBS 不支持直接 JCAMP-DX 下载,需手动记录或截图。

Step 5 — 与 NIST 对比

  • NIST 通常只提供下载文件;
  • SDBS 提供更详细的峰位归属;
  • 两者互补使用最佳。

3.4 SDBS 的局限

  • 仅图像 + 峰位列表,不提供 JCAMP-DX 下载 [1][3];
  • 商业使用需授权;
  • 部分功能需注册;
  • 数据更新较慢。

四、EPA FTIR 污染物光谱库:环境监测利器

4.1 概览

EPA FTIR 污染物光谱库由美国环境保护署(EPA)维护,专为大气有害空气污染物(HAPs)的 FTIR 监测设计 [1][4]。

  • 官网https://www3.epa.gov/ttn/emc/…
  • 维护机构:美国 EPA
  • 数据规模:面向有害空气污染物(HAP)等的参考谱,公开表述多为百余种量级,并随更新变化;CAA Title III 列出的 HAP 数目与“库内谱图条数”不必等同
  • 数据类型:气相 FTIR
  • 访问方式:完全免费、无需注册
  • 覆盖范围:环境监测关心的 HAPs

图 3:EPA FTIR 参考光谱库主页(来源:https://www3.epa.gov/ttn/emc/…

4.2 核心特色

① 专门针对大气监测 [1][4]

  • 条目多对应环境监测关注的挥发性/半挥发性物种(如苯、甲苯、甲醛等),具体清单以 EPA 当前页面为准;
  • 气相、高温测量(与烟道气条件一致);
  • 数据可直接用于 EPA Method 320(FTIR 测量固定源污染物)。

② 数据质量高 [4]

  • 由 EPA 实验室统一测量;
  • 标准化条件(光程、温度、压力);
  • 含吸收截面(用于定量)。

③ 适合开放光路监测 [4]

  • 开放光路 FTIR(OP-FTIR)监测大气污染物时,标准谱图必不可少;
  • EPA 库是行业标准。

4.3 实操:检索甲醛

Step 1 — 访问主页

  1. 打开 https://www3.epa.gov/ttn/emc/…;
  2. 列表按字母排序。

Step 2 — 找到目标化合物

  • 找 "Formaldehyde"(甲醛,CAS 50-00-0);
  • 点击链接。

Step 3 — 下载

  • 提供多种格式(JCAMP-DX、ASCII、CSV);
  • 选 JCAMP-DX 下载。

Step 4 — 用 Python 加载

import spectrochempy as scp
formaldehyde = scp.read('formaldehyde.jdx')
formaldehyde.plot(title='Formaldehyde Gas-Phase IR (EPA)')

🔗 延伸:甲醛含 C=O 醛基,特征峰在 1720–1740 cm⁻¹。醛基与酮基的区别详见 ftir.fun 羰基官能团页


五、其他专业开放数据库

5.1 PNNL FTIR 库:气相有机物

PNNL(Pacific Northwest National Laboratory)FTIR 库由美国太平洋西北国家实验室维护,专注气相有机物 [1][5]。

  • 规模:480 种有机物气相 FTIR;
  • 特色
    • 高质量气相数据(25 °C 标准条件);
    • 含吸收截面(定量用);
    • 适合遥感、大气化学;
  • 访问:免费,需注册(https://secure2.pnl.gov/nsd/f…;
  • 格式:JCAMP-DX、ASCII。

5.2 HITRAN:高分辨气相小分子

HITRAN(High-Resolution Transmission)数据库是气相小分子高分辨红外光谱的"金标准" [1][6]。

  • 官网https://hitran.org/
  • 维护:Harvard-Smithsonian 天体物理中心;
  • 规模:47 种小分子(CO₂、H₂O、CH₄、O₃ 等);
  • 特色
    • 高分辨(0.0001 cm⁻¹ 级);
    • 适合大气遥感、天体物理;
    • 含线强、半宽、能级等参数;
  • 访问:免费注册;
  • 格式:HITRAN 格式、HAPI 接口。

⚠️ 注意:HITRAN 是"线参数"数据库,不是直接谱图。需用 HAPI(HITRAN Python 接口)模拟谱图:

from hapi import *
db_begin('data')
fetch('CO2', 2, 1, 600, 7000)
nu, coef = absorptionCoefficient_Lorentz(SourceTables='CO2', OmegaStep=0.01)

5.3 Caltech 矿物光谱服务器

Caltech 矿物光谱服务器由加州理工学院维护,专注矿物反射光谱 [1][7]。

  • 官网http://minerals.gps.caltech.e…
  • 规模:数百种矿物;
  • 特色
    • 反射 IR + NIR;
    • 适合地质、行星科学;
    • 高质量数据;
  • 访问:免费 Web。

5.4 USGS 矿物光谱库

USGS Spectral Library 由美国地质调查局维护 [1][8]。

  • 官网https://speclab.cr.usgs.gov/s…
  • 规模:~700 条矿物 + 植物 + 人造物光谱;
  • 波长范围:0.4–2.5 μm(可见 + 近红外);
  • 特色
    • 适合遥感、矿产勘查;
    • 含详细采样信息;
  • 访问:免费。

5.5 RRUFF 矿物拉曼数据库

RRUFF 项目由亚利桑那大学维护 [1][9]。

  • 官网https://rruff.info/
  • 规模:数千种矿物;
  • 数据类型:拉曼为主,部分 IR、XRD;
  • 特色:矿物鉴定事实标准;
  • 访问:免费。

六、商业光谱库简介

商业库虽然收费,但覆盖度和质量仍是开放库无法替代的 [1][10]。简介如下:

6.1 SpectraBase(Bio-Rad / Wiley)

  • 官网https://spectrabase.com/
  • 维护:Bio-Rad(Sadtler 谱库)+ Wiley;
  • 规模:数十万张 IR、Raman、NMR、MS、UV-Vis;
  • 特色
    • 全球最大商业光谱库;
    • 高质量、经过审核;
    • 含商业产品、聚合物、药品等子库;
  • 访问:免费 Web 查询(基础功能)、付费下载 / API。

6.2 NICODOM IR 库

  • 官网https://www.ir-spectra.com/
  • 维护:NICODOM(捷克);
  • 规模:数万张 IR;
  • 特色
    • 专注聚合物、食品、药品;
    • 提供 ATR + 透射两种数据;
    • 适合特定行业;
  • 访问:付费(一次性购买 + 升级)。

6.3 Sigma-Aldrich / Merck IR 库

  • 维护:Sigma-Aldrich(Merck 集团);
  • 特色
    • 与试剂目录一一对应;
    • 适合"买什么试剂、查什么谱图";
  • 访问:随试剂销售或单独购买。

6.4 Hummel 聚合物库

  • 维护:Hummel(已并入 Sadtler / Bio-Rad);
  • 特色
    • 聚合物与添加剂的"金标准";
    • 工业分析必备;
  • 访问:付费。

💡 何时该买商业库 [1][10]:

  • QC 生产环境(需稳定、合规、可追溯);
  • 专业领域(聚合物、药品、毒品);
  • 库检索是核心分析手段;
  • 预算充足(年订阅 5–20 万元)。
    否则,开放库 + 自建库已能满足大部分需求。

七、如何高效使用光谱库进行检索与比对

7.1 检索算法回顾

主流库检索算法(详见 Ep 19)[1][2]:

算法 原理 优点 缺点
相关系数法 计算 R = cov(s, r) / (σ_s · σ_r) 最常用,对强度变化稳健 对峰位偏移敏感
绝对差值法 D = Σ s_i − r_i 简单 受基线影响
一阶导数匹配 比较一阶导数谱 消除基线 噪声放大
Euclidean 距离 D = √Σ(s_i − r_i)² 直观 受强度影响
混合算法 多算法组合 鲁棒 复杂

表 2:主流库检索算法对比(综合 [1][2])

7.2 HQI 值的含义

HQI(Hit Quality Index)是库检索返回的"匹配度"指标,0–1 或 0–100 [1][2]:

  • HQI > 0.95(95):极好匹配;
  • HQI 0.90–0.95:好匹配;
  • HQI 0.80–0.90:可能匹配,需人工确认;
  • HQI < 0.80:低匹配,可能是不同化合物或混合物。

重要原则 [1][2]:

  • HQI 不是"概率",是相似度;
  • HQI 高不等于一定是该化合物(同系物、异构体 HQI 都高);
  • HQI 低不等于一定不是(基线、制样差异会让 HQI 低);
  • 必须结合人工谱图解读

7.3 高效检索流程

标准流程 [1][2][3]:

未知样品谱图
   │
   ▼
1. 预处理(基线、平滑、归一化)
   │
   ▼
2. 在 NIST WebBook 找候选(气相 + 凝聚相)
   │
   ▼
3. 在 SDBS 找候选(带峰位归属)
   │
   ▼
4. 多个候选?用 HQI 排序
   │
   ├─ HQI > 0.95 → 高置信度鉴定
   │
   ├─ HQI 0.85–0.95 → 用一阶导数法复核
   │
   └─ HQI < 0.85 → 可能是混合物,需 MCR-ALS 分解
   │
   ▼
5. 人工验证:关键峰位、峰形、相对强度
   │
   ▼
6. 交叉验证:IR + NMR + MS(如有)

7.4 混合物的库检索

纯化合物库检索相对简单,混合物才是挑战 [1][2]:

方法 1:差谱法 [1]

  • 假设主成分是 A,从 NIST 取 A 的标准谱;
  • 用未知谱减去 A 的 scaled 谱,看残差;
  • 残差中识别第二成分 B;
  • 循环直至残差接近 0。
import spectrochempy as scp

unknown = scp.read('unknown.spa')
component_a = scp.read('a_from_nist.jdx')

# 缩放因子(最小化残差)
from scipy.optimize import minimize_scalar
res = minimize_scalar(lambda scale: np.sum((unknown.data - scale * component_a.data)**2))
scale_a = res.x

residual = unknown - scale_a * component_a
residual.plot(title='Residual after subtracting A')

方法 2:MCR-ALS 分解 [1][3]

  • 适合 3+ 组分复杂混合物;
  • SpectroChemPy 内置(见 Ep 53);
  • 分解出纯组分光谱后再做库检索。

方法 3:自建库 [1]

  • 实验室常测化合物自建小库;
  • 比通用商业库更精准(同仪器、同样品制备);
  • 是工业 QC 实验室的常规做法。

7.5 ftir.fun 作为中文友好的工具补充

🔗 延伸ftir.fun 是中文友好的在线光谱工具,提供:

  • 谱图上传与多格式解析:JCAMP-DX、CSV 等通用格式;
  • 峰识别与官能团查询:自动识别峰位,关联官能团数据库;
  • 谱图搜索:与开放数据库联动检索;
  • 可视化与对比:Web 端直接查看、比对谱图;
  • 跨设备访问:手机、平板、电脑通用。

ftir.fun 与开放数据库的协同工作流 [11]:

  1. 在 NIST WebBook 下载 JCAMP-DX 标准谱;
  2. 上传到 ftir.fun 与未知样品对比;
  3. ftir.fun 自动识别未知样品峰位、关联官能团;
  4. 把对比结果导出为报告。

这种"NIST 提供数据 + ftir.fun 提供工具"的协同模式,让中文用户也能高效利用开放光谱数据 [11]。


八、自建光谱库的实践

开放数据库覆盖通用化合物,但实验室常测的特定样品(自制催化剂、特定聚合物配方、内部 QC 标准品)不在其中 [1][2]。这时自建库就很重要。

8.1 自建库的要素

一个高质量自建库需要 [1][2]:

要素 内容
化合物信息 名称、CAS、结构、批号、来源
测量条件 仪器型号、附件、扫描次数、分辨率
制样方法 KBr 压片、ATR(晶体类型)、液池
谱图数据 JCAMP-DX 或 CSV 格式
处理历史 是否做过基线、平滑等
采集人 / 日期 可追溯

表 3:自建库必备元数据(综合 [1][2])

8.2 自建库的存储格式

推荐格式:JCAMP-DX [1][2]

  • 国际标准;
  • 含元数据;
  • 跨软件兼容。

自建库实例(JCAMP-DX 头部)[1]:

##TITLE=Catalyst_Pt_Al2O3_Fresh
##JCAMP-DX=5.01
##DATA TYPE=INFRARED SPECTRUM
##ORIGIN=My Lab - Catalyst Group
##OWNER=Bob
##CAS NAME=Pt/Al2O3 catalyst (fresh)
##CAS REGISTRY NO=NA (mixture)
##NPOINTS=1769
##XUNITS=1/CM
##YUNITS=ABSORBANCE
##XFACTOR=1.0
##YFACTOR=1.0
##FIRSTX=4000
##LASTX=900
##FIRSTY=0.012
##END HEADER
4000 0.012
3999 0.013
...

8.3 自建库的管理

  • SpectroChemPy 的 NDDataset(Ep 53)管理元数据 [2];
  • 用版本控制(Git)跟踪变更;
  • 定期备份(云存储 + 本地);
  • 文档化(哪些化合物、何时添加、谁负责)。

8.4 与开放库整合

自建库 + 开放库整合,构成实验室的"完整光谱资源" [1][2]:

import spectrochempy as scp

# 加载开放库(NIST 下载)
nist_compounds = [scp.read(f) for f in nist_files]

# 加载自建库
inhouse_compounds = [scp.read(f) for f in inhouse_files]

# 合并
all_library = nist_compounds + inhouse_compounds

# 对未知样品检索
unknown = scp.read('unknown.spa')

best_match = None
best_hqi = 0
for ref in all_library:
    hqi = scp.cosine_similarity(unknown, ref)
    if hqi > best_hqi:
        best_hqi = hqi
        best_match = ref

print(f"Best match: {best_match.name}, HQI={best_hqi:.3f}")

九、开放数据与开放科学

9.1 FAIR 数据原则

现代科学数据管理遵循 FAIR 原则 [1][12]:

  • Findable(可发现);
  • Accessible(可访问);
  • Interoperable(可互操作);
  • Reusable(可重用)。

NIST WebBook、SDBS 等开放数据库是 FAIR 原则的典范 [1]:

  • Findable:标准 URL、DOI、CAS 号检索;
  • Accessible:免费、无需注册(NIST);
  • Interoperable:JCAMP-DX 标准格式;
  • Reusable:明确的使用许可、来源标注。

9.2 引用与致谢

使用开放数据库时,正确引用是科学规范 [1][12]:

  • NIST WebBook:引用 Mallard W G, et al. NIST Chemistry WebBook, NIST Standard Reference Database 69. https://webbook.nist.gov/chem…
  • SDBS:引用 SDBSWeb: https://sdbs.db.aist.go.jp/ (National Institute of Advanced Industrial Science and Technology, date of access)
  • EPA FTIR:引用 EPA Method 320 文档与数据库 URL;
  • HITRAN:引用 Gordon I E, et al. J Quant Spectrosc Radiat Transfer 2022.

9.3 贡献回开放生态

实验室可以贡献自己的高质量谱图回开放生态 [1][12]:

  • 发表时同时发布谱图(如 Figshare、Zenodo);
  • 上传到开放数据库(部分接受外部贡献);
  • 用开源工具处理数据并开源代码;
  • 撰写中英文博客分享经验。

十、数据库使用"踩坑"提示

10.1 坑 1:气相 vs 凝聚相混淆

情境:用 NIST 气相苯谱图对比 KBr 压片苯样品,HQI 只有 0.7 [1]。

原因:气相与凝聚相 IR 谱图差异大(峰位偏移、峰形不同)。

对策

  • 凝聚相样品用 NIST 凝聚相谱图;
  • 气相样品用 NIST / EPA 气相谱图;
  • 不要混用。

10.2 坑 2:制样方法不一致

情境:自建 ATR 库的样品,对比 NIST KBr 压片谱图,1740 cm⁻¹ 峰相对强度差 30% [1]。

原因:ATR 与透射的峰强度规律不同(见 Ep 18 ATR 校正)。

对策

  • 比对前先做 ATR 校正;
  • 或自建同制样方法的库;
  • 用 SpectroChemPy 的 atrcorrect 功能。

10.3 坑 3:过度依赖 HQI

情境:库检索 HQI = 0.92,鉴定为 A,但实际上是 A 的同系物 B [1]。

对策

  • 同系物、异构体 HQI 都高;
  • 必须人工验证关键峰位;
  • 用 NMR、MS 交叉验证。

10.4 坑 4:忽略元数据

情境:从 SDBS 找到一张谱图,未注意测量条件,用于室温下样品对比,结果峰位偏 5 cm⁻¹ [1]。

对策

  • 检索时务必看测量条件;
  • 注意温度、物相、制样方法;
  • 与样品条件不一致的数据慎用。

10.5 坑 5:商业库的版权风险

情境:某公司把购买的 Sadtler 商业库上传到内部云盘共享,被审计发现违约 [10]。

对策

  • 商业库 license 通常禁止二次分发;
  • 内部使用要按 license 数量购买;
  • 自建库可自由共享;
  • 开放库可自由共享(注意引用)。

配图(本集关键示意)

📷 图 4:仪器能力对比示意

仪器能力对比示意
来源:真实/开源图片 · Unsplash — laboratory scientist(已加水印 ftir.fun)

仪器能力对比示意

📷 图 5:光路/附件概念

光路/附件概念
来源:真实/开源图片 · Project case study — PE spectrum(已加水印 ftir.fun)

光路/附件概念

📷 图 6:软件/数据库工作流

软件/数据库工作流
来源:ftir.fun 教学示意图(带水印;非实测谱,仅供理解概念)

软件/数据库工作流

本集小结

核心知识点 要点
NIST WebBook 16000+ 化合物,免费、JCAMP-DX 下载
SDBS 34000+ 有机物,IR+Raman+MS+NMR,免费教育使用
EPA/EMC FTIR 百余种量级参考谱,环境监测常用,气相
PNNL 480 有机物气相 FTIR,含吸收截面
HITRAN 47 小分子高分辨气相 IR,线参数
Caltech / USGS 矿物反射 / NIR,地质应用
RRUFF 矿物拉曼为主,部分 IR
商业库 SpectraBase、NICODOM、Hummel,覆盖广但收费
HQI 含义 匹配度,> 0.95 高置信,需人工验证
检索算法 相关系数、绝对差值、一阶导数、Euclidean
混合物检索 差谱法 + MCR-ALS + 自建库
自建库要素 化合物信息 + 测量条件 + 制样 + 元数据
自建库格式 JCAMP-DX 推荐
ftir.fun 中文友好在线工具,与开放库联动
FAIR 原则 可发现、可访问、可互操作、可重用
引用规范 NIST、SDBS、HITRAN 等需正式引用
气相 vs 凝聚相 不能混用,制样要一致
版权风险 商业库禁二次分发,自建库可共享

思考题

  1. 你需要鉴定一个未知有机化合物(白色晶体,熔点 135–136 °C)。请设计一个完整的库检索流程,使用 NIST WebBook + SDBS,说明每步要做什么、看什么。如果检索返回 HQI 0.85 的候选 A 和 HQI 0.82 的候选 B,如何决定是哪一个?

  2. 比较 NIST WebBook 和 AIST SDBS 在数据格式、覆盖范围、元数据完整性上的差异。如果你做的是有机合成产物鉴定,会优先用哪个?为什么?

  3. 你负责一个环境监测项目,需要用开放光路 FTIR(OP-FTIR)监测烟道气中的甲醛、苯、丙酮。请说明应该用哪个开放数据库获取标准谱图,以及如何用这些数据建立定量模型。提示:参考 ftir.fun 羰基官能团页

  4. 实验室有 200 个自制聚合物配方样品,每个都有 FTIR 谱图。请设计一个自建库方案,包括数据格式、元数据字段、存储方式、与 NIST 开放库的整合方法。

  5. 讨论 FAIR 数据原则在光谱数据库中的应用。NIST WebBook 和 SDBS 在 FAIR 四个维度上表现如何?如果你是实验室负责人,会制定什么政策让本实验室数据也符合 FAIR 原则?


参考文献

[1] mallard W G, Linstrom P J, eds. NIST Chemistry WebBook, NIST Standard Reference Database Number 69. National Institute of Standards and Technology, Gaithersburg MD, 2024.
https://webbook.nist.gov/chem…

[2] Linstrom P J, Mallard W G. "The NIST Chemistry WebBook: A Chemical Data Resource on the Internet." Journal of Chemical & Engineering Data, 2001, 46(5): 1059–1063. DOI:10.1021/je000960e.

[3] AIST. "Spectral Database for Organic Compounds (SDBS)." National Institute of Advanced Industrial Science and Technology, Japan.
https://sdbs.db.aist.go.jp/

[4] US EPA. "FTIR Open Path Measurements Method 320 & Reference Spectra." EPA Technology Transfer Network Emission Measurement Center.
https://www3.epa.gov/ttn/emc/…

[5] Sharpe S W, et al. "Gas-Phase Databases for Quantitative Infrared Spectroscopy." Applied Spectroscopy, 2004, 58(12): 1452–1461. DOI:10.1366/0003702042641281.
PNNL FTIR Library: https://secure2.pnl.gov/nsd/f…

[6] Gordon I E, et al. "The HITRAN2020 Molecular Spectroscopic Database." Journal of Quantitative Spectroscopy & Radiative Transfer, 2022, 277: 107949. DOI:10.1016/j.jqsrt.2021.107949.
https://hitran.org/

[7] Calvin W M, King T V V, Clark R N. "Caltech Mineral Spectroscopy Server." California Institute of Technology.
http://minerals.gps.caltech.e…

[8] Clark R N, et al. "USGS Digital Spectral Library 06." U.S. Geological Survey Open File Report 03-395, 2007.
https://speclab.cr.usgs.gov/s…

[9] Lafuente B, Downs R T, Yang H, Stone N. "The RRUFF Project: An Integrated Study of Minerals." IMA General Meeting, 2015.
https://rruff.info/

[10] Bio-Rad. "SpectraBase: Spectral Database." KnowItAll Informatics System.
https://spectrabase.com/

[11] ftir.fun. "在线红外光谱工具."
https://ftir.fun

[12] Wilkinson M D, et al. "The FAIR Guiding Principles for Scientific Data Management and Stewardship." Scientific Data, 2016, 3: 160018. DOI:10.1038/sdata.2016.18.

[13] IUPAC. "JCAMP-DX: Standard for Infrared Spectral Data Exchange." Pure and Applied Chemistry, 1995, 67(12): 1955–1984. DOI:10.1351/pac199567121955.

[14] Travert A, et al. "SpectroChemPy: A Python Framework for Processing Spectral Data." Journal of Open Source Software, 2022, 7(71): 3904.(Ep 53)


下一集预告:Ep 56 — ftirfun 工具使用技巧与实战案例
本集是"仪器与工具篇"收官,下一集开始进入"实战与拓展篇"。Ep 56 我们将系统介绍 ftir.fun 这个中文友好的在线 FTIR 工具:从光谱数据上传与多格式解析(JCAMP-DX、SPA 等)、峰值识别与管理、光谱搜索与数据库查询、可视化与对比分析,到与 NIST WebBook 等开放数据库的联动,再到实战案例——从上传未知样品谱图到完成鉴定全流程。这是 Ep 53–55 开源工具与开放数据库的"中文友好入口"。


本文使用 CC BY-NC-SA 4.0 许可。配图来自公开领域或已标注来源的网络资源,版权归原作者所有。

Soumettre la demande Formulaire